英伟达推出边缘计算AI平台EGX,优化实时AI服务
2019年05月28日 由 马什么梅 发表
132742
0
在COMPUTEX 2019上,英伟达推出了面向边缘设备的AI平台EGX,将实时AI带到网络边缘。这意味着AI计算将发生在传感器收集数据时,无需先数据发送到云连接的数据中心。
“在物联网传感器的增长推动下,计算行业发生了巨大变化,”企业和边缘计算高级主管Justin Boitano表示,“有用于观察世界的摄像头,用于聆听世界的麦克风,以及可以让机器检测现实世界中正在发生的事情的设备。”
但这也意味着必须分析的原始数据量呈指数级增长。
Boitano指出,“我们很快就会遇到一个交叉点,在这个交叉点,边缘处的计算能力要超过数据中心。”
面向边缘
英伟达及其客户将在电信,医药,制造,零售和运输等市场为实时流数据提供新型服务器,用于实时AI。
英伟达 EGX将在边缘为低延迟交互,或在那些有最小时间延迟的交互间提供加速计算。这将实现对5G基站,仓库,零售店,工厂等传感器数据的实时反应。
AI是我们这个时代最重要的计算挑战之一,但CPU并没有跟上。英伟达创建EGX以满足AI应用程序的新兴需求,这些应用程序最终将为数万亿个设备传输连续的原始传感器数据。
该平台专为边缘新兴的高吞吐量AI应用而设计,其中数据来源可实现即时或保证响应时间,同时减少云带宽。到2025年,1500亿台机器传感器和物联网设备将传输需要处理的连续数据,这将是比人们产生的数量级更多的数据。
Edge的企业级软件堆栈
边缘服务器将分布在世界各地,以实时处理来自这些传感器的数据。英伟达EGX是一种超大规模云计算,将全系列的英伟达 AI计算技术与Mellanox安全,网络和存储技术相结合。制造,零售,医疗保健和运输等行业中最大型的公司可以使用EGX,从边缘到云快速安全地部署AI。
三个特点
可扩展性:EGX具有可扩展性。从微型英伟达 Jetson Nano到英伟达T4服务器,为实时语音识别等实时AI任务提供10000多个TOPS。
企业级:NVIDIA与Red Hat合作,将NVIDIA Edge Stack与领先的企业级Kubernetes容器编排平台OpenShift集成和优化。
实现混合云和多云物联网:NVIDIA AI计算由主要云提供,并在架构上与NVIDIA EGX兼容。在云中开发的AI应用程序可以在NVIDIA EGX上运行,反之亦然。NVIDIA Edge Stack连接到主要的云IoT服务,客户可以从AWS IoT Greengrass和Microsoft Azure IoT Edge远程管理他们的服务。
英伟达 EGX专为企业和行业而设计,并针对运行企业级Kubernetes容器平台(如Red Hat Openshift)进行了优化。这些容器平台已经用英伟达Cloud Stack(一种优化的软件套件)进行了测试,可简化GPU加速基础架构的设置,配置和管理,以运行Tensor RT,Tensor RT推理服务器和NGC英伟达GPU Cloud注册表。
通过结合使用英伟达 EGX,Red Hat OpenShift和英伟达 Edge Stack,企业可以轻松地为云基础架构提供优势。为了实现混合云计算,英伟达 EGX支持的系统和设备可以连接到云IoT服务,客户可以从AWS IoT Greengrass和Microsoft Azure IoT Edge远程管理其服务。