Nvidia EGX将AI计算带到了网络的边缘

 
据悉，Nvidia正在推出其EGX平台，将实时人工智能带到网络边缘。这意味着AI计算将发生在传感器在将数据发送到云连接数据中心之前收集数据的地方。
“在[物联网]传感器的增长推动下，计算行业发生了巨大变化，”企业和边缘计算高级主管贾斯汀博伊塔诺在新闻发布会上表示。 “有用于观察世界的摄像头，用于聆听世界的麦克风，以及正在部署的设备，因此机器可以检测现实世界中正在发生的事情。”
但这也意味着必须分析的原始数据量呈指数级增长。
“我们很快就会遇到一个交叉点，在这个交叉点，边缘处的计算能力比数据中心要多，”Boitano说。
Nvidia及其客户将在电信，医药，制造，零售和运输等市场为实时流数据提供新型服务器，用于即时人工智能。 Nvidia在台湾的Computex活动中展示了这个平台。
Nvidia EGX将为低延迟交易提供加速计算，或者在交互之间具有最小时间延迟的交易。这将实现对5G基站，仓库，零售店，工厂等传感器数据的实时反应。
“人工智能是我们这个时代最重要的计算挑战之一，但CPU并没有跟上，”Boitano说。
Nvidia创建了EGX以满足AI应用程序的新兴需求，这些应用程序最终将为数万亿个设备传输连续的原始传感器数据。
该平台专为边缘新兴的高吞吐量AI应用而设计，其中数据来源可实现即时或保证响应时间，同时减少云带宽。到2025年，1500亿台机器传感器和物联网设备将传输需要处理的连续数据。这将是比人们产生的数量级更多的数据。
边缘服务器将分布在世界各地，以实时处理来自这些传感器的数据。
Nvidia EGX是一种“超大规模云计算” – 将全系列的Nvidia AI计算技术与Mellanox安全，网络和存储技术相结合。最大型行业的公司 – 制造，零售，医疗保健和运输 – 可以使用EGX快速安全地部署AI，从边缘到云。
Nvidia表示EGX具有可扩展性。它始于微型Nvidia Jetson Nano–几瓦就可以为图像识别等任务提供每秒半万亿次操作(TOPS)处理，并且一直延伸到全机架的Nvidia T4服务器，提供更多功能超过10,000 TOPS用于实时语音识别和其他实时AI任务。
Nvidia EGX专为企业和行业而设计，并针对运行企业级Kubernetes容器平台(如Red Hat Openshift)进行了优化。这些容器平台已经过Nvidia Cloud Stack(一种优化的软件套件)的测试，可简化GPU加速基础架构的设置，配置和管理，以运行Tensor RT，Tensor RT推理服务器和NGC Nvidia GPU Cloud注册表。
Nvidia表示，通过结合使用Nvidia EGX，Red Hat OpenShift和Nvidia Edge Stack，企业可以轻松地为云基础架构提供最先进的优势。
为了实现混合云计算，Nvidia EGX支持的系统和设备可以连接到云IoT服务。客户可以从AWS IoT Greengrass和Microsoft Azure IoT Edge远程管理其服务。
“Azure IoT Edge可帮助客户快速安全地将云服务部署到其物联网设备，”Azure IoT Edge总监Sam George在一份声明中表示。 “我们期待在Azure IoT Edge设备上支持Nvidia的EGX边缘平台，以便客户可以部署针对EGX兼容硬件的AI工作负载。”
早期采用者包括40多家行业领先的公司和组织，从宝马到富士康。