Flex Logix展示全新神经推理引擎,专为AI部署而生
2018年11月01日 由 浅浅 发表
104518
0
芯片制造商Flex Logix今天推出了新的Nmax通用神经推理引擎,该引擎专为在许多环境中使用流行的机器学习框架(如TensorFlow或Caffe)进行AI部署而设计,可以将多个神经加速器组合在一起以实现更高水平的吞吐量。
Flex Logix表示,在处理来自图像分类基准ResNet50的批次时,其Nmax 512拼贴配置胜过其他数据中心推理产品,如Nvidia Tesla T4。加速器还可以使用YOLOv3等产品对多个物体进行实时检测,以满足对边缘视觉处理不断增长的需求。
“凭借我们的架构,由于我们可以非常快地加载重量,即使批量大小等于1,我们也能获得高性能,因此我们在数据中心方面表现优异,”Flex Logix首席执行官兼联合创始人Geoff Tate表示。
Nmax系列今天在加利福尼亚州圣克拉拉举行的Linley处理器会议上首次亮相。它现在正在生产中,Tate表示Nmax引擎将于2019年末上市。
Nmax引擎与Flex Logix以前的工作背道而驰,之前主要专注于专门用于哈佛大学,DARPA和波音等客户的特定任务的嵌入式现场可编程门阵列(FPGA)芯片。
Nmax使用互连技术,如FPGA芯片中使用的类型,但它是一个通用的神经推理引擎,使用TensorFlow进行编程,设计用于运行任何类型的神经网络。
2017年5月,Flex Logix筹集了500万美元的融资,以探索构建更灵活芯片的方法。
Tate表示,除了能够快速处理视觉信息外,Nmax还保持较低的DRAM带宽率和较高的MAC效率,从而降低了能耗水平。原始计算能力可能会得到很多关注,但能源效率是训练AI系统所需的另一个重要部分。
Tate表示,“无论人们现在在做什么,在五年内,这些模型将继续变得越来越大,越来越复杂,这意味着我们必须每秒更多的tera操作(TOPS),但功率限制不会更改。因此,为了扩大市场规模,将继续施加压力以降低每瓦特的TOPS。如果做不到,市场就不会扩大。当然还有一个成本组件,但是你需要更低的成本和更低的功率才能渗透到这些应用中。”