Flir与英特尔为开发AI系统建立了一个开放式相机平台Flir Firefly
2018年10月19日 由 浅浅 发表
265529
0
总部位于俄勒冈州威尔逊维尔的Flir公司是世界上最大的红外热像仪和传感器生产商之一,与英特尔合作创建了一个开放式相机平台Flir Firefly,专为AI系统开发而设计。Flir将其作为一系列行业的自动构建模块,包括机器人引导,自动化质量检测,生物识别,医学成像和农业分析。
该公司表示,它将于2019年上市,并于11月初在德国斯图加特举行的Vision会议上展出。
“机器捕获的图像的自动分析是我们日常生活的关键部分,但我们很少有人会考虑到,”Flir首席执行官兼总裁James Cannon解释道,“我们的智能手机或餐桌上的食物的质量,可负担性和上市速度都可以通过使用相机进行检查和自动化生产的系统实现。”
Flir Firefly拥有四条通用输入/输出GPIO线和一个USB端口,尺寸大约为四分之一,基于英特尔的Movidius Myriad 2视觉处理单元(VPU),与谷歌Clip相机相同的芯片和Project Tango增强现实原型和DJI的Phantom 4无人机。它针对图像信号处理和推理进行了优化,经过训练的AI模型可在设备上进行预测,最大限度地减少对互联网连接的需求,同时延长电池寿命。
具体来说,Myriad 2包括(1)用于专用成像和计算机视觉任务的硬件芯片,(2)十二个128位流混合架构矢量引擎(SHAVE)处理器内核,可加速处理核心的矢量数据处理。神经网络,以及(3)通用RISC处理器内核,用于解析和调度SHAVE内核上的工作负载处理并执行推理。据英特尔称,它可以处理多达六台高清摄像机的输入并执行手势跟踪和对象分类。
这使得Flir Firefly与亚马逊的DeepLens等开发套件区别开来,后者使用连接到相机模块的电脑,DeepLens包含Intel Atom处理器,而不是像Myriad 2那样为芯片量身定制的AI系统。
在成像方面,Flir利用索尼为Flir Firefly的160万像素Pregius CMOS传感器拍摄,该传感器可以每秒60帧的速度拍摄。该公司表示,Flir Firefly的未来迭代将提供额外的传感器选项。
Flir Firefly的秘密武器可能是它的固件。它支持UBS3 Vision协议(一种基于USB的图像处理设备协议),它采用GenICam标准,工业相机的编程接口,可选择的感兴趣区域,以及像素合并(一种降低噪声并提高帧速率的技术)和8位和16位原始像素格式。此外,它还可以控制摄像机的GPIO端口,使其能够触发设备。
Flir Firefly允许开发人员通过Flir的Spinnaker软件开发套件(SDK)将经过训练的神经网络加载到VPU上,如果他们使用的是英特尔Movidius神经计算棒,则将现有网络直接部署到摄像头上。英特尔推出售价79美元的神经计算棒,该计算器将2017年7月在Facebook的Caffe框架上开发的卷积神经网络(CNN)转换为VPU上的嵌入式神经网络,并表示在1W功率范围内可以达到100 GFLPOP的性能消费。
英特尔计算机视觉产品总监Adam Burns说:“英特尔Movidius神经计算棒使Flir能够快速制作原型,简化Flir Firefly中机器学习的早期开发。现在,Flir Firefly使用紧凑,高效的英特尔Movidius Myriad 2 VPU在相机中进行实时推理,同时不影响Flir在该设备中实现的惊人的小型化水平。”
Flir成立于1978年,6月,它发布了一个 10000个红外光图像的开源数据集,以启动自动驾驶汽车系统的开发。2017年9月,它宣布推出专为自动驾驶汽车设计的VGA传感器。Flir还提供了一个软件开发工具包自动驾驶工具包(ADK),提供工具来构建和训练用于防撞系统的神经网络。