Stradigi开发了一种AI游戏,可在游戏中学习手语
2018年12月10日 由 浅浅 发表
536419
0
增强访问性是AI for good项目中新兴的领域,蒙特利尔创业公司Stradigi AI致力于为聋人和听力受损者提供一种新的工具。本周在NeurIPS 2018年会议上,两位联合创始人Carolina Bessega和Jaime Camacaro,演示了一款利用计算机视觉帮助人们学习美国手语(ASL)的游戏。
ASL字母游戏是自我描述性的,与聋人英语识字中心(DALC)合作制作,后者是一个蒙特利尔组织,旨在为聋人提供基本的识字和沟通技巧。
开发者表示,“有很多人都在问AI如何为社会做出积极的贡献,我们认为这将展示它如何真正发挥作用。”
它有点像Simon Says(我说你做),尽管只用双手及规范的手语。ALS是一种
卷积神经网络,对超过10万张图像进行近实时分类。
采集图像的视频会经过仔细挑选,以尽量减少偏差。拥有基础物理学博士学位的Bessega说,一个代表性的
神经网络训练
数据集将很难识别出某些族裔群体,或手指很长以及戴着大颗珠宝的人的动作。
姿势估计由三级CNN执行,它考虑了双手在网络摄像头前的连接位置。该模型将裁剪后的图像传递给第二个神经网络进行分类,该神经网络生成热图,并对玩家的手势做出越来越精确的估计。
Bessega表示,AI系统在识别ASL字母时准确率为99.03%。这比谷歌在公司测试中管理的预训练V4(98.50%)要好半个百分点,比流行的Xception算法(97.37%)好近两个百分点。
整个项目大约花了一个半月的时间,Stradigi AI的全体员工参与其中,包括30名研究人员,还有图形设计师和软件工程师。她说,“虽然这是强制性的,但他们对此都充满热情。”
Bessega明确表示,Stradigi的核心重点仍然是企业客户的定制AI应用程序,该公司在去年提供了超过15个定制解决方案,但非盈利和慈善工作将成为其项目计划的更大的部分。
通过这种方式,Stradigi追随微软这样的科技巨头的脚步,微软于5月向其AI无人机计划投入2500万美元,其目标是帮助残障人士工作和生活。DeepMind正在使用AI 为失聪用户生成隐藏式字幕。
Bessega指出,“虽然我们非常注重商业实体,但我们的目标是至少为一个AI for good项目努力。”