能过通过面部影像估计心率的人工智能
2019年10月31日 由 TGS 发表
702507
0
可穿戴心率监测设备早已不算是什么新事物,但你听说过仅凭脸部影像就能判断心跳的系统吗?最近,中国科学院的研究人员在Arxiv.org上发表的一篇预印本论文中,介绍了一种端到端的可训练心率估计器——RhythmNet。它可以利用AI和一种检测皮肤组织中血量变化的光学技术,来解决头部运动和光线变化方面的挑战。
正如研究人员在文章中所解释的那样,基于PPG的HR估计之所以成为可能,是因为皮肤的光吸收,会随着血容量脉搏(BVP)进行周期性的变化。在真皮层和皮下层的微血管中,像血红蛋白这样的染色体吸收了不成比例的光之后,血液泵入下方的静脉和动脉时会发生微小的颜色变化。这些微小变化,肉眼是看不到的,但却很容易被嵌入可穿戴设备的RGB传感器捕捉到。
RhythmNet由多个组件组成,其中最为重要的是面部探测器。该探测器可以根据一个人的面部视频,定位81个以上的面部标志,然后再由一个单独的组件,执行对齐、分割皮肤来删除眼睛区域和其他非脸部区域,从0.5秒间隔的视频帧生成时空图来表示心率信号。
最后,这些时空图会被输入到一个机器学习模型中,经过训练的模型可以根据时空图预测心率,然后计算每分钟的估计心跳次数,再经过科学统筹方法,得出每分钟心跳次数的平均值。
为了训练RhythmNet,该团队创建了一个大型的多模态数据库——VIPL-HR1,该数据库包含2378个可见光视频,以及752个近红外视频,涉及受试者总计107名。这些视频片段是由网络摄像头、红外传感器和智能手机捕捉到的,种类极为丰富。
研究人员在MAHNOB-HCI和MMSE-HR这两个被广泛使用的数据库,以及他们自己的数据库上,评估了RhythmNet。他们报告说,针对VIPL-HR1测试的大多数样本(71%)中,RhythmNet的心率估计误差低于每分钟5次。此外, MAHNOB-HCI和MMSE-HR的错误率不超过每分钟8.28次,突破了该领域的历史记录。
“心率是反映一个人身体和情绪状态的重要生理信号。传统的心率测量通常依赖于接触监测仪,这可能会造成不便和不适,我们提出的系统,在实验中解决了这个问题。”文章中写道。
最后该团队表示,他们希望利用分布学习和多任务学习技术,开发一个更优秀的心率估计模型,并计划深入研究,让RhythmNet能适用于其他生理状态测量任务,例如:通过视频测量呼吸频率和血压。