中国公司荣获全球最具权威人脸识别测试的NO.1!
2017年07月18日 由 nanan 发表
250434
0
众所周知,全球公开的、最大规模测试集、最权威的人脸识别测试的最好成绩,截止到目前为止,由中国公司依图科技夺得了。甚至超过了俄罗斯公司Vocord获得了第一名,而Vocord是国际老牌安防厂商,长久以来占据人脸识别算法的第一名,可见,中国公司依图科技付出了多少的努力才取得今天的收获。
FRVT(Face Recognition Vendor Test,由美国国家标准技术局NIST组织的人脸识别供应商测试)的人脸识别测试集合来自美国国土安全局的真实业务场景,例如机场安检、刑侦案件中的照片识别。与当前比较热门的LFW、MegaFace测试相比,FRVT更贴近实战,测试规模也更大,并且测试时的相关数据不公开,这在很大程度上避免了作弊。
LFW是由美国马萨诸塞大学发布并维护的公开人脸数据集,国内公司例如百度、腾讯、旷世等都曾在测试指标下取得不错的成绩。
MegaFace是由美国华盛顿大学发布并维护的公开人脸数据集,在测试指标下俄罗斯公司Vocord获得了第一名,虽然腾讯获得第二名,但却与Vocord相差了8%。由此可见,国内的互联网公司的数据优势距离全球顶级的识别测试指标还有很大的差距。
由美国国家标准技术局(NIST)主持的FRVT,评测的严谨和全面性也是其具有的性质:
(1)数据均是来自真实场景,测试出的结果好的则可以直接在此场景中应用;
(2)测试数据不公开,体现了测试的公正性,防止作弊手段的出现;
(3)测试规模达到百亿样本,数据有百亿样本的量级;
(4)对不同的人种、性别、年龄、场景的比较,并做了详细评估,具有科学的专业性。
根据最新得到的报告显示,中国公司依图科技是FRVT的第一名,比第二名的俄罗斯公司Vocord多出了2%的准确率,比2014年测试取得第一名的日本公司NEC的准确率也有了很大的提高。
从FRVT的官方描述来看,NIST提供的数据对应了认证、城市监控的相应场景,而中国公司依图科技在测试的四项中均获得了第一名的成绩。在更加详细的人种、性别的比较中,依图科技几乎没有差异,而随着难度的加大,才出现了不同程度的误差而已。
具体报告来源于Ongoing FRVT 2017.6.19 报告 (链接地址:
https://www.nist.gov/sites/default/files/documents/2017/06/20/frvt_report_2017_06_19.pdf)
在过去的几年时间里,有LFW到FRVT的千分之一误报到千万分之一误报,这也就意味着误报降低了一万倍。由此可见,以后会出现识别性能更好的识别系统。
依图科技CEO朱珑说:“NIST是工业界最权威的测试,有最直接的应用指导价值。从测试的结果来看,千万分之一误报已经不能拉开我们和第二名的差距,我们的算法已经在10亿分之一的误报下达到超过90%的识别率,希望将来,只有中国参与的标准测试,才可以反映出全球最前沿科技的技术水平。”