法国时间6月19日晚,沉寂了4年的 OPPO Find 系列在卢浮宫正式发布了未来旗舰新机——OPPO Find X,十天后,OPPO Find X国行版在北京发布。作为 Find 系列的回归之作,Find X 再一次用产品诠释了 OPPO 探索未来的精神。
流光溢彩的机身,正反面无孔和首创的双轨潜望结构让 Find X 堪称一件科技艺术品。这一次,Find X不仅延续了此前 Find 系列机型的所有优点,更具创举性地在量产安卓旗舰机中应用了3D结构光技术,成为首个摆脱指纹全面依托人脸识别实现解锁和支付的安卓手机。
Find X基于3D结构光的人脸识别应用由OPPO研究院上海软件研究中心AI实验室与旷视科技Face++联合研发,使得无论海外版还是国行版的 OPPO Find X 都具备了毫秒极速解锁和百万分之一精度的安全支付功能。
移动信息技术的极速发展已经让手机成为人类的第“五肢”,用户对于手机的要求(尤其是对设备安全性和图像处理能力)越来越高。人们不仅希望手机能够高效通讯,还希望手机能够成为最忠实可信的伙伴去记录和管理他们的日常生活。我们人类是通过两只眼睛观察立体世界的,为了让手机像人一样获得三维立体的图像信息,手机厂商们接连推出了双摄方案,虽然双目摄像头能够依据视差原理形成三维图像,但是受制于光线和纹理等拍摄环境因素,双摄产生的三维图像差强人意,更无法满足3D验真环节的应用要求,所以采用主动投射编码光获取3D信息的结构光技术成为智能手机革新的关键一环。
在应用中,3D结构光的整个系统包含结构光投影设备、摄像机、图像采集和处理系统。通过投影设备的发射光线到被测物体上,摄像机拍摄在被测物体上形成的三维光图形,拍摄图像经采集处理系统处理后便能够获得被测物体表面数据形成三维的图像信息。简单来讲3D结构光的实现原理类似于海底探测的声呐系统是通过反射信息来确定深度的,只不过3D结构光在手机人脸识别上的应用,是通过人脸表现反射光线来确定深度信息的。 相比双目来说,其效果在同样的场景下能够得到更完整、更细腻的深度图。
2017年9月,苹果发布 iPhone X,并基于 3D 结构光技术推出了名为“Face ID”的新功能用于日常解锁和 Apple Pay,其“刘海屏”一时成为手机厂商跟风效仿的对象。但彼时推出的一众量产全面屏安卓手机仅仅只是在外貌上模仿了苹果的刘海设计,iPhone X “刘海屏”背后真正的大杀器是3D结构光深感摄像模组。今年5月10日的一次媒体见面会中,OPPO 就曾向大众演示了全球首个基于 3D 结构光技术的 5G 视频通话,并宣布 OPPO 的3D结构光技术已经具备量产条件。而今天,OPPO Find X 的全面问世不仅兑现了 OPPO 承诺,更彻底打破了安卓阵营结构光技术短板的局面,这项技术自此再也不是 iPhone X 的专属功能了。而相比 iPhone X, OPPO Find X 更是突破了硬件和工艺瓶颈,用双轨潜望结构的全隐藏式3D摄像头取代了刘海屏,铸造了迄今为止最接近“真正意义全面屏”的智能手机。
相比传统人脸识别,OPPO Find X 的 3D结构光技术可应用于安全支付、三维重建、AR、游戏等众多场景,其中最重要的应用是便是安全支付,这便要求3D结构光人脸识别算法具备极高的技术水准,并做到极致的质量控制。
OPPO官方介绍,在 Find X 可升降的双轨潜望结构中安装了泛光感应元件(Flood illuminator),红外摄像头(infrared camera)、测距传感器(ranging sensor)、点阵投影器(dot projecter),采用 3D 结构光技术,通过向人脸投射 15,000 个光点,给用户的面部构建立毫米级精度的 3D 深度图,实现更为精确地识别用户的生物特征,并快速与主人信息进行比对,实现了免接触、更安全的解锁。其在带来更为自动化与更为安全的解锁方式的同时,也因其高安全性使其成为了首款能够实现刷脸支付的安卓手机。基于高级别的安全性能,OPPO 更与支付宝合作,选好商品,确认交易,只需要看一眼就支付。而如此高精度的检测和识别背后正是旷视科技Face++移动端3D人脸识别解决方案的功劳。
旷视科技是全球领先的计算机视觉技术企业,致力于通过“AI+IoT”技术赋能不同的垂直领域,为各行业提供完整的智能解决方案,其中以智能手机为代表的移动终端是旷视用 AI 实现赋能的最典型场景。因此旷视不仅是一家由人工智能驱动的行业物联网构建者,同时也是手机行业核心 AI 解决方案提供商。
“世界上60%的摄像头是用在手机上面的。”旷视科技云事业部高级副总裁吴文昊表示,“短期来看,旷视的首要任务就是赋能全球十亿摄像头,所以手机市场一定是主战场。”2017年中,旷视科技开始布局手机市场,随后基于核心的深度学习和计算机视觉技术一举推出人脸支付、人脸识别解锁、人像光效、人像背景虚化、视频美化、3D Animoji等一系列移动端AI产品,以满足不同手机厂商在人脸解锁、图像增强、相机增强、智能图像和视频处理上的需求。
在 OPPO Find X 3D结构光人脸方案开发中,旷视为OPPO提供了三个主要算法模型结构,包括多尺度多特征的注意力检测模型,以及基于旷视自研的移动卷积神经网络 ShuffleNet 定制开发的活体检测模型和可自适应网络、多模型融合的识别方案。而为了满足OPPO极致的产品需求,旷视科技手机解锁团队鏖战数月,完成了逾十亿张人脸数据的训练和 60 万张 benchmark 测试,最终实现了0.1秒内极速识别、0.03秒重建,和误识率低于百万分之一的高精度安全面部识别。
旷视科技手机业务产品经理表示:“我们要充分考虑到手机用户千变万化的应用环境,真正理解客户的需求并找到最优的解决办法。比如在解锁场景,系统要能够智能地感知到用户是不是要真的解锁,所以我们要不断注意力检测,去判断用户是否有闭眼或五官遮挡等。”
搭载旷视科技3D结构光人脸识别方案的 OPPO Find X 可通过前置的 RGB、红外和结构光摄像头同时采集到人脸的色彩图片、红外图片和 3D 信息,并快速从输入的人脸红外特征信息与深度信息中提取个人的安全识别特征,安全特征具有10000+维度信息,算法会将提取的安全信息与录入时安全信息进行匹配决定是否安全认证通过。在体验上,无论是录入还是解锁都在顷刻间完成,甚至在暗光环境下也几乎不受影响,解锁效率相比现在的人脸识别大大提升。而在安全性上,旷视给出的 3D 结构光人脸识别方案无论是在解锁还是在支付应用中都可以有效抵御照片、视频甚至定制化硅胶面具和 3D 打印面具等形式的攻击。
而除了 3D 结构光人脸识别解锁和支付应用,旷视科技Face++还为 OPPO Find X 的相机和相册提供了定制化的静态光效产品。发布会中展示的 OPPO Find X 大片级人像样张,其背后的技术工作也并不简单。
由于前置摄像头主要服务于自拍,所以旷视前置方案中的特色光效主要包含模拟化妆室环形补光灯的化妆室光、智能增量肤色的美白光、将背景黑白处理的局部色彩光、支持替换背景的白墙光、符合年轻用户的红蓝双色光以及能够结合拍摄环境顺应自然光照规则智能补光的伦勃朗光。而后置除人像外还有针对静物或风景影像的处理需求,所以后置静态光效包含胶片光、影调光、双色光、抖光和白墙光,此外,旷视还为 Find X 增加了彩虹光作为相册后处理的独有光效。
目前,iPhone X 的人像光效技术主要用于具备双摄或结构光的高端 iPhone 机型中,对硬件有很强的依赖,但是最终效果却不一定能够满足用户需求,尤其是在去除背景的舞台光效果中,苹果人像光效方案的瑕疵更为凸显。这是因为苹果的人像光效是根据拍摄对象与摄像头距离进行处理的,这样就会容易把与人像处于同一水平线上的事物也纳入到人像后处理的范围内,但这显然不是用户真正的需求。用户们想要的是能够精准地对人像、五官进行光效增强,而不是简单地通过景深把人和背景进行分层。
从消费者痛点出发,旷视科技Face++利用算法优势推出了对标苹果的人像光产品,整体方案是由人脸三维重建、人体分割、景深估计、人脸关键点检测、面部三维光渲染、T 区高光提亮、背景保护等20 多项技术组合而成,可结合单摄、双摄,或3D结构光、TOF、NIR等深度摄像机实现。 但是从目前的人像处理效果来看,旷视在 2D 单摄手机就能够上实现影棚级的专业光效,且优于人像光效开创者 iPhone X 。
区别于苹果,旷视的人像光产品对硬件依赖并不大因此更具有广泛性,能够支持不同平台和机型,并可同时满足前置或后置的单摄/双摄应用需求,更加适合多元化的市场需求。“旷视人像光效产品的关键是在于抠像和三维面部重建。”旷视科技人像光效产品经理提到,“具体做法是通过算法将二维图像中的人与背景分离完成抠像,再利用结构光捕捉、神经网络针对人像中的面部单独进行三维重建,进而生成深度图。而借助于人像和背景完全分离和具备面部3D信息的深度图,系统可提升人像光效的自然度,让光效从面部自然地过渡到头发、肩膀、手臂、身体等区域,用户在后处理的过程中可以选择不同的光效模式任意控制光源的类型、数量、位置、色温、光强、颜色 。”这样做的好处是通过算法实现的抠像比单纯通过景深得到的人体定位精度要更高,能够很好的保护背景避免出现杂边现象。
科技应该只在需要时才被感知。所以一直以来 OPPO 主张化繁为简,用艺术的理念打造极致的产品,往往那些看似极简的产品设计背后反而是动用了更多的心思。OPPO Find X 打响了安卓阵营3D结构光量产的第一枪,而随着人脸解锁和支付应用的规模化普及,可以预见,3D结构光的人脸识别将很快能够替代指纹、密码或PIN码,成为未来移动端风险管理的主流生物识别方案。未来,人工智能应用与移动终端的结合将越来越紧密,而 OPPO 与旷视科技Face++还将共同探索移动AI领域的技术和产品研发,基于安全支付、三维重建和影像处理向更深层的场景渗透。