Giphy的ML模型可在GIF中识别2300个名人人脸,准确度达98%
2019年03月06日 由 Aaron 发表
525899
0
Giphy是世界上最大的在线GIF共享平台之一,今天开源了一个机器学习模型,Giphy名人探测器,它能够识别 GIF中超过2300个名人的面孔,准确度达到98%。模型和支持代码都可以在GitHub上获得。
该公司表示,他们的目标是建立一个深度学习模型,能够注释其最受欢迎的内容:名人GIF。Giphy声称与亚马逊Rekognition等同类收费模型相比,这款“名人检测器”的性能可以达到同等水平,甚至更好。
“在我们现有的GIF库和我们内部产生的基于名人的内容之间,我们拥有丰富的训练数据,”Giphy研发总监Nick Hasty在博客文章中写道,“完全控制这个模型让我们可以根据需要更新它,以保持Giphy在流行文化前沿的独特地位。”
为了编制训练数据集,Giphy的研发团队从其所有平台的前50000搜索中提取名人姓名,包括Giphy的网络平台,移动应用程序以及与Facebook,Twitter和Slack的集成。他们还用网上的数据补充了由2300个名人姓名和图像组成的语料库,主要是那些在目录中出现频率较低的名人。为了尽量减少对不那么有名的名人的误报,他们使用了一个单独的机器学习模型,该模型通过类似的面部特征对图像进行分组。
Giphy解释说:“干净的数据集分布平滑,而有噪声的数据集分布更不均匀。在嘈杂的数据集中,包含最多图像的块往往与我们干净的数据集具有相似的分布,这表明这些分组是名人的正面图像,可以安全地用于训练。这个过程帮助我们去噪,大大提高了模型的精度。”
Giphy名人探测器由两部分组成:人脸探测器和人脸识别器。第一步尝试使用MTCNN(一种预训练的AI模型)在目标GIF的所有帧中挑选出面部,第二步使用基于上述名人数据集的深度卷积神经网络,使用特征向量输出名人预测。最后后处理算法通过向量表示对人脸进行聚类,并计算给定聚类中所有面部的聚合预测,从而产生一个或多个名人姓名。
为了验证Giphy名人探测器的准确性,该团队使用了野外测试中Labeled Faces中的开源标记人脸和包含近1000名Giphy名人的众包标记数据集。对于前者它的准确度达到了96.8%,而后者达到了98%。
这令人印象深刻,但值得注意的是,名人探测器在其他方面都不尽如人意。它识别人脸的数量无法与Clarifai的Celebrity模型(超过10000)相比,并且没有API,但Giphy致力于对其进行改进。
Hasty写道,“在接下来的几个月里,我们将提供有关该项目的更多细节,包括技术深入探讨以及我们如何针对不同类型的偏差测试模型的概述,在此之前,我们鼓励你下载并使用该模型。”
开源:
github.com/Giphy/celeb-detection-oss/blob/master/examples/resources/face_recognition/labels.csv