谷歌公开了Open Images V5，它将分割掩码添加到注释中，同时宣布了第二个Open Images挑战赛，将基于该数据提供一个新的实例分割赛道。

2016年，谷歌推出了Open Images，约900万张图像的协作版本，注释了数千个对象类别的标签。到了2018年，已更新到了Open Images V4，该版本总共包含了1540万个用于600个对象类别的边界框，使其成为拥有对象位置注释和30万多个可视关系注释的最大数据集。

Open Images V5

新的V5版本涵盖350个类别，具有280万个对象实例的分割掩码。

与仅识别对象所在区域的边界框不同，分割掩模标记对象的轮廓，将其空间范围表征为更高级别的细节。

谷歌确保不同物体之间的一致性注释，例如，所有猫的掩码都包括尾巴，由骆驼携带的袋子也都会包含在掩码中。重要的是，这些掩码涵盖了更广泛的对象类别和比以前任何数据集更大的实例总数。

以下是Open Images V5训练集上的一些示例掩码。这些是由交互式细分过程产生的。第一个示例还显示了一个边界框，用于比较：



该训练集的分割掩码由最先进的生产交互式分割过程产生，其中专业人工注释反复纠正分割神经网络的输出。这比单独的手动绘图更有效，同时提供准确的掩码，准确度可达84%。

此外，团队在验证和测试集上发布约10万掩码，都是手动注释，重点关注质量。这些掩码近乎完美，捕捉到了复杂物体边界的精细细节，例如，花朵的尖刺和人造物体中的薄结构。训练集和验证+测试注释集比大多数现有数据集的多边形注释提供了更准确的对象轮廓。

完全手动绘制的Open Images V5的验证和测试集上的示例掩码：



除了掩码外，还增加了640万个新的经人工验证的图像级标签，近20000个类别，达到了3650万。

最后，团队在验证和测试集上改进了600个对象类别的注释密度，添加了超过40万个边界框以匹配训练集中的密度，这确保了对物体检测模型的更精确评估。

2019 Open Images挑战赛

与此数据集版本一起，谷歌将在2019年计算机视觉国际会议（ICCV 2019）上推出第二届Open Images挑战赛。此挑战赛将基于上述数据创建新的实例分割赛道。

而且，与2018年版一样，它还将具有大规模物体探测轨迹（500个类别，1220万个训练边界框），以及视觉关系检测轨迹，用于检测特定关系中的物体对（329个关系三元组，37.5万个训练样本，例如，女性弹吉他或桌子上的啤酒）。



现在带有所有注释的训练集已公开。该测试集具有与2018年挑战相同的10万张图像，并将于2019年6月3日在Kaggle上发布。评估服务器将于6月3日打开对象检测和视觉关系赛道，7月1日打开实例分段赛道。提交结果的截止日期是2019年10月1日。

谷歌希望这个异常庞大且多样化的训练集能够激发对更高级实例分割模型的研究。使用具有统一注释的单个数据集进行图像分类，对象检测，视觉关系检测和实例分割将使研究人员能够共同研究这些任务并促进真正的场景理解。

数据集：

storage.googleapis.com/openimages/web/challenge2019_downloads.html

挑战赛：

storage.googleapis.com/openimages/web/challenge2019.html