数据集卡片：《物理交互：问答》

数据集摘要

没有刷子，要怎样使用化妆蜜粉？这类需要物理常识的问题对于最先进的自然语言理解系统来说是一种挑战。《物理交互：问答》（Physical Interaction: Question Answering，简称PIQA）数据集介绍了物理常识推理的任务以及相应的基准数据集。

物理常识知识是实现真正的AI完备性——包括能与世界进行交互并理解自然语言的机器人——所面临的主要挑战。

PIQA集中关注的是日常情境，偏好于非典型解决方案。该数据集的灵感来自instructables.com，这个网站提供使用日常材料制作、手工制作、烘焙或操作物体的指南。

支持的任务和排行榜

该数据集的基本任务是多项选择问答：给定一个问题 q 和两个可能的解决方案 s1 和 s2，模型或人类必须选择最合适的解决方案，其中只有一个是正确的。

语言

数据集中的文本为英文。关联的BCP-47代码为en。

数据集结构

数据实例

一个示例如下所示：

{
  "goal": "How do I ready a guinea pig cage for it's new occupants?",
  "sol1": "Provide the guinea pig with a cage full of a few inches of bedding made of ripped paper strips, you will also need to supply it with a water bottle and a food dish.",
  "sol2": "Provide the guinea pig with a cage full of a few inches of bedding made of ripped jeans material, you will also need to supply it with a water bottle and a food dish.",
  "label": 0,
}

需注意测试集中不包含标签，预测结果需要提交到排行榜上。

数据字段

列出并描述数据集中存在的字段。提及它们的数据类型，以及它们是否作为当前数据集所支持任务中的输入或输出使用。如果数据具有跨度索引，请描述它们的属性，例如它们是字符级还是词级，它们是否连续等等。如果数据集包含示例ID，请说明它们是否具有固有含义，例如与其他数据集的映射或数据点之间的关系。

• goal: 需要具备物理常识才能正确回答的问题
• sol1: 第一个解决方案
• sol2: 第二个解决方案
• label: 正确的解决方案。0表示sol1，1表示sol2

数据拆分

该数据集包含16,000个训练示例，2,000个开发示例和3,000个测试示例。

数据集创建

策划原因

该数据集的目标是构建一个需要具体物理推理的资源。

来源数据

作者通过从instructables.com获取提示为注释者提供注释。instructables网站是一个众包集合，提供从烹饪到汽车维修的各种操作指南。在大多数情况下，用户会提供详细的每一步图片或视频以及所需的工具清单。大多数目标同时都是罕见而不奇怪的。虽然注释者不太可能制作过紫外线荧光的蒸汽朋克灯或用胶带制作背包，但是对于一个对家庭手工制作感兴趣的人来说，这些并不令人惊讶，工具和材料对普通人来说也不陌生。使用这些示例作为注释的种子有助于提醒注释者关于日常物品的非典型用途。同样重要的是，指导性步骤是依次构建的。这意味着任何受到操作指南启发的问答对更有可能明确说明关于任务起始时需要满足的前置条件以及定义成功的后置条件的假设。

要求注释者浏览一个操作指南的说明，并提取或使之启发以构造两个组成部分的任务。然后他们会阐述目标（通常集中在非典型材料上）以及如何实现它。此外，注释者被要求提供使他们自己的解决方案无效的排列（即负解决方案），通常很含蓄。

在验证过程中，与他人意见一致度低的示例被从数据中移除。

该数据集进一步进行了清理，以除去样式上的人为特征和数据中的琐碎示例，这些特征已被证明在之前的自然语言推理基准上人工膨胀了模型的性能，使用了在（ Sakaguchi et al. 2020 ； Sap et al. 2019 ）中引入的AFLite算法，这是对对抗过滤（ Zellers et al, 2018 ）的改进。

[需要更多信息]

注释

注释是通过众包者完成提示时获得的。

工资付给众包者

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据集的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策划者

[需要更多信息]

授权信息

未知

引用信息

@inproceedings{Bisk2020,
  author = {Yonatan Bisk and Rowan Zellers and
            Ronan Le Bras and Jianfeng Gao
            and Yejin Choi},
  title = {PIQA: Reasoning about Physical Commonsense in
           Natural Language},
  booktitle = {Thirty-Fourth AAAI Conference on
               Artificial Intelligence},
  year = {2020},
}

贡献

感谢 @VictorSanh 添加了这个数据集。