智能音箱全面测试,哪个智能音箱的“智商”最高?
2018年12月21日 由 yining 发表
147906
0
今年7月,Loup Ventures公布了一项“年度智能助理智商测试”的结果,该测试将谷歌助手与苹果的Siri,亚马逊的Alexa和微软的Cortana进行对比,在回答800个真实问题后,将这四款人工智能系统排序。
现在,公司又开始进行一项“年度智能音箱智商测试”,重点关注同一位助手如何通过诸如Google Home、Apple HomePod和Amazon Echo等扬声器进行测试,测试结果十分有趣。
与先前的情况一样,Home Mini上的Google助理再次以100%的问题理解率在小组中排名第一,回答正确率为87.9%,高于7月份在智能手机测试时的85.5%和2月份Loup最后一次智能音箱测试的81%。助理的回答在五个类别中的四个类别(即本地、商业、导航和信息请求)中击败了所有的竞争对手,仅在“命令”请求中排名第二,准确率为73%。
苹果公司的Siri在HomePod上的表现较2月份的中等水平有了强劲增长,但在iPhone上测试时,其7月份的表现不及7月份。通过语音助手,Siri正确回答了74.6%的问题,高于2月份的52.3%,而理解问题的几率为99.6%。这与7月份通过iPhone获得的78.5%的正确率相似,但有所下降。有趣的是,Loup注意到Siri将“除了音乐以外的任何东西”的请求传回iOS设备进行处理。即便如此,HomePod在“命令”类别中仍领先所有竞争对手,准确率达85%。
亚马逊的Alexa和微软的Cortana再次分列第三和第四位,但它们在通过智能音箱正确回答问题方面都有所进步。Alexa通过Echo的应答正确率为72.5%,相比之下,2月份通过智能音箱的应答正确率为64%,7月份使用手机的应答正确率为61.4%,这一增长使其几乎与昂贵得多的HomePod并驾齐驱。Cortana通过Harman Kardon Invoke的智能音箱获得了63.4%的正确答复,比二月份的智能音箱测试和七月份的智能手机测试分别提高了57%和52.4%。根据Loup的说法,专有名词仍然是说话者最大的难点,否则他们几乎可以理解用户对他们说的一切。然而,除了这些,所有的助手都在进行“有意义的”改进,Siri从增加额外的专业领域中获益,而Alexa则可能从Alexa Answers等众包知识中受益。一些ai还添加了挂钩,以便与第三方合作伙伴进行更大的交互。
虽然Loup预计7月份会再次更新其智能手机数字助理,但它并不期望人工智能会正确地回答他们提出的所有问题,他们能做的事情,大多是控制更广泛的设备阵列,或在现有能力范围内提供诸如此类的功能。平时使用电子邮件、日历和发消息时,每项改进都会为用户增加实际价值,所以我们很期待看到明年的预测。