机器人“厨师”通过观看食物视频学习重现食谱
2023年06月06日 由 daydream 发表
296812
0
研究人员训练了一台机器人“厨师”它可以观看和学习烹饪视频,并自己制作菜肴。
来自剑桥大学的研究人员给他们的机器人厨师编写了一本包含八种简单沙拉食谱的烹饪书。在观看了一段人类演示其中一种食谱的视频后,机器人能够识别出正在制作的食谱,并将其制作出来。
此外,这些视频还帮助机器人逐渐增加了食谱。在实验结束时,机器人自己想出了第九个配方。他们的研究结果发表在《IEEE Access》杂志上,展示了视频内容如何成为自动化食品生产的宝贵而丰富的数据来源,这可能会使机器人厨师的部署更容易和更便宜。
几十年来,机器人厨师一直出现在科幻小说中,但在现实中,烹饪对机器人来说是一个具有挑战性的问题。一些商业公司已经制造出了机器人厨师的原型,尽管目前这些机器人都没有商业化,而且它们在技能方面远远落后于人类厨师。
人类厨师可以通过观察来学习新食谱,无论是看别人做饭还是看YouTube上的视频,但是对机器人进行编程来制作一系列菜肴既昂贵又耗时。
该论文的第一作者、剑桥大学工程系的Grzegorz Sochacki说:“我们想看看是否可以训练机器人厨师,通过识别食材以及它们在菜肴中的搭配,以与人类相同的渐进方式学习。”。
Sochacki是饭田文宫教授的仿生机器人实验室的博士候选人,他和他的同事们设计了八种简单的沙拉食谱,并拍摄了制作沙拉的过程。然后,他们使用一个公开的神经网络来训练他们的机器人厨师。神经网络已经被编程来识别一系列不同的物体,包括八种沙拉食谱中使用的水果和蔬菜(西兰花、胡萝卜、苹果、香蕉和橙子)。
使用计算机视觉技术,机器人分析了每一帧视频,并能够识别不同的物体和特征,如刀和配料,以及演示者的手臂、手和脸。食谱和视频都被转换为矢量,机器人对矢量进行数学运算,以确定演示和矢量之间的相似性。
通过正确识别食材和人类厨师的动作,机器人可以确定正在制作哪个食谱。机器人可以推断出,如果人类演示者一手拿着刀,一手拿着胡萝卜,那么胡萝卜就会被切碎。
在它观看的16个视频中,机器人在93%的时间里识别出了正确的食谱,尽管它只检测到了人类厨师83%的动作。这个机器人还能够检测出食谱中的细微变化,例如制作双份或正常的人为错误,是变化而不是新配方。机器人还正确地识别出了第9种新沙拉的演示,并将其添加到食谱中并制作出来。
Sochacki说:“机器人能够检测到如此细微的差别,真是令人惊讶。”“这些食谱并不复杂,它们本质上是切碎的水果和蔬菜,但它确实有效地识别出,例如,两个切碎的苹果和两个剁碎的胡萝卜与三个碎苹果和三个碎胡萝卜是同一个食谱。”
用于训练机器人厨师的视频不像一些社交媒体网红制作的美食视频,这些视频充满了快速剪切和视觉效果,并且在准备食物的人和他们正在准备的菜肴之间快速来回切换。例如,如果人类演示者用手包裹着胡萝卜,机器人将很难识别胡萝卜——为了让机器人识别胡萝卜,人类演示者必须举起胡萝卜,这样机器人才能看到整个胡萝卜。
“我们的机器人对在社交媒体上风靡一时的美食视频不感兴趣 ,它们太难理解了,”Sochacki说。“但随着这些机器人厨师在食物视频中识别食材的能力越来越好、越来越快,他们或许能够利用YouTube等网站学习各种食谱。
来源:https://techxplore.com/news/2023-06-robot-chef-recreate-recipes-food.html