这个APP能把操作视频自动转换成AR教程,手把手教你修家具

新闻 Android
德国初创公司IOXP开发的一款APP,这个应用程序可以先给一个在正确执行任务的人录好视频,然后借助人工智能技术将其自动转换为AR教程。

 [[203491]]

小说或者影视剧里经常会有这样的情节:女生找男生修个电脑,邻居找对门儿修个灯泡儿什么的,从此两人就结下了不解之缘。但在现实生活中,不是每次东西坏了你都知道该怎么修,这个时候你可能就需要费劲地在家里东翻西找,为了一纸说明书而急得满头大汗。

现在好了,德国初创公司IOXP开发的一款APP能帮我们解决这个问题了。

这个应用程序可以先给一个在正确执行任务的人录好视频,然后借助人工智能技术将其自动转换为AR教程。只要我们的设备支持AR,未来就能把教程下载下来,一边接受专家的指导一边进行实操维修。

[[203492]]

AR教程让你一边接受专家指导一边进行实操维修

图片来源:Chesnot/Getty Images

想通过IOXP系统创建AR教程,首先要使用标准摄像头记录下完成任务的人是怎样进行操作的。这些操作可能是给车换机油、安装锅炉或者做十字绣等。接着通过大量的计算机视觉算法将视频分解成可被理解的不同模块:检测人手的操作位置、操作动作以及识别不同的对象。之后系统将生成一个电子手册,该手册分步骤详细说明了这一任务是如何完成的。最后,它被自动转换成AR版本的教程。

最重要的一点是,AR指导手册一旦识别到用户面前的任务就会自动启动。 例如,如果工程师正在机器上执行一些基本维护,那么其AR头戴设备上的相机将会自动识别身前的机器。

“然后你就能看到专家的手出现在你面前,告诉你如何操作,”德国人工智能研究中心的专家、IOXP的联合创始人之一Didier Stricker说。如果用户碰到了错误的表盘或零件,手将会被投影成红色,系统将重播用户要执行的操作,突出显示人手、相关旋钮、表盘、零件等,而且精确程度能保持在半厘米范围内。

在德国,世界五百强Bosch集团已经与部分工程师一起试用了该系统,目前正致力于对外推广。

事实上,有不少AR设备生产商都承诺AR技术会让所有不熟练的菜鸟变成维修的专家。无论是想更换汽车的机油还是在不流泪的情况下学会切洋葱,未来的AR头显将会在现实环境里投射一则操作说明(教程),然后像一位经验丰富的专业人士那样来指导我们,并且耐心地纠正操作过程中所犯的错误。

这个想法听起来很不错,但是遇到的一大阻碍就是制作这些包含操作说明的教程不仅困难而且还很昂贵。 这就是为什么AR教程目前通常是那些有钱的公司在使用,比如维修战斗机那种的公司。但德国的这家初创公司想让每个普通人都享受到AR带给生活的便利。

“我们开发这个应用程序的目的是让每一个在家里修东西的人都可以把操作教程下载到他们的AR设备里,这样的话设备就能向他们展示维修的方法,并且能在很短的时间里教会他们如何维修,”IOXP的联合创始人Stricker说。

要说这种带指导性的教学视频Youtube上已经有一个系列了(Youtube上的 “how-to”视频),为什么还需要看AR教程来学呢?Stricker的解释是“YouTube确实覆盖了很多我们想学的维修技术,但是当我们的操作有误时,那些视频不会自动提示我们的错误。”

来自英国谢菲尔德大学高级制造研究中心的Rab Scott这样评价:“IOXP开发的这个应用程序能从普通视频中自动提取操作信息生成AR教程,这中间的工作量是巨大的。”这意味着IOXP系统的信息提取技术已经比较成熟。

当然对有些人来说,出现带有AR说明的平板包装家具只是一个时间问题。 “宜家(Ikea)在YouTube上上传了很多操作视频。 未来如果要把那些视频内容转换成一个增强现实的应用程序的话,利用IOXP的技术将会更简单一些,”Scott说。

此外,IOXP的这一技术不一定只局限在头显设备上,手机或平板电脑也同样支持。想象这样一个场景:某一天你想要更换锅炉上的零件,然后在手机上打开这款APP,之后正确的零部件位置就会出现在你眼前,它还向你展示如何拆解旧的零件,完成之后它要么提示你继续下一步,要么告诉你刚才的操作有误,需要重新调整。

Scott认为这样的技术未来几年会变得越来越重要,尤其是对英国这样的国家。“在英国,百分之六十的工程师都已超过50岁。除非我们可以保留这些工程师的知识并将其有效地传递给下一代工程师,否则英国将在15年内’从知识的悬崖跌落’。”

责任编辑:张燕妮 来源: 36Kr
相关推荐

2021-12-02 10:25:25

HttpCanaryApp视频

2022-04-19 10:45:28

自动化签名鸿蒙app操作系统

2020-11-13 08:17:48

App(滑动切换)

2011-05-03 15:59:00

黑盒打印机

2011-01-10 14:41:26

2022-08-04 10:39:23

Jenkins集成CD

2021-07-01 09:31:50

MySQL SQL 语句数据库

2009-07-19 15:02:56

2009-06-12 18:21:46

App Engine上

2011-02-22 13:46:27

微软SQL.NET

2021-02-26 11:54:38

MyBatis 插件接口

2021-12-28 08:38:26

Linux 中断唤醒系统Linux 系统

2022-02-23 20:53:54

数据清洗模型

2010-08-09 09:25:23

SQL Server镜

2022-04-06 09:02:58

JS反编译App

2022-07-28 16:06:08

app分身

2021-08-04 08:55:02

Socket Java开发

2009-11-09 14:57:37

WCF上传文件

2020-04-14 10:20:12

MySQL数据库死锁

2020-07-09 08:59:52

if else模板Service
点赞
收藏

51CTO技术栈公众号