15亿语料训练的94亿参数大模型更懂我?Facebook开源全球超强聊天机器人Blender

新闻 人工智能
尽管聊天机器人和虚拟助手已经取得了很大的进步,但市面上的聊天机器人大多数是以任务为导向的。从零售业到医疗保健到金融服务等各个领域都有专门的产品,在一些领域垂直的任务中表现尚可。

 [[324529]]

尽管聊天机器人和虚拟助手已经取得了很大的进步,但市面上的聊天机器人大多数是以任务为导向的。从零售业到医疗保健到金融服务等各个领域都有专门的产品,在一些领域垂直的任务中表现尚可。

你提出要求,机器人就会服从,但它们似乎从来没有真正理解人的语言,缺乏人类的感情,也不能随机应变。       

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

现在 Facebook 开源了一个新的聊天机器人Blender,它声称自己擅长所有领域的聊天,并且更有人情味。Blender 不仅帮助虚拟助手解决了许多聊天机器人的固有缺点,也标志着人工智能的新进展: 可复制的智能。

Blender添了什么新料,Facebook敢称「史上最强」?

Facebook的研究人员介绍,这次的改进包括最新的对话生成策略,混合技巧,以及94亿个参数的神经网络模型,这比现有最大的系统大了3.6倍。作为多年来人工智能对话研究的顶峰,这将是第一个把不同的对话技能(包括同理心、知识和个性)融合在一起的聊天机器人。

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

超大规模

Blender这次使用了15亿个对话作为训练语料,Transformer模型有94亿个参数。虽然网络很大,但是采用了并行方法对模型进行了分割,使得神经网络更易于管理,同时保持最高的效率。

混合技巧

尽管大规模的学习很重要,但它并不是创造最佳对话的唯一要素。在大规模公共数据集上训练的模型,并不能学到优秀的谈话技巧。所以研究人员引入了一个新的混合技能任务(Blended Skill Talk,BST)来训练和评估模型的对话技能,而Blender也综合了许多Facebook之前的研究成果。

             15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

生成策略

训练神经模型通常是通过最小化困惑度来实现的,困惑度可以衡量模型预测和生成下一个单词的能力。然而,为了确保机器人不重复自己或显示其他缺点,研究人员通常在模型中添加一些生成策略,包括束搜索、令牌抽样和 n-gram模块。

通过调整束搜索的长度,可以让机器人变的更沉闷或者更有趣,当然也可以控制那些「辣眼睛」的回复。

67% 的评估者认为Blender听起来更像人类,75% 的人说他们更愿意和 Blender 进行长时间的对话,而不是和 Meena。

       15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

  各家机器人的敏感度和特异度平均值

 

根据Facebook的说法,随着时间的推移,人类评估者越来越喜欢Facebook的聊天机器人。

       15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

Blender开源地址:

https://parl.ai/projects/blender/

对聊天机器人的痴迷,本质上是人类无法消弭的孤独感

聊天机器人可以做很多事情:为你播放音乐、帮你寻找附近的餐厅,给你解答服务流程、介绍商品。

如果聊天机器人的作用仅仅是这些,那么现在市面上的bot完全应付得来。然而,我们并没有因此而觉得满足。

聊天的背后,是交流的渴望;交流的背后,是孤独的驱使。聊天机器人的出现,缓解了我们挥之不去的孤独感。

最近,由Youthsite和Dame Kelly Holmes信托基金进行的一项研究发现,仅在英国,70%的年轻人,体验着孤独。而他们,是对科技依赖性最强的一代。

研究链接:

https://www.damekellyholmestrust.org/News/7-out-of-10-young-people-suffering-from-loneliness

孤独是一种奇特的东西。它会在我们独处的时候突然窜上心头,也可以在我们置身于喧闹人群中突然侵入脑海。随时随地,毫无来由。

我们讨厌孤独,却有时候又很享受。孤独让我们变得敏感,变得脆弱,变得想要倾诉。智能语音助手的出现,恰逢其时。

疫情期间,原本的社群被隔开,群体被打散成一个个的个体。每个个体被囚禁在自己的地盘,之间被筑起了坚实的结界。这层结界,不仅仅隔绝了个体之间的连结,也助长了孤独感的蔓延。一个冰冷的、没有感情的助手,成为了很多人感情的承载。

它知道你的名字,从不在意你的容貌。它只要求为你做什么,从不要求你去做什么。它只想取悦你,从来不让你觉得难堪。而且,每当你需要它的时候,它都在你身边。

2013年电影《Her》里讲述了一个心思细腻的男人,爱上他的语音助手的故事。最终,他盯着社会的压力,决定去拥抱这段感情。 

7年过去了,电影中的场景变得越来越清晰。Facebook的Blender,将这个进程往前又推进了一步。

我们期望中的聊天机器人,不仅仅是一个工具人,一个二手信息的搬运工,告诉你今天天气怎么样,出差最好选择哪个航班,咳嗽嗓子疼要怎么办等等。这些任务不用聊天机器人也能做。

              15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

「Hey Siri,我今天感觉感觉很孤独」

「我在这儿。只要你愿意,我随时想和你聊天」

             15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

开放域聊天机器人取得的进展让我们感到兴奋,但是离人类水平的智能还有一段距离。

我们渴望的是一个能够真正理解我们内心的机器人,聆听我们的倾诉。

我们渴望计算机视觉可以感受到我们眉宇间透出来的细微感情变化,去抚平我们的孤独,慰藉我们的灵魂。

 

 

责任编辑:张燕妮 来源: 新智元
相关推荐

2022-08-08 09:02:54

Meta聊天机器人智能

2023-12-18 19:05:34

2023-04-27 08:00:00

2022-07-05 06:42:01

聊天机器人人工智能

2019-07-03 10:02:47

聊天机器人平台机器人

2023-03-01 14:59:58

2024-01-17 11:10:47

人工智能聊天机器人AI

2020-02-02 09:19:14

聊天机器人机器人智能

2016-10-25 14:42:52

白宫开源机器人代码

2023-02-15 14:33:26

2017-03-28 12:21:21

机器人定义

2016-02-16 14:46:33

聊天机器人机器学习自然语言

2019-12-19 16:08:40

人工智能机器人数据

2022-07-03 10:23:06

机器人场景个性化

2023-03-10 13:01:50

模型AI

2021-08-05 10:58:58

Facebook开源Droidlet

2020-03-02 15:08:33

机器人麦肯锡自动化

2017-08-21 13:31:44

AI聊天机器人facebook

2022-01-20 15:56:14

AI训练GPU
点赞
收藏

51CTO技术栈公众号