水木番 发自 凹非寺
量子位 报道 | 公众号 QbitAI
继BERT之后,谷歌在NLP模型上又有大动作!
在今天的谷歌I/O大会上,一口气发布了2个新模型:
LaMDA 和 MUM ,均基于Transformer架构。
LaMDA (对话应用程序的语言模型),相比BERT的最大优势,是可以 自然对话 。
谷歌的首席执行官 桑达尔·皮猜(Sundar Pichai) 强调:
专为对话应用而构建的LaMDA模型是 开放域 的,目的是面对任何话题都能进行交流。不必重新训练模型即可进行其他领域的对话,这一点非常重要。
而 MUM (多任务统一模型),它的特色是 多模态 ,用谷歌的话就是“比BERT强了1000倍”。
那么,新出炉的两款新语言模型,到底有多强悍?
一起来感受一下。
自然对话是开放式的,可以从一个特定话题开始,到完全不同的话题结束。
就好像:
开头可能与朋友聊的是天气,慢慢聊到这两天大风和下雨会搞乱发型,最后两个人还会乐呵呵地聊起了在村口那家理发店的“托尼老师”剪出的创意发型。
这种曲折的对话总是让聊天机器人犯难,因为机器人通常只能先预设一个比较窄的聊天主题。
但是现在LaMDA就可以做到自由切换主题,解锁了更自然的方式和人进行对话。
在I/O大会的简短演示中,Google展示了LaMDA的实际效果。
其中一大亮点是LaMDA可以“角色扮演”。
例如,有些学生想了解更多有关太空的知识,他们想问LaMDA关于冥王星的问题,LaMDA将会以冥王星的身份进行回答,让学习一下子变得生动有趣了很多。
开聊后,LaMDA显得非常自如,还回答说:
如果要来旅游记得穿得暖和点,因为我这里特别冷。
当被问到“你还希望大家了解你的哪一面”,
它这样回答:
我希望人们知道我不仅仅是一个随机的冰球,我实际上是一个美丽的星球。
对于“有没有人访问过冥王星”的问题,LaMDA也能答出准确的事实。
其实,LaMDA对冥王星在内的数百万个主题都相当了解。
它给人的感觉好像在和一个知识渊博的朋友聊天,虽然聊着聊着不知道跑到哪个话题了,但它总能给你丰富而合理的回答。
实际上,LaMDA的对话技巧已经发展很多年了。
与包括BERT和GPT-3在内的许多最新语言模型一样,它也是基于Transformer架构。
Transformer是Google在2017年发明并开源的神经网络体系架构,它可以读取许多单词或句子来训练模型。
它可以充分理清楚这些词相互之间如何关联,并且预测它认为接下来会出现的词。
LaMDA明显接受了更多在对话方面的训练,在开放式对话方面效果奇佳。
皮猜这样评价LaMDA:
LaMDA在公平性,准确性,安全性和隐私性方面都已经达到了非常高的标准。
目前,虽然LaMDA还没有出现在任何产品中,但谷歌正在继续研究这项技术,最终会将其用于Assistant,Search和Workspace等产品中。
LaMDA是自然对话中的一大进步,但仅适用于文字方面。
当人们彼此交流时,他们会同时使用图片,文本,音频和视频等进行交流。
因此,谷歌今天还发布了他们的MUM模型。
它是一种多语言多模态模型,可以通过执行多任务,解锁各类信息。
Google高级副总裁 Prabhakar Raghavan 说:
MUM可以一次接受超过75种语言的数据,可以让模型跨语言获得知识,它可以同时理解各种形式的信息,包括文本,图像和视频。
MUM会在不同语言资源里并找到最相关的结果,最终通过用户偏好的语言呈现。
当问它:
“我已经成功登上了亚当斯山,我想在明年秋天去爬富士山,应该做些什么准备?”
由于具有多模态功能,MUM 可以通过用户提供的照片、视频、路线图等信息,针对富士山和亚当斯山的季节、地质等差异,提出最合理的攀登路线、时间和装备建议,比如建议提问者带一件防水外套等。
MUM还会特别贴心地给出一些相关视频或者博客的链接,让提问者有更多深入研究的机会。
当然,所有它的回答都来自网络上的文章,视频和图片。
MUM还可以依靠上下文,以及多类型的信息,比如图像和对话来进行回答。
比如,给它一张鞋子的照片并问“我可以用它来爬富士山吗?”
MUM可以理解图像的内容和分析背后的意图,通过搜索之前的数据让提问者知道鞋子是否是合适的。
Google 2019年推出的BERT经历了很多,MUM也会经历这些模型“从问题到解决”的过程。
比如,研究团队正在寻找表征机器学习中偏见的模态,以避免在MUM中引入偏见。
研究团队还在运用最新研究中的经验来确保MUM的搜索尽可能高效,使它更加强大。
至于目前究竟多强大,正如谷歌官方给出的说法是:
MUM像BERT一样建立在Transformer架构上,但功能却强大了1000倍。
BERT有多强大家都知道,所以是不是瞬间感觉对MUM充满了小期待呢?
谷歌在I/O大会上一发布这两套模型,网友们立刻关注度满满。
一位网友提到:
我注意到GPT-3的陈述经常是矛盾的。我完全相信,可以搞出一个更好的系统,能够更好地化解矛盾,而不是一开始就刻意躲开矛盾。
不谋而合,一位Google员工也提到:
我认为聊天机器人的一个共同缺点是,可以通过提供一些论点或者论据,甚至只是通过提出问题的方式就可以使它们相互矛盾。但是当我尝试使用LaMDA时,我发现LaMDA对矛盾的抵抗力比我预期的要强得多。
这说明谷歌正在努力的方向是:
主动解决自然语言处理中的问题,而不是一味地规避问题。
基于强大的问答交流模型,让机器能像朋友一样和你聊天,并能给出很多实用的答案,这让我们看到了自然语言处理的未来趋势:
不仅能充分提升AI的温度,也能同时处理出各类信息,回归到“以人为本”的初衷上来。
下一步,这两套模型还能再优化吗?
让我们拭目以待!
参考链接
[1]https://9to5google.com/2021/05/18/google-lamda-natural-language/
[2]https://blog.google/products/search/introducing-mum/
[3]https://blog.google/technology/ai/lamda/
[4]https://blog.google/technology/developers/io21-helpful-google/
[5]https://news.ycombinator.com/item?id=27198087
[6]https://zhuanlan.zhihu.com/p/373443775
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态