逆天的语言A I 模型来了微软推出 A R 眼镜H o l o l e n s 二代新型人工智能芯片 让汽车“眼疾脑快”
第10版 上一期   下一期 上一版 下一版
  •   标题    站内高级搜索
5711:第10版 本期出版日期:2019-03-01

编写故事真假难辨,横扫各大语言建模任务

逆天的语言A I 模型来了

语音朗读:语音播报

你也许听说过会作诗的机器学习模型,也对人工智能写新闻这事稍有耳闻——今天我们要介绍的这项A I 科研进展,比上面这些更超前了一步。

近日,享有盛名的研究机构美国“开放人工智能研究中心”(O p e n A I ),宣布了一项新的生成式通用语言模型(G P T -2 )。这个A I 写起文章来文思泉涌毫无违和感,无需针对性训练就能横扫各种特定领域的语言建模任务,还具备阅读理解、问答、生成文章摘要、翻译等能力。

扩写能力极强的假新闻写手

这位A I 写手,是一个基于T r a n s f o r me r 技术,约有1 5 亿个参数的文本生成模型,采用来自互联网上总共8 0 0 万个网页、超过4 0 G B 的文字资料,无监督学习训练而成。

G P T -2 最核心的就是基于上文生成下文的能力,效果比使用维基百科、新闻、书籍等专业语料库训练的其它模型更好。

O p e n A I 在网上发布的几次演示结果显示,如果输入“一列载有管控核材料的火车车厢今天在辛辛那提失窃,下落不明”,该系统会生成一篇细节丰富、令人信服的新闻报道,不仅包括盗窃发生地“市中心铁路干线”、列车所载核材料来源“辛辛那提大学研究三角公园城核研究现场”,还有由并不存在的虚构声明。 如果输入一段类似《指环王》的文本内容,系统又会转换文风,以魔幻史诗题材特有的风格接着讲故事。

G P T -2 这样优秀的写作能力,是因为背后的T r a n s f o r me r技术采用的是一种生成式、关注度的逻辑。它不停地回溯前面的每一个词,按照和接下来将要写出的词之间的关系,为这些词打一个关注度得分,预测出下一个词应该是什么,循环往复。

语言模型全能王

G P T -2 展示的一系列普适而强大的能力,就像一个十项全能的语文老师。

在以往,同类模型需要特定专业领域的语言素材去训练,才能得到可接受的效果。比方说,写诗的A I 得用大量的诗歌去训练;写新闻的A I ,用的数据集也是写好的新闻素材。而G P T -2 的厉害之处在于,在未经专门类别语料训练的前提下,这个模型已经可以用于多种跟语言相关的任务,结果令人惊讶。

O p e n A I 的研究人员表示,在各种特定领域数据集的语言建模测试中,G P T -2 都取得了优异的分数。作为一个没有经过任何领域数据专门训练的模型,它的表现比那些专为特定领域打造的模型还要好。

除了能用于语言建模,G P T -2 在问答、阅读理解、摘要生成、翻译等任务上,无需微调就能有非常好的成绩。G P T -2 ,是G P T 的“进化版”,最大区别就在于规模大小。O p e n A I 在官方博客中表示,两者相比,G P T -2 的参数扩大1 0 倍,达到了1 5 亿个,数据量扩大1 0 倍,使用了包含8 0 0 万个网页的数据集,共有4 0 G B 。

然而,在很大程度上,G P T -2模型还是和G P T 一样:使用语言建模作为训练信号,以无监督的方式在大型数据集上训练一个T r a n s f o r me r 模型,然后在更小的监督数据集上微调这个模型,以帮助它解决特定任务。

就G P T -2 而言,它的训练目标很简单:根据所有给定文本中前面的单词,预测下一个单词。由于训练数据集的多样性,使得这个目标非常简单的模型,具备了解决不同领域各种问题的能力。

强大语言模型是把双刃剑

在A I 领域,类似的进步总是双刃剑。

显然,G P T -2 这样一个强大的通用模型,会带来巨大的社会影响。比如,它能用于开发A I 写作助理、更强大的语音助手、提高不同语言之间无监督翻译的性能,甚至构建更好的语音识别系统。但同样,它也能用来干坏事,就像用图像合成的研究造假一样,比如深度换脸,让多少人苦不堪言。

G P T -2 可以用来生成具有误导性的新闻报道、自动生成垃圾邮件、伪造内容发布到社交媒体上等。这个研究,加上先前图像、音频、视频合成与生成的研究,能够大幅度降低制作虚假内容的成本。以后你在网络上看到的东西,是真是假,可能就很难分辨了。

O p e n A I 在网站上也主动提到了这件事,并选择了谨慎的开源。他们本次并没有放出训练的数据集、全部代码等关键资料,放出来的是一个更小的、只有1 .1 7 亿参数的G P T -2 版本,而论文中的最大参数量超过了1 5 亿个。

“我们明白,某些研究者有技术实力,可以复现并且开源我们的训练结果。我们认为现在采取的发布策略可以限制这类人或机构的数量。这样,我们就能有更多时间让A I 社区去探讨这类技术的应用”,O p e n A I 在官网上写道。此外,O p e n A I 还建议,政府应该针对滥用A I 技术者建立惩罚机制。 宗禾

  
                     
友情链接

Copyright © 2011 江苏科技报 Corporation, All Rights Reserved  
地址:南京市鼓楼区湖北路85号   邮编:210000  电话:025-84507004  传真:025-86644248  邮箱:jskjb2019@163.com
江苏省科学传播中心(江苏省科协信息中心) 苏ICP备18013363号-5