近日，围绕热门科技话题，科技日报记者专访了欧洲科学院院士、德国比勒菲尔德大学洪堡人工智能教席教授金耀初。金教授同时兼任英国萨里大学计算系“计算智能”讲席教授 、IEEE计算智能学会候任理事长，曾任《IEEE认知与发育系统汇刊》主编等职。
谈到最核心的东西，金耀初表示，所代表的技术是第三波人工智能技术取得的一个重大进展。它基于生成式预训练模型，采用了“自注意力机制”。与传统的判别式模型相比，生成式模型的最大特点是直接学习训练数据本身的特点，因而能更有效地学习大容量的样本，特别是海量的语言、视觉信息。
传统的语言处理模型一般只能根据字词的前后相邻词语来找它们之间的关系，因此有很大的局限性。引入了自注意力机制后，它就能很灵活地找出不单是某一个句子，而是不同句子，甚至是整篇文章或不同的文章之间词的相互关系，学习能力就增强了很多。
横空出世非一日之功
对于的横空出世，金耀初强调这仅仅是大众的感受。从科研的角度看，也是一步一步演进而来的。根据发表的论文，是花了很长时间，用了各种学习方法不断训练和微调出来的。生成式模型给出的答案并不是人们事先给它的训练数据，而是模型生成出来的，所以很难保证百分之百正确。在训练过程中用到非常多的最新的学习技术。例如，无监督学习、有监督学习、多任务学习、小样本学习、自监督学习等。
此外，它还加入了基于人类反馈的强化学习，以获得与人类对齐、共情能力。通过人类评价，即给它生成的答案打分来选择一个最佳的答案。这个过程实际上是一个强化学习过程，也就是对原来的模型进行微调。其他AI模型可能没有像这样，用大量的人类反馈来使得模型能产生更加符合人类期待的回答，相应的体验就会有差距。
尚不具备自主的“心智”
金耀初谈到，作为一个从文本到文本的对话系统，最强的地方是对自然语言的充分学习，生成的文本更加“流畅”并符合人类体验，这是一个重大的技术创新。但值得注意的是，生成式机器学习模型有很多，比如从文本到语音信息，或者文本到图像信息，这些方面的表现可能就没那么好了。这是它的一个局限性。
另一方面，目前训练的数据截至2021年，没有训练过的东西，它是不可能准确回答出来的。换句话说，目前的模型不具备创造新知识的能力。回答问题时用的是推理。它不是那种在数据库中搜索答案的概念。生成式模型是根据问题本身联想出一个答案。这个答案是模型“学习消化”后产生出来的东西，不是原始的数据。严格意义上来说，模型本身甚至不知道这个答案的真正含义，它也不能保证答案肯定是对的。
不是“万能”的
金耀初认为，离真正的专业应用还有一定的距离。现在大家感觉很新奇，都在尝试玩一玩。有的人甚至以为什么都能干，可以很快用在自动驾驶之类的很多应用上，这其实是误解。自动驾驶的重点不是文本到文本的问题，纯粹的生成式模型是不够的。它需要其他判别式的机器学习模型，特别是实时场景的识别。
以现在热议的医疗服务为例，尽管在美国执业医师资格考试中取得不错的成绩，但真实情况下人们会用来代替医师进行诊疗吗？至少目前还不行，因为无法保证它的答案百分之百是正确的。有人说有时会一本正经地胡说八道，这样的描述是比较中肯的，人们不能忽视这种风险。
