当前,世界人工智能技术进入“第三浪”,正经历突飞猛进的发展。从业界角度,在过去的2021 年如果要选一个年度行业关键词,非 “大模型“莫属。AI大模型依靠巨量的训练数据,大大提高了人工智能的通用性,其强大的能力令人赞叹。
沃丰科技作为人工智能客服领域的领航者,已经在AI大模型方面取得重大进展。沃丰科技紧跟前沿技术脚步,将AI大模型应用到了智能客服领域,在相似问题推荐、情绪识别等领域取得了重要成果。
参数量从1750亿到1.6万亿
AI大模型已经成为了人工智能领域新的高地,只用了一年多的时间,AI大模型疯狂迭代,技术不断突破。参数量级从千亿、万亿,迅速跃迁到10万亿级别。各大科技巨头,争相进入赛道,角逐日渐激烈。
2020年6月,在训练约2000亿个单词后,模型规模达到 1750 亿参数、被业界大咖称为“史上最强大AI模型”的GPT-3一炮而红。写小说、编剧本、敲代码……GPT-3无所不能。2021年1月,谷歌提出了自己的模型,声称参数量提高到1.6万亿。在计算资源相同情况下,训练速度大大提升。随后,华为、阿里等国内厂商也先后推出了自己的大模型。
大模型预训练模型
前沿厂商AI大模型的应用示范
一直以来,前沿技术如何与实际结合,发挥应有的商业和社会价值,都是行业内的重点难点,AI模型亦是如此。如何能让模型更好地适配场景,困扰着诸多的巨头与业内专家。虽然大模型仍处于探索期,但一线厂商借助大模型的优势、资深行业经验,依然给出了精彩的应用示范。
其中,华为云“盘古”推出了药物分子大模型,实现了全流程AI辅助药物设计;智能电力巡检场景用无人机代替人工进行缺陷检测;还有智能居家、智能车载、智能设计等等。
大模型已经可以在能源、医疗、物流、金融等100多个场景实际应用,为企业效率提升做出了重要贡献。但在智能客服领域,大模型的落地并不十分顺利。作为智能客服领域领头羊,沃丰科技一直在思考,是什么制约着大模型的应用?大模型能够为智能客服带来怎样的改变?沃丰科技以切身实践,着力探索大模型在行业内的应用之路。
AI大模型的技术优势明显
在模型结构趋于稳定的情况下不断实现精度突破
优秀的推理能力是模型增大最为突出的优势。沃丰科技在基础AI能力之上,通过对大模型的使用,在语音技术噪声问题、口音问题、铃声问题,自然语言处理的动态场景元素缺失问题、语义深度推理问题、多意图理解问题等方面都有了不同程度的提升。沃丰科技通过模型推理+人工的方式,产出了一批更优质、更具有温度的机器人答案。同时我们也在研究、改进模型,业务与研发齐头并进。
图像和自然语言处理任务随着模型的更迭,准确率持续突破
减少对数据标注的要求
标注数据一直是制约模型效果的难题,人工标注数据费时费力。大模型拥有自监督的学习方法,可以很大程度减轻对标注数据的依赖。尤其是面对小样本数据时,数据量不足的问题就更加突出。以往的小样本效果都不尽人意,我们在尝试大模型后,依靠少量标注数据就可以达到不错的效果,提高效果的同时极大程度地减轻了人工压力。
为下游任务提供预训练方案
AI模型研发成本极高,很难满足市场定制化需求。于是大模型提供了一种“预训练+下游微调”的模式。沃丰科技以大模型为中心,去适应特定领域的业务,极大地提高了模型的泛化能力。
大模型落地的难点
成本过高
有趣的是,在GPT-3的论坛中,有一个非常扎心的标签:“炫富”。
以红极一时,家喻户晓的BERT模型来说,训练一次的成本大概要1.2万美元,GPT-2的成本大概是BERT的3-4倍。而GPT-3的参数量是GPT-2的100倍,训练成本估计在千万美元之上。这个数字,对于很多公司是遥不可及的,更不用说最新的模型参数已经远不是GPT-3的数量级了,所需经费已经成为了天文数字。
同时,大模型的能力并没有强大到让人忽略成本。一些任务量小的场景,一味依赖模型,只会造成资源浪费,如“大炮打蚊子”。如何在控制成本与提升效率、提高客户满意度中权衡,成为了大模型落地智能客服的关键问题。
响应耗时长
经过对大模型接口的测试,仅仅是Q&A问答接口,平均响应时间就要到2min,创作图片的接口响应时间在3-5min,一些复杂功能接口的响应时间到了十几分钟。智能客服产品,对线上的问答要求在毫秒级。很显然,这样的时耗在匹配线上要求时效性的场景时显然是不能满足的。
大模型在智能客服领域的应用实践
情绪识别
沃丰科技基于、悟道GLM模型在客服情感识别方面进行了验证,其中训练数据10w条,验证集和测试集均1w条。
从上表中可以看出,预训练大模型和悟道GLM模型相比传统的深度学习模型准确率和召回率都有巨大的提升,而模型更大的悟道GLM相对效果更好一点。
相似问题生成
大模型虽然受限于响应时长无法用于实时的问答服务,但是其强大的生成能力,为智能客服的发展提供了另外一条道路。利用大模型的生成能力,可以快速生成大量的训练数据,经过简单的人工审核之后,就可以加入到深度学习模型训练中,快速扩展模型的训练数据量,从而不断提高机器人的匹配率,快速提高机器人解决问题的能力。
AI大模型,我们在路上
沃丰科技作为智能客服领域的先锋官,本着以客户为中心的原则,时刻关注行业内前沿技术,努力探索大模型技术发展方向,算法团队不断优化大模型依赖的底层技术,积累了大量的技术经验和知识资源。
依靠核心产研团队,沃丰科技不断打磨适合企业服务场景的AI产品。始终按照既追求大模型的能力,又在保证精度要求的前提下,抓住响应时长的底线。让智能客服领域体验到了大模型带来的技术成果,为企业打造了更佳的客户体验,更好地赋能业务进行数字化转型。
AI大模型的到来及应用示范,让人们看到了人工智能前沿技术走向通用的希望。沃丰科技也将乘上大模型这股浪潮,实现NLP、ASR等深度学习技术的突破,向着“未来客服互动由AI主导”的愿景不断前行。
