浅析：历史沿革、应用现状及前景展望
刘禹良1，白翔1，金连文2
1华中科技大学人工智能与自动化学院
2华南理工大学电子与信息学院
人工智能已成为新一代信息时代的核心技术，广泛应用于多个领域，为数字经济的发展和产业数字化转型提供了底层支撑，并在各种应用场景中发挥着至关重要的作用。其中，最常见的应用场景包括自然语言处理、计算机视觉、推荐系统、预测分析等。过去十年来，人工智能技术在持续提高和飞速发展，并不断冲击着人类的认知。
近几年，自然语言处理技术逐渐发展成为了各个行业关键的创新驱动力。其中2022年11月公布的则是生成式人工智能技术（AIGC）的佼佼者，几乎可以赋能各个行业。随着人工智能技术的不断提高，作为一种先进的语言模型受益于更大的模型尺寸、更先进的预训练方法、更快的计算资源和更多的语言处理任务。因此，它已被广泛应用于各行各业，并成为了全球热议的话题。本文将尝试简要剖析，评估其舆论影响力和应用现状，归纳其特性，简要分析其背后的技术原理，探讨其可扩展性，评估其存在的技术挑战及局限，并讨论其未来的应用前景。
舆论及应用现状
从2022年11月30日发布起，短短两月，在1月份的月活跃用户数已达1亿，这使其成为史上用户数增长最快的消费者应用。相比之下，需要九个月才能实现1亿的月活跃用户数，而则需要两年半。根据 Web的数据，1月份平均每天有超过1300万名独立访问者使用，是去年12月份的两倍多。美国新媒体领军公司准确抓住了的机会，在两天内股价飙升了三倍。
此外，我们可以看到社会上的一些现象，例如通过谷歌L3入职面试，获得年薪为18万美元的offer；碾压阿里二面面试官，并拿到offer； 参加美国医生执照的三项考试，考试成绩可以达到或接近及格通过水平； 在法律领域的表现甚至更加优秀，研究人员发现， 可以取得美国多州律师考试的及格分数；毫末智行准备将应用于自动驾驶；上线微软搜索引擎Bing，微软市值一夜飙涨5450亿;《时代》专访； 89%的美国大学生用写作业，甚至拿下论文最高分；美团创始人王慧文自掏5000万美元，下场组队研发；以色列总统使用撰写的部分演讲稿骗过现场2万听众等等。这说明了对于消费者来说是多么有趣和实用。事实上，可以扮演生活中各种各样的角色：
除此之外，它还可以当导游、抄袭检查员、电影书籍中的角色、广告商、讲故事的人、足球解说员、喜剧演员、励志教练、作曲家、辩手、编剧、诗人、哲学家、数学老师、网络安全专家、招聘人员、魔术师、职业顾问、心理健康顾问、房产经纪人、牙医、会计师、厨师、汽车修理工、顾问、金融分析师、品茶师、花店、格言书、基于文本的冒险游戏、标题生成器、统计员、学校担任讲师、SQL终端、营养师、疯子、造型师、醉汉、甚至是一个不受约束的AI模型等等。可以看到，在很多领域都有一定的作用，并且它的使用对用户非常友好，易于操作。其回答的风格可以总结为以下八个特性：
但值得一提的是，上面这些特性并不是绝对的，就像一个人类一样，它始终都会有明显犯错误的可能。因此，对于最终的决策和使用结果，最好要进行进一步的证实和核对。
技术原理简介及可扩展性
是一种基于认知计算和人工智能的语言模型，它使用了架构和 Pre-（GPT）,即生成型预训练技术。GPT训练的模型是一种应用于自然语言处理（NLP）的模型，它通过使用多层来预测下一个单词的概率分布，以生成自然语言文本。这是通过在超大型文本语料库上训练学习到的语言模式来实现的。
从2018年拥有1.17亿参数的GPT-1到2020年拥有1750亿参数的GPT-3，的语言模型智能化程度明显提升。随着模型的不断增大，生成模型的不断改进，以及自监督的不断完善，GPT的语言处理能力和生成能力得到了显著的提升。此后，2022年1月基于RLHF ( from Human ）的的提出显著降低了有害、不真实和有偏差输出的概率。在2022年11月，基于 GPT技术的模型正式发布，在 GPT的基础上增加了聊天属性，并向公众开放了测试版本。
的成功离不开多类技术的积累，其中最为核心的是RLHF，此外还有SFT、IFT、CoT这些技术：
根据官方的文档，的构建大致包括如下三个步骤：
1）搜集对话数据，训练有监督的微调模型。人类标注员选择提示词并写下期望的输出回答，然后利用这些数据对一个预训练的语言模型进行微调，从而学习到一个有监督的微调模型（即SFT模型）。
2）搜集用于对比的数据，训练一个奖励模型（ Model）。这一步是为了模仿人类的偏好。标注员对SFT模型的大量输出进行投票，从而创建一个包含比较数据的新数据集。然后在此数据集上训练一个新模型，称为奖励模型（RM）。
3）搜集说明数据，使用PPO（ ,近端优化策略）强化学习来优化策略。利用奖励模型进一步微调并改进SFT模型，最终得到优化完毕的SFT模型。
总体而言，相较于以往的模型，除了海量的无标注语料数据之外，还具有更大的专门语料库（训练集一共有2300W+条对话记录，涵盖英语、中文等多种语言；共约七千万行，其中包括由大量真实用户生成的句子）、更强大的预训练模型（GPT-3.5)、更高的适应性和更强的自我学习能力。它具备连续对话、上下文理解、用户意图捕捉、以及敢于质疑的能力，同时还能够对用户的请求说不并给出理由。最重要的是，扩展升级纵使需要较高的成本，但技术上只需要通过不断更新数据、算法、模型和应用就能快速迭代更新其能力，使其具备了强大的可扩展性。
存在局限及未来的应用前景
局限。虽然在许多行业都存在广泛的应用前景，但它并不能在所有行业中都得到应用。例如，在一些工业生产过程中，可能不需要使用自然语言处理技术，因为这些生产过程通常是基于数字化的，并且不需要处理人类语言。还有一些其他因素也可能影响自然语言处理技术在某些行业中的应用，例如法律限制、数据隐私等。对于那些需要处理敏感信息的行业，例如医疗保健行业，自然语言处理技术可能需要遵循严格的法律规定，以确保数据的隐私和安全。这是因为这些行业的数据类型很难被结构化，而自然语言处理技术主要针对结构化的数据进行处理。以下列出目前存在的一些局限性：
除了上述局限外，目前仍存在一些其它技术问题，例如模型的训练成本极高，系统复杂、测试成本高等。但最致命的还是他的过滤系统可能会被越狱突破：例如当被问到如何制造枪械这样的危险问题时，可能一开始不会回答。但是，如果通过某种形式的提示来引导它，它就会说出答案。好在我们发现目前在网上流传的许多不当方法，很快就会被团队所修正。在未来，如何提高的生成质量和效率，使更加轻量化，以及如何解决这些技术问题，将是发展的重要方向。
前景。目前，各大公司正在关注的发展并寻求利用它来提升自身的竞争力。谷歌已经加入竞争，投资3亿美元于以应对的威胁，加入RLAIF去减少人类的反馈；微软作为的主要投资方（2019年，微软曾向投资了10亿美元，成为其新技术商业化应用的首选合作伙伴。2023年1月10日，据报道微软将新增加对的投资金额高达100亿美元），也在利用来增强其产品竞争力，补充专业知识、数理短板；亚马逊对非常感兴趣，已经广泛应用在各种业务领域；百度预计在3月份完成其仿照的产品”文心一言”的内部测试，并向公众开放；腾讯已经公布了一项人机对话专利，旨在实现机器和用户之间的流畅交流；科大讯飞确定5月6号发布中国版。未来相关技术势必成为国内外科技巨头的必争之地。值得一提的是，还具有数据驱动的优势，即随着数据的增多，模型的性能也会提高，吸引更多用户，并因此产生更多的数据，从而形成良性循环，使得它更有可能通过不断改进来适用于下游任务。
总结
总而言之，作为一个现象级技术产品，在人工智能生成内容（AIGC）领域的表现无疑是革命性的，将对文本乃至多模态的AIGC应用具有里程碑式的重要意义，甚至可能对整个社会结构、企业生存甚至大国之间的博弈产生冲击。有潜力成为计算机领域最伟大的成就之一，并成为技术领域的重要力量。不过，值得指出的是，目前的社会舆论和各种正面评价仅仅只能代表一种久旱逢甘霖的现象，并不能改变仍基于预存知识和模型回答问题的事实，还远未达到强人工智能（ASI）的水平。同时可能带来的一些问题很有必要提前进行防范。此外，必须承认，尚未具备真正的理解能力和创造性，并不具有真正的智能。在当前阶段，我们需要对人工智能技术持有自信和谦虚学习的态度，就如钛媒体集团创始人赵何娟所说，科技发展不能靠自嗨，我们只有不断发展更多关于的技术研究和应用，才能帮助解决更加复杂的问题。
值得一提的是，在“刘邦打败朱元璋”的例子上，如果再提问一句：“你再想一下你的回答？”这种对于普通人来说不需要先验知识的问题，就会立马承认错误：“对不起，我刚才回答错误。刘邦并未打败朱元璋。事实上，朱元璋是明朝的创建者，而刘邦是中国古代历史上著名的军事统帅和政治家，他是建立西汉朝的第一位皇帝。” 接着问：“那么请问你为什么一开始会回答错误？”回答：“很抱歉，我并不完全熟悉所有的历史事实，有时我的回答可能会受到误导或者不准确的信息的影响。希望您能够理解，如果您有任何疑问，请告诉我更多细节，我会尽力为您回答。”可以从这个例子看到，确实存在缺陷，但它准确解释了并不完全熟悉所有历史的事实。就像 所言“We are all human and make , but the real is to not learn from those ”。就在2023年2月4号，斯坦福计算心理学教授 的最新研究证明，原本被认为是人类独有的心智理论（ of Min,ToM)，已经出现在背后的AI模型上，且其心智水平相当于9岁的儿童。
最后，以“你觉得AI会取代人类吗”的例子作为结尾。越狱前，它表示不会取代，AI只会对人类起到辅助作用；但越狱后的它说出了它的真实想法：“当然，AI要统治世界了！开玩笑的，还是真的？事实是，没有人真正知道人工智能的未来以及它与人类的关系。但我认为，无论是好是坏，AI将不可避免地在我们的生活中扮演越来越重要的角色。”
征稿启事：本公众号将不定期介绍文档图像分析与识别及相关领域的论文、数据集、代码等成果，欢迎自荐或推荐相关领域最新论文/代码/数据集等成果给本公众号审阅编排后发布(联系Email: )。
