chatgpt训练推理成本 谷歌母公司董事长:聊天机器人成本是传统搜索的10倍,要花数年降成本

AI资讯9个月前发布 fengdao
20 0

火爆全球,各大科技公司纷纷加码人工智能。不过聊天机器人工具这一新兴技术不仅在准确性方面存在问题,还使得研发公司背负高昂的运营成本

当地时间2月22日,谷歌母公司的董事长约翰·亨尼斯(John )在路透社的采访中表示,大型语言模型等人工智能的对话成本可能是传统搜索引擎的10倍以上。他认为谷歌必须降低此类人工智能的运营成本,但这一过程并不容易,“最坏的情况是需要几年时间。”

聊天机器人成本高昂

与传统搜索引擎相比,聊天机器人的运营成本略显高昂。

摩根士丹利的分析表示,谷歌去年共计3.3万亿次搜索,每次搜索的成本仅为0.2美分。而此前有分析师指出,的一次回复则会产生2美分的成本。

摩根士丹利预计,若将谷歌旗下聊天机器人Bard引入搜索引擎,并用其处理谷歌一半的搜索和提问,按照每次答案50词计算,该公司2024年的成本可能会增加60亿美元。

同样的,专注于芯片技术的咨询公司表示,受到谷歌的内部芯片 Units等的影响,将聊天机器人添加至搜索引擎中,可能会导致该公司额外花费30亿美元。

推理与推理形式_推理本有什么_chatgpt训练推理成本

搜索引擎的首席执行官 则认为,添加聊天机器人、图表、视频及其他生成技术应用程序,将对应30%至50%的额外支出。不过他认为,“随着时间的推移,这类技术会变得越来越便宜。”

聊天机器人的成本之所以高于传统搜索,主要是因为其所需的算力( power)更大。分析师称,此类人工智能依赖于价值数十亿美元的芯片,将这项成本平摊到几年的使用期中,单次使用成本会增加。此外电力消耗同样会导致成本提高,还会为公司带来碳排放指标方面的压力。

聊天机器人式的人工智能与搜索引擎的工作原理并不相同。人工智能处理用户问题的过程被称为“推理()”,它模拟人脑的“神经网络”,根据此前的训练数据推断出答案。而传统搜索引擎中,谷歌的网络爬虫会扫描互联网并编制为信息索引。当用户输入搜索问题时,谷歌会提供存储在索引中最相关的答案。

对于聊天机器人而言,其所依赖的语言模型规模越大,需要越多的芯片支持“推理”,对应的成本就更高昂。

以为例, 其技术来源是旗下自然语言处理(NLP)模型GPT-3,该模型拥有1750亿参数,训练成本花费约1200万美元,是同类中参数数量最多、最昂贵的模型之一。

因此的成本居高不下。的首席执行官萨姆·奥特曼(Sam )曾在推特上表示,与用户对话的成本非常“惊人”,每次对话需要花费几美分或更多。

有媒体根据微软对单个100 AGPU的收费情况进行推断,得出生成一个单词的费用约为0.0003美元,若以每次回复50词来计算,的一次回复需消耗1.5美分。

对此,亨尼斯表示,“你必须降低推理成本,最坏的情况需要几年时间(解决这一问题)。”

推理本有什么_chatgpt训练推理成本_推理与推理形式

科技公司设法降低成本

尽管聊天机器人为公司带来额外花销,但它同时也会带来用户增长。

微软此前表示,新版必应推出的48小时内,超过100万用户注册新版必应。第三方数据公司data.ai的分析显示,必应应用程序的全球下载量在一夜之间猛增10倍,并蹿升到苹果App Store应用商店最受欢迎的免费应用榜中的第十位。

微软的首席财务官艾米·胡德(Amy Hood)也告诉分析师,随着新版必应上线,用户数量增加及广告收入带来的好处已经超过了成本。她认为公司的毛利率其实处于增长状态。

但也有人提出公司需要采取措施降低成本。一位资深技术高管在路透社的采访中表示,要使几百万消费者使用人工智能,目前成本仍然过高。该高管表示,“这些模型非常昂贵,因此下一阶段的重点是降低这些模型的训练和推理的成本,以便用户能够在每个应用程序中使用它们。”

有技术专家认为,降低成本的方法之一是使用较小的人工智能模型,并将其应用于更简单的任务。

目前正在探索这条道路。其聊天机器人Bard基于公司旗下大型对话语言模型LaMDA的轻量化版本。相比标准版本,轻量化版本模型所需要的运算能力较小,能面向更多使用者开放,使其参与体验。

也有知情人士透露,的计算机科学家已经找到如何通过复杂代码优化推理成本的方法,并以此提高芯片运行效率。

除了降低成本,该公司还通过收取费用获得营收。2月初,宣布推出付费版 Plus,定价每月20美元。付费版功能包括高峰时段免排队、快速响应以及优先获得新功能等。

© 版权声明

相关文章

暂无评论

暂无评论...