阿里云服务器调用chatgpt 阿里云不再把开发大模型当OKR,MaaS第一阶段竞争结束了

AI资讯1年前 (2023)发布 fengdao
27 0

衡宇 萧箫 发自 凹非寺

量子位 | 公众号

这两天,一段大模型生成的高清视频合集在网上爆火。

无论是神秘的克苏鲁、还是海底生物蓝汪汪的大眼珠子,AI的“想象力”简直让网友们欲(san)罢(值)不(狂)能(掉)。

最关键的是,这段视频的分辨率达到了前所未有的1024×576!

高清还丝滑流畅,背后模型凭借生成效果,在推特和上狂刷热度。

火到特斯拉前AI总监 也来“哇哦~”了一波。

我们扒了扒,发现这个惊艳四座的,核心框架来自一个国内中文社区上的开源大模型。

它名为text-to-video-(文本生成视频大模型),17亿参数,由阿里达摩院提供。

只需输入文本描述,就能get对应的流畅视频。

也就是说,咱国产社区的开源模型,热度横扫中外社交平台。

更神奇的是,不按套路出牌,它没有用这个基础大模型的名字命名,而是选择了社区名字里的“Scope”。

这究竟是个什么样的社区?

解答这个问题,就得追本溯源,到原教旨社区里面一探究竟——

国产热门大模型“聚集地”

,中文名“魔搭”社区,同样由阿里成立,是国内最大的AI模型社区。

这个社区所有的功能和服务,统统以模型开发为中心展开。

现在的魔搭社区里,爆火的大模型“原型”只是其中之一。

社区初成立就光速上线300+机器学习模型,更是有10多个国产大模型选择在这里开源;

时至今日,魔搭社区已经聚集了900多个AI模型,开源的大模型数量也达到了30多个。

再拉出社区贡献者名单一看,好家伙,全是国内热门大模型玩家,譬如智谱AI、澜舟科技、百川智能、IDEA研究院、清华TSAIL等等。

且不说明星企业们,普通AI开发者就有超过180万在魔搭社区愉快玩耍。

之所以称体验为“愉快”,一方面是因为所有的模型生产者都可以在魔搭社区上传模型,对模型技术能力进行验证。

如果有需要,还能和社区共建者们一起探讨和摸索模型的应用场景,产品化或商业化落地模式,也能探究一二。

另一方面,魔搭社区背后还有阿里云的模型服务灵积,能够提供一站式的模型API门户。

无论是阿里自研的大模型通义千问,还是 v2、百川大模型、姜子牙、Dolly等大模型,都已经可以通过灵积一键调用。

利用它,开发者很方便就能调用各种云上模型,不仅集成到自己的应用中时无需再费大力气,甚至训练微调大模型这种事情,都可以通过数行代码搞定。

虽然已经很方便了,但魔搭社区还希望大家伙使用大模型时,门槛能更低。

在世界人工智能大会WAIC的主题论坛《MaaS:以模型为中心的AI开发新范式》上,阿里云宣布,为了更好地与个人和企业开发者一起探索探索应用和商业场景,将正式推出魔搭大模型调用工具。

所谓大模型调用工具,常以Agent(智能代理)的名字出现,此前最出圈的当属和。

这类工具的最大亮点在于“自动完成各种复杂任务”,用户只需以自然语言提出需求,它们就能调用各种资源搞定任务。

阿里云首席技术官周靖人直言:

我们需要Agent,用它理解基础模型之外的工具,更重要的是更有效地调用这些工具。

具体到身上,它能在接受自然语言指令后,将任务拆解为具体的细分步骤,而后通过阿里云通义千问大模型作为“中枢模型”,自动生成代码,调用魔搭社区里作为“任务模型”的其它AI模型。

通过协同,融合各种模型的各种能力,完成复杂指令。

简单来说,用,只需要极小的技术投入,就能实现文本、语音、图频、视频等多个模态能力的调用,提升专用领域模型表现,一个人达到一个公司的生产力。

据了解,这是国内推出的首个智能工具,目前具备完成单一任务、复合任务、多API规划调用、多轮对话API调用,模型知识问答等能力。

更重要的是,相比、,无论是对话输入还是调用模型,都以中文为主。

可以说是更适合中国开发者体质的机器学习工具了(手动狗头)。

不过,魔搭社区为何能顺利运转起来,甚至于吸引上百万AI开发者使用?

进一步地,它又何以成为不少国产大模型赛道核心玩家开源大模型的“聚集地”?

“这是大模型计划的一部分”

背后原因,或许可以追溯到阿里云的“大模型生态计划”——MaaS(模型即服务)。

让开发者们自由讨论的魔搭社区,只是阿里云以MaaS为核心构造的大模型生态的一个维度。

在MaaS中,不仅有魔搭社区这样的开发者生态层,更重要的是还有提升大模型训练稳定性、提供模型调用等服务的AI平台层,以及提供核心算力的基础设施层。

如果说开发者生态加速了大模型时代的到来,那么AI平台层和基础设施层,就像是大模型时代的“水电煤”一样,提供了这一技术发展最根本的动力。

这也是不少大模型开发者选择将模型部署在阿里云灵积平台和魔搭社区的原因。

阿里云服务器数据调取_阿里云服务器调用chatgpt_如何调用阿里云平台api

一方面,在基础设施层,阿里云拥有当前国内TOP级的智能算力储备。

阿里云的灵骏智算集群,支持最高10万张卡的GPU规模,自研的高速RDMA链路达3.2Tbps,网络最低时延1.5μs,并行存储吞吐量可达20TB/s。

简单来说,即使是多个万亿参数大模型同时在阿里云上训练,对硬件设施而言也没有什么压力。

不仅如此,在数据安全上,除了基于可信计算和机密计算技术推出业内首个基于SGX2.0和TPM的虚拟化实例以外,阿里云还基于TPM、VTPM、虚拟化等技术,构建了基于神龙安全芯片的全隔离、高可信的计算环境,完美消除了企业对模型安全隐患的顾虑。

但如何将这么多的算力最大化利用,同时进一步简化模型的使用方式,对于云计算厂商而言又是一大考验。

另一方面,在AI平台层,阿里云还提供了对应的平台来实现软硬件加速服务和模型服务。

软硬件加速服务,即PAI机器学习平台,就能用来提升AI开发和AI资源管理的效率。

PAI和灵骏智算集群,二者加起来共同构成了一个高性能、分布式的智能计算平台,相当于对软硬件进行了一个协同。它一共分为三大框架:高性能训练框架、高性能推理框架和全托管平台。

先来看看高性能训练框架。具体来说,它的可训练模型参数规模,最高能达到10万亿,能将训练性能最高提升10倍。

同时,在单任务需要多个GPU的情况下,训练效率几乎不会降低。

要知道,硬件数量增多,并不意味着算力也能1+1>2,这种时候就非常考验分布式计算的技术。

基于PAI×灵骏智算平台,即使单个训练任务所需的硬件规模从千卡增加到1万张卡,性能也几乎还是“直线”上升,其线性扩展效率达到92%。

而在高性能推理框架上,推理效率提升更是最高能提升6倍。

平台提供的推理加速服务,不仅能自动地做模型剪枝、量化、蒸馏和网络结构搜索,还能在性能基本无损的情况下,将大模型推理性能提升3.5倍。

至于全托管平台,则可以理解为是一个更好用的开发平台,包含无服务器架构、工程化和稳定三大特征,可以实现自动化运维、兼容多种框架及计算资源、智能容错和节点自愈等功能。

目前,这三大平台已经全面开启商用。

模型服务,就是前面提到的一站式服务平台灵积了,不仅能为开发者提供灵活、易用的大模型API接口,还能与平台底座很好地“结合”,进一步提升推理和训练的效率。

然而,阿里云并非没有自己的大模型,已经推出的“通义”系列就是例证。

最早推出的大语言模型通义千问,如今申请用户已经超过30万,深度合作企业更是超过100家;而推出仅一个月的音视频助手通义听悟,处理的音视频时长已经超过5万小时,文字处理量更是已经达到8亿多字。

除了通义千问和通义听悟以外,在这次WAIC大会论坛上,阿里云还发布了名为通义万相的AI绘画创作模型,包含文生图、风格迁移和相似图生成功能,目前已经开放邀测。

既然如此,为何还要将大模型开发集成为一整套服务MaaS开放给行业使用,培养更多“大模型竞争者”?

周靖人在WAIC大会接受采访时回应称,阿里云并不扮演“大模型开发者”的角色:

不是所有业务开发者或企业都有能力做模型。为此,我们打造了自己的通义模型系列,帮助这些开发者和企业享受到大模型带来的一系列技术优势,快速转化成业务价值。

但我们的主要目标不是做模型和开发者,而是服务好云上的开发者和企业。这样,拥有不同技术层次的开发者和企业,都能享受到AI时代的技术。

也就是说,无论是通义大模型系列,还是由魔搭社区、灵积模型服务、PAI机器学习平台、灵骏智算集群组成的一系列模型开发服务,本质上都是“阿里云大模型生态计划的一部分”。

阿里云认为,人工智能时代才刚刚看到发展的起点。也正是因此,MaaS还会蓬勃发展,更多企业和开发者也会在这种生态中实现自己的价值,实现更多商业化落地。

正是因此,阿里云才会把促进中国大模型生态的繁荣作为首要目标,以云服务商身份,开放技术、工具、经验,降低大模型门槛。周靖人表示:

对于今天模型的创新者,我们非常支持,也希望他们成功,我们会为他们创造的模型提供坚实的平台基础。

因此,除了向大模型创业公司提供全方位云服务以外,阿里云也会在资金和商业化探索方面提供充分支持。

不仅如此,以MaaS为核心的大模型生态,还会反过来重塑云产品的设计。

MaaS新范式:大模型决定走多快,生态决定走多远

但即便都说MaaS在重塑云计算、MaaS改变了云计算游戏规则,当前大部分企业的关注度,似乎也仍然集中在大模型本身。

从整个行业的角度来看,为何阿里云要在这个变革浪潮中,花这么大的资源和心力在大模型的生态建设上?

目前来看,大模型给云计算带来的影响,主要可以分为两个阶段。

由这两个阶段的进展来看,虽然大模型决定了云计算新范式MaaS的速度,但生态决定了真正能走多远。

第一阶段,市场上的大模型是“有”和“没有”的区别,核心是用得上。

最早推出了,成为大模型领域的“规则改变者”,本质上是率先推出了一项前沿技术,并占领了市场话语权。

对于后续紧随潮流的企业们而言,能否在这一阶段取得优势,关键还是看接入业务的时间、速度的快慢。

毕竟在这个阶段,比拼的还是有没有大模型,企业只要越早突破技术瓶颈、用上大模型,就越能在应用生态市场上占据话语权,吸引更大的市场。

第二阶段,大模型已经层出不穷,市场门槛也开始降低,对应的模型服务开始进入用户视野。

从这个阶段开始,大模型能力供应的稳定性(用户数量激增,是否会导致服务器宕机)、大模型数量的丰富度、大模型种类的多样性,都会开始成为云厂商新的比拼点,也会成为企业选择大模型服务的参考。

同时,在大模型这一赛道上,从来就不是“后来者居上”。

只有越丰富的供应,才能带来越多的客户;更多的客户,才能在数据反馈中帮助精进和迭代,从而产生“飞轮效应”。

如长期在机器学习模型有积累的社区 Face,就基于社区已有的开源模型推出了,以一个大模型调用多个AI模型的方式,迅速将长期积累的模型生态转变成更大的行业影响力。

这个阶段开始,生态的作用就会显现。

而这也是为什么构建一个生态,决定了MaaS的高度。

但无论处在哪个阶段,最核心的是,大模型依然是一个成本高昂的新事物。

不论在研发、迭代还是使用阶段,大模型都是一个消耗资源巨大、使用成本也不低的“奢侈品”。

所以只有构建一个生态,才能真正通过规模效应降低成本、帮助迭代精进,最后实现大模型和MaaS真正的商业可持续,这更需要生态。

所以真正重视大模型,真正重视MaaS的玩家,一定会不遗余力打造生态。

MaaS新范式的游戏规则中,大模型决定了一开始走多快,生态决定了最后走多远。

—完—

© 版权声明

相关文章

暂无评论

暂无评论...