by
岁末年终简单聊几句,算是一个小小的总结
这两天正好参与了两个论坛活动,一个关于,一个关于稀疏计算。前者是芯片底层技术,后者是AI重要的计算特征,讲完我发现自己的总结中用了非常类似的描述。
“___技术给AI系统的优化带来了新的机遇,但___技术的引入并不是免费午餐,可能会对现有的架构和编程模型产生冲击,必须认真权衡其成本(包括直接成本和增加的软硬件设计的)和产出。而这是个复杂的全系统优化问题,需要相应的设计方法学和工具来支持……”
回头一看,作为架构师(师)和长期研究设计方法学(“纸上谈兵”)的人,这段文字可能是对于新技术的引入的一个万金油式的说法。这几年的收获可能是,给了编程模型(决定软件生产力)更多的权重。没有变的是,仍然期待大家能重视设计方法学和工具,尽管这种期待也可能只是由于个人关注点造成的错觉,在现在这个大家都很“着急”的环境没什么实际的意义
()。
如果说在AI 领域今年印象最深的事情是什么(除了我们自己的产品发布外
),排第一位的应该是 2.0的发布,这可能是我关注AI 几年来对于这项技术发展最重要的一个事件。对于AI 来说, 2.0设定了一个比较清晰的发挥空间,不多不少(有待观察),可以更聚焦在自己的任务上,绝对是个多赢的事情。这里感慨一下,距离我在18年组织MLIR的学习讨论,已经快5年了,MLIR仍然在路上(“”)。任何新技术从一个好的想法到真正解决问题,确实需要时间和机遇。Chris 终于自己干了,希望不辜负大家的期待吧。
另一个和AI 密切相关的大事件当然是AI算法的突破, 和的冲击范围已经完全突破了技术人的圈子,其深度和广度应该不亚于当年的。题图是 2模型生成的,光线效果好很多,甚至可以在里面描述“ , light, light”,而且效果还不错,但控制性变化很大,很多老版本模型上表现很好的都会翻车。的表现也不是完美的,我们仍然看到很多令人啼笑皆非的答案。对于这些大模型来说,好用但“不理解”“不受控”的问题仍然没有很好解决。
另一个挑战就是训练和部署的代价。很自然,它们已经成为AI 最关注的场景。在开篇说的两个论坛上,大家已经在讨论如何利用模型的稀疏性(“”)以及利用技术提供的芯片能力来加速这两个模型了。LLM无疑是未来几年AI领域的主题,一个更值得思考的问题则是,LLM是否真能形成one for all能力,如果是的话,是否会出现LLM 来取代现在的计算机?一个非常高度定制的专用加速器 + 一个非常通用的模型(可以参考,“”),来解决效率和通用性这两个矛盾的问题。训练好这个模型之后,实现各种任务不再需要“编程”,只需要问出合适的问题( )(甚至可以设计AI模型)。这个可能就是软件2.0(The end of )的概念的终极版本吧。
去年还有一个进步明显的领域,就是RISC-V。香山项目开源项目()在高性能CPU上的努力和进展大家都看得到;Jim 在开源的: The Out-of-Order RISC-V with ,则展示了RV在AI芯片中作为基础处理器模板的模式。我之前做专用处理器时间比较长,RV出来之前,大家有各自的基础模板,做软件工具和生态有很大挑战,限制了其应用范围。而RV可以说已经是自带软件生态,在其基础上进行定制和扩展,软硬件的工作量要少很多,能玩的领域也就大多了。我在17的文章“”里就谈过的这种玩法。
最后一个印象比较深的事情更个人一些,就是体系结构经典书籍《计算机体系结构:量化研究方法(第6版)》中文版的正式出版。我参与这本书的审校还是在21年的春节,也是当时一个人过年的主要娱乐活动
。当时保留的这张照片,是不是有点《编舟记》的感觉。
去年翻译了一下》,这一系列文章,算是去年对经典的致敬。(适合假日阅读,欢迎大家转发
)
by
新的一年马上的就到了,提前祝大家
新年快乐,万事如意!
T.S.