乌镇智库理事长张晓东:大模型原理与发展应用展望

2024-07-06 15:40:42 来源: 互联网
近年来,随着生成式AI技术的快速演进,相关应用已开始向各行业渗透和落地,AI模型在训练和推理过程中,产生巨大算力需求。

与此同时,RISC-V作为一个开源的指令集架构,近年来产业生态逐渐完善,其微架构的灵活性和可扩展性,将为AI芯片带来很大的技术创新空间和产业化自由度。

在此趋势下,为了更好地把握RISC-V技术在生成式AI硬件算力时代的发展机遇,芯原携手上海开放处理器产业创新中心,于7月6日在2024世界人工智能大会暨人工智能全球治理高级别会议(以下简称WAIC 2024)期间联合主办“智”由“芯”生——RISC-V和生成式AI论坛。



在演讲中,乌镇智库理事长张晓东带来《大语言模型的原理与发展应用》的主题演讲,他在分享中深入探究了大语言模型背后的发展原理,指出全球工业革命从前两次的能源驱动演进到当前的算力驱动。



随着自然语言处理的进步、大模型新生态的挑战和机遇,以及多模态大模型的未来发展,张晓东分享了大模型的四个基础原理,并对未来人工智能的有序发展和应用提出新的思考。

1)以图灵机为例,他指出,第一基础原理是“丘奇-图灵论题,是计算机科学的基石”。目前已知的所有计算装置都等同于图灵计算机,丘奇-图灵论题断言:图灵机是最广义的计算装置。丘奇-图灵论题是计算机科学的基石,这也意味着所有“智能”的基石都是图灵计算机。



2)第二基础原理是“学习就是图灵机求逆”。因为图灵机是用来计算的,而学习是图灵机的“逆”,如果通过一堆输出能够猜得出是怎样的图灵机,能够产生数据,这个过程就叫“学习"。张晓东指出,学习就是Solomonoff归纳,所有的学习问题就是图灵机求逆,而图灵机求逆就是next token prediction的数学依据。



他还表示,在GPT之前,业界几乎都在用BERT,但目前所有的大模型都是走的GPT路线,遵循一种更节省算力的技术路线。据了解,自然语言处理的进步在过去七十年中发生了五次范式变迁,开源对于自然语言处理的进步至关重要,张晓东补充道。



对于人工智能的发展,张晓东展示了三种主要路线:人工智能的主要路线之一是逻辑主义,即从专家系统到知识图谱;之二是联结派,神经网络,深度学习;之三是从细胞自动机到强化学习。

3)第三基础原理是“深度学习的充分性依据是Kolmogorov–Arnold叠加”。对大模型新生态而言,问题和挑战中也蕴含着机会,例如在医疗领域、用AI设计AI、大模型VS小模型、Embodied Intelligence等...



4)第四基础原理是关于“能耗与智能”,张晓东表示,从0变成1是需要能量的,他预计摩尔定律还能走到2100年以后,半导体行业可以蓬勃发展100年左右。


责任编辑:sophie

相关文章

半导体行业观察
摩尔芯闻

热门评论