乌镇智库理事长张晓东：大模型原理与发展应用展望

近年来，随着生成式AI技术的快速演进，相关应用已开始向各行业渗透和落地，AI模型在训练和推理过程中，产生巨大算力需求。

与此同时，RISC-V作为一个开源的指令集架构，近年来产业生态逐渐完善，其微架构的灵活性和可扩展性，将为AI芯片带来很大的技术创新空间和产业化自由度。

在此趋势下，为了更好地把握RISC-V技术在生成式AI硬件算力时代的发展机遇，芯原携手上海开放处理器产业创新中心，于7月6日在2024世界人工智能大会暨人工智能全球治理高级别会议（以下简称WAIC 2024）期间联合主办“智”由“芯”生——RISC-V和生成式AI论坛。



在演讲中，乌镇智库理事长张晓东带来《大语言模型的原理与发展应用》的主题演讲，他在分享中深入探究了大语言模型背后的发展原理，指出全球工业革命从前两次的能源驱动演进到当前的算力驱动。



随着自然语言处理的进步、大模型新生态的挑战和机遇，以及多模态大模型的未来发展，张晓东分享了大模型的四个基础原理，并对未来人工智能的有序发展和应用提出新的思考。

1）以图灵机为例，他指出，第一基础原理是“丘奇-图灵论题，是计算机科学的基石”。目前已知的所有计算装置都等同于图灵计算机，丘奇-图灵论题断言：图灵机是最广义的计算装置。丘奇-图灵论题是计算机科学的基石，这也意味着所有“智能”的基石都是图灵计算机。



2）第二基础原理是“学习就是图灵机求逆”。因为图灵机是用来计算的，而学习是图灵机的“逆”，如果通过一堆输出能够猜得出是怎样的图灵机，能够产生数据，这个过程就叫“学习"。张晓东指出，学习就是Solomonoff归纳，所有的学习问题就是图灵机求逆，而图灵机求逆就是next token prediction的数学依据。



他还表示，在GPT之前，业界几乎都在用BERT，但目前所有的大模型都是走的GPT路线，遵循一种更节省算力的技术路线。据了解，自然语言处理的进步在过去七十年中发生了五次范式变迁，开源对于自然语言处理的进步至关重要，张晓东补充道。



对于人工智能的发展，张晓东展示了三种主要路线：人工智能的主要路线之一是逻辑主义，即从专家系统到知识图谱；之二是联结派，神经网络，深度学习；之三是从细胞自动机到强化学习。

3）第三基础原理是“深度学习的充分性依据是Kolmogorov–Arnold叠加”。对大模型新生态而言，问题和挑战中也蕴含着机会，例如在医疗领域、用AI设计AI、大模型VS小模型、Embodied Intelligence等...



4）第四基础原理是关于“能耗与智能”，张晓东表示，从0变成1是需要能量的，他预计摩尔定律还能走到2100年以后，半导体行业可以蓬勃发展100年左右。