破除AI落地难题！英特尔全新软硬件平台，助力企业AI创新

以ChatGPT为代表的生成式AI最早兴起于消费者，但很快企业也意识到生成式AI对企业竞争力的重要性，因此大家开始进行规划，把生成式AI融入到企业各个不同的商业模式当中。Gartner预计，80%的企业将在2026年使用生成式AI，而且预计有50%的企业在边缘计算将会部署各种不同的机器学习或者是深度学习，从而提升企业竞争力。IDC Survey Spotlight预测，2024年企业在生成式AI的投资将达到400亿美金，到2027年会达到1510亿的规模。
 
从部署上来看，2023年可以说是生成式AI的元年。但是根据cnvrg.io的调研结果，2023年只有10%的企业成功将其生成式AI项目产品化。而大概有一半以上的企业认为他们需要部署生成式AI，但都在硬件或软件等方面遇到了不同的难题。
 
可见，大模型及生成式AI智力涌现的背后，如何在行业中成功落地至关重要。一片蓝海的企业生成式AI市场，需要的将不仅仅是算力的支持，还有更多系统性方案的支持。
 
企业AI的三个阶段
 
在前两年的“百模大战”中，大家“卷”的是大模型，即互相比拼模型参数，也从而催生了诸如1000亿参数，甚至是万亿参数的模型。我们已经谈论了两年的生成式AI和大模型，这些技术的未来到底在哪里？实际上就蕴藏于行业之中。最重要的并非是拥有大模型，而是AI技术该如何落地，并且为客户带来真正的价值。
 
关于企业AI，英特尔认为主要分为三个阶段：一、AI辅助时代：今天，AI对企业起到一个辅助的功能，可以提供生产力工具，比如做会议纪要的总结、大纲提炼，或者做文生图；接下来会进入AI助手时代，比如智能客服或日常的行程管理；未来，将会是一个AI全功能时代，基于不同的AI数据交流，为企业提供全方位且更精准的回答，为企业带来更大的价值。
 
 
 
不管是在AI助手或者是全功能AI的时代中，其中非常关键的就是企业的数据、企业的知识如何导入到现有的AI模型上。企业数据通常包含敏感信息，不宜公开，因此将这些私有数据应用于公共AI模型和云平台涉及隐私泄露和竞争力影响的风险。
 
为此，在Intel Vision 2024大会上英特尔提出了“企业AI”的概念，意图通过开放的生态，帮助企业释放AI潜力。据英特尔公司市场营销集团副总裁、中国区数据中心销售总经理、中国区运营商销售总经理庄秉翰的介绍，在这个开放的生态中，基于不同的层级有不同的考量因素：首先，在算力生态方面，要确保具备可获取性、隐私性；其次，基础设施要具备可扩展性和标准化；再次，软件需要具备安全和可靠性，而且理想状态下，这些软件可以有一个公开的API或者是开源。基于这些模块的上层应用可以利用这些便捷和开放性。
 
英特尔公司市场营销集团副总裁、中国区云与行业解决方案部总经理梁雅莉指出，每当一个新的技术潮流来临、新一代技术的应用扩展之时，开放、可靠和易部署的策略对终端用户来说极为关键。这点对于“企业AI”的部署和发展亦同样重要。
 
按照这样开放生态的逻辑，层层拆解，英特尔对企业AI提供了一篮子的服务。
 
 
 
底层算力：从PC到边缘到数据中心，一网打尽
 
首先从算力入手，英特尔在终端、边缘和数据中心，提供多元算力，而且这些算力不仅能够带来性能上的提升，还具备隐私性，确保可靠的功能一定要根植在最底层的算力中，从而确保企业数据的稳定性。
 
在AI PC领域，英特尔酷睿Ultra处理器为生产力、安全性和内容创作提供了全新能力，并为企业焕新其PC设备提供了巨大动力。英特尔预计将于2024年出货4000万台AI PC，以及超过230种的设计，覆盖轻薄PC和游戏掌机设备。
 
将于2024年推出的下一代英特尔酷睿Ultra客户端处理器家族（代号Lunar Lake），将具备超过100 TOPS平台算力，以及在神经网络处理单元（NPU）上带来超过45 TOPS的算力，从而为下一代AI PC提供强大支持。
 
目前很多的算力、大模型其实有很多落地到了边缘端。根据stlpartners的数据统计，到2030年整个边缘服务市场规模会达到4450亿美元，而AI正是第一大边缘工作负载。但是边缘应用有其自身的特点，第一，边缘应用是直接针对客户的，不仅需要AI处理能力，还需要一些媒体处理、图片处理、逻辑处理、通用计算等等的能力，所以边缘系统往往需要的是异构系统。第二就是碎片化，不同的不同的应用对算力有不同的要求，你很难用一款产品满足所有的应用需求。
 
所以针对边缘AI，英特尔提供了众多非常丰富的产品，涵盖英特尔酷睿Ultra、英特尔酷睿、英特尔凌动处理器和英特尔锐炫显卡系列产品在内的全新边缘芯片，主要面向零售、工业制造和医疗等关键领域。英特尔边缘AI产品组合内的所有新品将于本季度上市，并将在今年年内获得英特尔Tiber边缘平台的支持。
 
 
 
在数据中心AI领域，英特尔有至强和Gaudi两款芯片提供强大的底层算力支持。在本次大会上，英特尔发布了新一代Gaudi AI加速器——Gaudi 3。Gaudi 3将为寻求大规模部署生成式AI的企业带来AI训练和推理方面的重大飞跃。该AI系统可通过以太网的通用标准连接多达数万个加速器。与上一代产品相比，英特尔Gaudi 3将带来4倍的BF16 AI计算能力提升，以及1.5倍的内存带宽提升。英特尔预计，Gaudi 3可大幅缩短70亿和130亿参数Llama2模型，以及1750亿参数GPT-3模型的训练时间。此外，在Llama 7B、70B和Falcon 180B大语言模型（LLM）的推理吞吐量和能效方面也展现了出色性能。
 
英特尔Gaudi 3提供开放的、基于社区的软件和行业标准以太网网络，允许企业灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群，支持大规模的推理、微调和训练。英特尔Gaudi 3将于2024年第二季度面向OEM厂商出货。
 
除了Gaudi 3这款新产品之外，另一个备受瞩目的算力武器便是至强6处理器。以往每一代至强的发布基本上都是某一款产品，而全新的至强6则是一个强大的产品组合，可以解决数据中心在性能、功耗，以及多元工作负载等方面的各种不同问题。
 
至强6基于两个不同的微架构：性能核（P-core）和的能效核（E-Core）。这两个核的软件堆栈兼容，有利于企业在工作负载和IP设计的通用。
 
 
 
据英特尔公司市场营销集团副总裁、中国区数据中心销售总经理、中国区运营商销售总经理庄秉翰的介绍，其中，配备能效核的英特尔至强6处理器（代号为Sierra Forest），与第二代英特尔至强处理器相比，每瓦性能提高2.4倍，机架密度提高2.7倍。这意味着，如果使用第二代至强可扩展处理器需要200个服务器机架的话，转而使用能效核只需要72个服务器机架。这样的改进不仅大幅减少了所需的物理空间，还节省了超过1兆瓦的功耗。在当前国内对节能减排和能耗要求日益严格的背景下，配备能效核的英特尔至强6处理器无疑是一个理想的选择。
 
配备性能核的英特尔至强6处理器（代号为Granite Rapids）在性能上获得了大幅提升，它不仅能够支持MXFP4数据格式，在传统的FP16有性能提升，也可以运行700亿参数的Llama2。
 
配备能效核的英特尔至强6处理器将于今年第二季度率先发布。目前，在国内已经有超过5家OEM伙伴基于这款产品做了新品开发并将在发布时同步上市。配备性能核的英特尔至强6处理器将紧随其后推出，带来更高的AI性能。
 
软件与开放生态，激发AI创新
 
当然仅仅依靠硬件是不够的，生成式AI的落地需要的是全方位的系统性解决方案。英特尔有面向开放的、可扩展的AI系统的战略，其中包括硬件、软件、框架和工具。
 
软件是硬件很重要的灵魂所在，英特尔未来的软件战略重点是通过软件加速企业AI的发展，主要围绕以下三个方面：
 
硬件与软件的整合和优化：英特尔旨在确保各种硬件平台，无论是CPU还是GPU，都能充分释放性能，并实现不同硬件架构的互联互通和协同工作。软件在融合传统云架构和基于大模型的AI架构中起到关键作用。
 
推动基于AI的软件创新：英特尔在AI软件生态中扮演重要角色，如其对PyTorch框架的贡献，并推动开源框架如oneAPI，以及面向企业AI的开放平台，促进资源的标准化和扩展化。
 
提高开发效率：通过英特尔开发者云平台，英特尔不仅让开发者早期接触和熟悉新硬件，还保证了各种开源框架和组件的兼容性，从而提升开发效率和用户体验。
 
对于AI大规模算力和大规模集群而言，连接技术起着很重要的作用。AI时代需要怎样的网络连接？英特尔中国网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇表示，英特尔正在从三个原则构建AI时代的网络连接：1）开放生态: 通过开放的生态系统，推动人工智能网络解决方案的实施，消除对单一供应商的依赖。2）标准化协议：将InfiniBand替换为超以太网联盟（UEC）所提供的基于开放以太网的协议。将专有Scale-Up链路替换为基于高速SERDES的开放标准。3）产业合作：建立合作伙伴关系，以提供完整、开放的解决方案。通过成本、功耗、系统集成和开放软件来区分产品服务。
 
基于这些原则，英特尔的AI连接一直是基于开放的以太网技术作为其整个产品的基础，通过超以太网联盟（UEC），英特尔正在驱动面向AI高速互联技术（AI Fabrics）的开放式以太网网络创新。
 
英特尔专为AI打造了一系列连接，其中尤为值得一提的是AI 网络连接卡（AI NIC）。AI NIC的一种形态是它会以独立网卡的形态存在，跟不同的加速器之间进行对接；另外还有一种形态是芯粒的形态，不同的AI加速器甚至可以把AI NIC集成到整个AI加速器的芯片里面去，做成一个完整的SoC。2026年英特尔推出的加速器产品也会把AI NIC集成进去，以此可以更好的满足AI大模型网络对网络传输、数据传输的可靠性、稳定性等等方面的要求。

此外，英特尔发布了英特尔Tiber业务解决方案组合，以简化企业软件和服务的部署，包括生成式AI。这一统一的体验将使企业客户和开发人员能够更轻松地找到适合其需求的解决方案，加快创新并释放价值，同时不牺牲安全性、合规性或性能。客户即日起便可开始探索英特尔Tiber产品组合，今年第三季度这一解决方案将会全面推出。
 
助力AI平稳落地
 
“技术并非为技术而生，而是为落地而生的。”梁雅莉表示，因此，英特尔让广泛的AI开放生态系统参与者，如设备制造商、数据库提供商、系统集成商、软件和服务提供商等，能够提供满足企业特定生成式AI需求的解决方案。与此同时，亦让企业与他们已知、信任的生态系统合作伙伴展开合作并采取相应解决方案。
 
在企业AI的实际落地方面，英特尔已经在云服务、智能制造、医疗、教育等多大领域助力多个企业实现了很好的AI落地。
 
首先在云服务领域，英特尔与金山云合作，在其第七代性能保障型云服务器 X7 中引入了第四代至强可扩展处理器进行了针对性优化。同时，英特尔在 Stable Diffusion、Llama2、ChatGLM2 三款十分流行的大模型基础上做了调优，并发布优化的模型镜像。相较优化之前的模型，在使用 IPEX 2.0 BF16 优化之后， Stable-Diffusion 模型推理性能提升高达 4.96 倍；英特尔的 Super-Fuse 加速方案帮助 LLM 推理性能提升2.52倍和 2.62 倍。
 
 
 
再一个云服务场景是在京东服务器上的案例。无论是“618”还是“双11”，无数次大促的背后，就有数百个AI场景得到了应用。譬如在智能营销方面，京东实现了能够根据产业洞察及带货思维进行服务的数字人，其成本不到真人的十分之一；而在大家熟悉的智能客服方面，京东利用AI技术实现了拥有超大服务量并具备多模态理解能力的智能客服，这就是AI场景在实际工作流程、业务流程中的落地。这些大模型应用和云服务的背后，是基于英特尔至强可扩展处理器的云基础设施。相较于基于京东定制化第四代至强可扩展处理器的服务器平台，基于第五代至强可扩展处理器的京东云新一代云服务器整体性能提高了23%。
 
在智能制造领域，提高生产效率、降低成本是关键，而囊括云边端的整个AI策略十分重要。TCL华星结合英特尔端边技术能力，成立TCL华星光电与英特尔智能制造联合实验室，实现了设备端取图、端边计算、终端显示、结果反馈等闭环方案的打通。同时，在生产线检测体系和智慧物流中，TCL华星借助英特尔提供的硬件产品和“云边端”架构，降低了人力和设备配置成本，使产品良率得到迅速提升。
 
英特尔不仅深耕云计算、边缘这些面向企业级的领域，在医疗这种切乎每一个人生命和幸福的核心行业也有长期投入。英矽智能的业务是生物创新药。大家知道，研发生物创新药很重要的一环是药物探索与发现的过程。通过和英特尔的合作，无论是采用基于英特尔酷睿Ultra 7 的本地部署，还是基于第五代英特尔至强可扩展处理器的SaaS服务，英矽智能的PandaOmics平台能够帮助研发人员进行先期药物的发现和探索。
 
“百年大计，教育为本”，教育也是英特尔发力AI的重要一个领域。英特尔与华东师范大学合作开发了一个大模型一体机，可以进行课程智能助教能辅助生成教案、视频智能助教、代码智能助教。
 
 
结语
 
英特尔公司市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威表示，在这样一个变幻莫测的AI时代，在整个生态链上，我们不变的是我们还是会和合作伙伴合作共赢，变化的是我们在一起做一些规范，在做产品的时候会更多考虑如何平衡好CPU、NPU、GPU，平衡好通用算力、显示算力以及AI算力，能够支持我们的客户做更好的产品。
 
综上，在AI落地至关重要的一年，英特尔通过发布一系列全新软硬件平台，从PC到数据中心再到边缘，全速助力企业推进AI创新，真正让AI走进千行百业，让人人都能体验AI。