国内AI大模型加速落地，边缘侧声音最响？

AI发展进入下半场，深层次的生成式AI正在撬动各行业的增长。Gartner预计，到2026年之前，全球80%的企业将在其业务中引入GenAI，而边缘场景下的AI普及率将达到50%。“今年基本上可以说一半以上的客户都在探索基于边缘大模型的落地解决方案。”英特尔公司副总裁兼网络与边缘事业部中国区总经理陈伟博士，在第十七届英特尔网络与边缘计算行业大会上指出。

生成式AI应用正从云端向边缘端加速迁移。值得一提的是，国内企业在边缘AI领域展现出积极的探索精神，AI算力向边缘和端侧下沉成为今年的重头戏，一场巨大的创新浪潮正在酝酿。
 

AI向边缘延伸，中国大模型加速产业变革

 
当下，半导体技术正在推动几乎所有行业的转型。在算力需求的驱动下，预计到2030年，全球半导体市场规模将达到1万亿美元。英特尔市场营销集团副总裁兼中国区总经理王稚聪指出：“其背后主要的驱动力还是来自于全球各行业的数字化转型以及人工智能结合的新机会。”
 
 
 
去年，中国经济进入了一个新旧动能转换，寻求高质量发展的道路。以生成式AI为代表的新质生产力正在重塑各行业的增长。中国AI大模型在全球范围内展现出强劲的发展势头，中国信通院院长余晓晖在7月12日发布《2024全球数字经济白皮书》显示，全球人工智能大模型的数量已达1328个，中国占比36%，中国的大模型占全球的1/3以上。
 
英特尔公司市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威认为，中国大模型在行业落地方面，可能在三个方面发展得更快：
 
第一，模型本身与行业应用的结合上，走的更快一些。虽然国外在标准大模型方面确实发展较快，但中国在利用这些开源的大模型或者结合国内的基准大模型应用开发方面表现出色。中国市场的一个显著特点就是应用发展迅速，能够较快地探索出解决行业痛点的有效途径。
 
第二，要解决实际的行业问题，仅仅依靠模型训练是不够的，推理能力的提升在今年尤为明显。
 
第三，在行业落地方面，行业场景的落地必然涉及到从端到边缘再到云端大模型的算力平衡分布。如果只是垂直大模型的一些标准应用，可能大模型主要部署在云端。但由于行业落地的需要，必然会促使AI算力向边缘和端侧分布。
 
IDC报告显示，2024年中国AIGC市场的规模将达到33亿美元，到2027年会迎来大规模发展，达到130亿美金。2022到2027年五年生成式AI的复合年增长率达到86.2%。
 

用户需求发展质的变化，英特尔服务模式升级

 
“人工智能将以深远的方式改变全球的业务模式”英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti表示。企业要想在未来保持竞争力，就必须积极拥抱AI。在企业端，英特尔认为，AI将经历“AI辅助时代（Age of AI Co-Pilots）—>AI 助手时代（Age of AI Agents）—>全功能AI时代（Age of AI Functions）”三个阶段，这一过程将深刻地改变企业的运作模式和业务流程。
 
具体而言，AI辅助时代，大模型、AI PC就是这个时期的印记；进入AI助手时代，AI就好像有一个工作流，但是它们可以自动去执行，企业可以把其中的一个领域的工作流，比如说结款，直接交由AI去；全功能AI时代，各个AI代理之间能够自由无缝的交互，就像人类和人类在一起合作一样。比如智能部门、安全部门、财务部门，未来可能会有智能体之间相互之间协作，提供部门级的解决方案。
 
这将是一个行业大变革的时代，企业向AI的快速过渡对产品的需求也发生了根本性的变化。英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti表示，我们未来的客户合作伙伴不会单单去采购一些芯片，他们所需要的是能够即插即用的系统解决方案，而不是买过来之后还需要花非常复杂的步骤部署下去的产品。
 
这种变化使英特尔的服务不仅仅局限于硬件供应，还扩展到了应用层、软件以及客户服务支持等多个维度，以此来帮助客户降低部署的复杂性，实现更加高效、便捷的技术应用。
 
Ø 在硬件层面，英特尔拥有全面广泛的芯片基础，从Atom x7000RE/x7000C系列、酷睿和酷睿Ultra系列，到Xeon 6700E系列，再到面向边缘的Arc GPU和IPU E2100网络适配器，以及IPU E2100以太网解决方案。
 
Ø 英特尔的硬件产品都是OpenVINO提供AI能力的支持，OpenVINO是AI实践和部署当中非常重要的工具。今年英特尔发布了OpenVINO最新版本2024.0：能够支持更多新的生成式AI模型；对一些具体的功能进行优化，比如缓存的优化、动态的精度调整，降低资源的消耗率，提升整体性能；增加了对MoE模型的支持；新增了对NPU的支持。
 
在软件层面，对于不同的地区或市场，英特尔的策略略微有所不同，据Sachin Katti的介绍，从横向角度来看，我们提供一个统一的软件平台；而从纵向角度来看，我们会由本地团队根据各国的特点，开发针对性的垂直领域解决方案。
 
Ø 英特尔不仅关注芯片的灵活性，更注重平台的整合。通过英特尔Tiber边缘平台，帮助企业快速部署应用，提升网络安全性和效率。这样，从云端到边缘，企业无需担心设备的多样性管理问题，而且这些解决方案能够保证应用和数据的安全性。
 

碎片化的边缘AI部署，如何实现？

 
“提到边缘，我有一个深刻的体会——边缘的特点就是碎片化”张宇表示。在边缘计算环境中，生成式AI的融合部署，可能用在自助结帐、医疗领域、教育、工业机器人、员工培训等各种场景中。
 
实现部署只是一部分，边缘AI 企业对AI的关注点从技术本身转向了业务价值。他们希望AI能够帮助他们解决实际的业务问题，提高效率，降低成本。
 
针对边缘AI的碎片化应用，英特尔构建了适应不同领域的AI套件，涉及到工业、医学、零售等不同领域，适用于很多行业或者垂直领域。
 
1) 视觉是一个关键的应用案例，包括智能停车场、智能社区以及AI增强的结账系统等。视觉分析AI套件提供了微服务，包括流程管理、传感器融合、摄像头管理和特征匹配等功能，能够理解和分析各种情况，持续跟踪物体。借助英特尔酷睿处理器的高性能视频存储，结合特征匹配和图像相似性检测，设备能够准确识别目标物体，从而广泛应用于智慧社区、零售和制造业的优化布局。
 
2) 生命科学AI套件帮助生命科学机构利用大数据进行生物、细胞、基因和治疗方面的研究。通过本地大数据集的计算和AI处理，加速科学研究和技术创新。
 
3) 媒体和娱乐AI套件利用AI技术提升广播、流媒体和游戏等领域的用户体验，实现更优质的媒体产品。AI技术所带来的提升主要有以下几点：提供视频超分辨率，改善视频内容质量，并在预处理阶段降低传输成本。
 
4) 制造业AI套件覆盖自动化全流程，包括缺陷检测、高级控制、机器视觉和产品检验。制造商能够实时进行生产线上的缺陷检测和产品检验，并通过主动调整上游控制提高生产效率。
 
英特尔通过提供多样化的解决方案，来满足不同用户的具体需求，确保在边缘端有限的资源条件下，依然能够实现高效的功耗管理和性能优化。这包括采用创新的冷却技术、优化硬件设计、以及开发智能的能源管理策略，从而在边缘端实现高性能计算的同时，保持系统的稳定性和可靠性。
 

方兴未艾的边缘市场，“酷炫”一下

 
“在边缘AI的推进中，从算力、边缘推理的能力、成本的综合考量来看，这都是一个方兴未艾的市场。在边缘部署人工智能方面，无论是传统的人工智能应用还是当前的大数据挑战，都存在着许多机会。”英特尔公司副总裁兼网络与边缘事业部中国区总经理陈伟博士讲到。
 
陈伟博士进一步指出，今年基本上可以说一半以上的客户都在探索基于边缘大模型的落地解决方案。从边缘计算的落地来看，存在许多具体的落地模型。这些模型的规模并非越大越好，而是应该适合市场应用场景的实际需求和效果。
 
英特尔的“酷炫”组合即酷睿处理器、酷睿Ultra以及锐炫GPU 将成为赋能边缘市场的核心基石。“通过技术的与时俱进和解决方案的全站升级，我们把整个工程资源、技术支持资源和业务资源整合在一起，更快、更高速、更高质量地服务和支持我们的客户。”陈伟阐述到。
 
英特尔在会上展示了其在边缘AI领域的最新成果——交互式数字人“小英”。“小英”完全部署在边缘端，借助英特尔强大的硬件和软件，实现了4K高清渲染和大模型本地化部署。在功能上，小英可以扮演营业厅的客服角色，为客户提供详细咨询和周到服务；在商场可以担任导引，引领他们发现心宜之物；在博物馆可以担当讲解员，为访客带来丰富且深入的历史、文化解析。“小英”的推出，展示了英特尔在边缘AI领域的深厚技术实力，为各行各业的智能化转型提供了全新的解决方案。
 
通过软硬件的不断创新、不断研究，英特尔将赋能数智生态，携手商业共赢。截至目前，英特尔网络与边缘事业部在中国已经与500多家OEM/ODM和150多家ISV建立了合作关系，使超过200万开发者受益。
 

英特尔助力合作伙伴，加速“AI+”落地

 
“过去，英特尔和合作伙伴一起围绕在行业的技术落地、技术路径、部署模式、客户价值等方面进行了深入研究和大量的探索。我们发现AI已经从过去行业的亮点功能变成了行业应用的底座，从过去“行业+AI”，变成了“AI+行业”。”英特尔中国区市场营销集团网络与边缘技术支持总监王景佳指出。
 
这也意味着，AI不再仅仅是为现有产品和服务锦上添花，而是深入到行业的各个环节，重塑业务模式。“我一直觉得，大模型作为一个革命性的技术，要真正被行业所用，解决行业的实际问题才行。”郭威表示。
 
英特尔也将从“+AI”和“AI+”两个维度推动行业创新。“+AI”，是将AI技术融入现有解决方案，提升产品性能；“AI+”，主要是充分发挥大模型的潜力，探索更多创新的应用场景。
 
面对AI+的到来，陈伟博士提到，我们采取了三个主要策略：第一，基于现有的智能解决方案，将AI技术融入现有的智能解决方案中；第二，积极拥抱当前爆发性增长的大模型和生成式AI技术；第三，对整个生态系统的扶持。整体战略，即以应用场景为主，技术为辅，共同迎接AI的新时代。
 
而在“AI+”落地方面，目前英特尔携手国内的合作伙伴已经取得了不错的进展，垂直领域的大模型正在多领域逐渐开花。
 
案例一：希沃正借助英特尔的解决方案在备课、教研增效、课堂反馈、学生评价四方面进行教育领域的AI落地，以提升教学效率。在英特尔传统教学CPU、GPU以及NPU的加成下，接近完美地支持了希沃垂类大模型的落地，无论从主观的精准度还是使用性能上，都增加了常态化应用的可能性。
 
案例二：深信服则探索如何将大语言模型应用于网络安全领域，他们的安全大模型产品商业化和上线速度极快，目前已经服务了近200家客户，包括头部的银行、电网、中央部委、地方政府以及世界500强的高新制造企业。
 
案例三：科东元道正在结合大模型的能力，让工业机器人具备更加柔性的操作，目前做到了可以把整个大模型的能力和运动控制实时的能力集合在一块板卡上，既节约了硬件的成本也降低了网络传输的延时性。
 
案例四：开域集团主要是借助大模型实现视频的优化。从解决方案优化到大模型优化再到客户端支持，英特尔软硬件一体化的架构和团队的服务为开域集团实现了“嵌入式赋能”，让开域集团能够针对不同的场景快速迭代，从小门店拓展到商场再到园区形成了大场景的覆盖。
 
这些案例充分展示了英特尔与合作伙伴在“AI+”领域的创新能力和合作成果。 英特尔不仅提供强大的硬件和软件平台，还为合作伙伴提供全方位的技术支持，共同推动AI在各行各业的落地应用。