边缘人工智能，意法半导体软硬兼施

在意法半导体亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA看来，人工智能对于建设未来互联世界至关重要，因为这是一个由数十亿个设备构成的万物智能的世界，具有更高的安全性、连接性和智能。这也就是他所说的——云连接智能边缘。
 
“我们认为，这些设备将具有更强的自主能力，将有更多的设备连接到云端，不仅是数据量在提高，而且本地数据处理能力也在提高。这些设备将覆盖我们日常生活的方方面面，可以在家里、工厂、公司、城市和楼宇以及交通出行解决方案中看到它们的身影。”Matteo接着说。
 
那么，如何才能实现前面所说的边缘人工智能，ST认为，这需要三个基本要素：安全性、连接性和自主性。基于这个思考，ST也将其实践到公司的各类型的边缘产品中去。例如，ST 正在与 HPE 集团合作，利用边缘人工智能优化电动汽车的电机运维；ST还正在与计算机和笔记本电脑市场的优势厂商惠普合作，使用智能传感器技术一起工作，通过避免过热和电池耗尽来优化笔记本电脑的电源监控；ST甚至还使用人工智能去优化面世已久的洗衣机。
 
由此可见，边缘智能已然成为大势所趋，但是，如下图所示，这给开发者带来的挑战是显而易见的。
 

 
边缘AI，面临的挑战
 
首先从硬件方面看，如图所示，要实现人工智能，需要考虑应用的整体性能，需要考虑安全性，确保他们要用的硬件具有特定的安全功能。同时，还要考虑功耗，保持较低的功耗，这些都是硬件面临的挑战；具体到软件方面，想在机器中实现学习模型，则需要在最终产品中创建、训练和部署模型，同时还需要维护模型。这对于边缘人工智能开发人员来说也是一个不小的挑战。
 
来到软件方面，如果我们想要开发边缘人工智能解决方案，我们需要拥有多种开发技能的不同类型的人工智能工程师。当中对不同类型工程师的要求也不尽相同。
 
众所周知，软件工程师（即嵌入式软件工程师）需要关注边缘 AI 的实现以及如何将其集成到整个系统中，因此，这类工程师可能从可靠的示例项目开始开发，根据特定应用情况修改参考设计；但机器学习工程师或 AI 工程师或数据科学家则主要关注机器学习模型的开发，不仅关注机器学习模型的数据集，还需要关注根据被选目标硬件设备的特点优化学习模型；
 
最后，硬件工程师需要一个简单的对标测试工具，在不同的硬件平台或不同的部件号上测试数据科学家提供的高级算法，并在性能、功耗、尺寸、价格等方面找到最佳折衷方案。
 
这些软硬件方面带给开发者的挑战是显而易见的。作为半导体供应商，ST正在为客户提供各种不同的软硬件整体方案来应对这些挑战。
 
意法半导体，10年探索
 
Matteo MARAVITA介绍说，ST大约从十年前就开始人工智能研发计划。公司从机器学习技术的基础研究开始，专注于几年后成为焦点的边缘设备。
 

 
到2018 年，ST就发布了首个 STM32 AI 库（即出名的 Cube AI 库）供客户使用，并从那时起开始与客户合作开发了很多项目。并向市场推出了首款带有机器学习模型硬件加速器的传感器（即内置MLC 机器学习核心的 MEMS 传感器）。同年，ST加入了 TinyMl 联盟，并从第二年开始将人工智能的布局和支持范围扩展到其他芯片，例如，汽车微控制器和基于 Linux 的产品、STM32 MPU 微处理器。
 
在 2021 年，ST在市场上发布了新的 AutoML 工具生态系统 NanoEdge AI。2022 年，ST又发布了新的具有更先进的硬件加速器的 MEMS 传感器，能够在同一传感器内运行较小的深度学习网络。
 
进入2023年，通过不断改进软件生态系统，ST发布了 STM 32 开发者云模型库，并更新了 Stellar 系列车规 MCU 工具。
 


“就目前而言，当我们谈到通用微控制器时，STM32 是在 ML Per Tiny基准测试提交项目数量排名第一的解决方案，在所有提交的项目中，有73%是基于STM32。这表明，ST 的十几年努力终于得到回报，我们看到大量开发人员正在基于我们的平台开发和探索边缘人工智能。”Matteo MARAVITA总结说。
 
在他看来，之所以能达成这样的成就，主要有三个原因：一是ST在通用微控制器、工业
和消费微控制器市场的优势地位；二是STM32 适用于工业和消费应用以及公司为边缘 AI 基准测试做出的贡献；三是公司在线平台 STM32 AI 开发者云可帮助客户和开发人员用ST的在线工具和各种 STM32 板轻松测试他们的模型。
 
“我们相信，所有这些都鼓励了 STM32 上广泛的人工智能创新。”Matteo MARAVITA强调。他进一步指出，ST的目标是通过优化公司的工具和库来实现机器学习模型在硬件设备上的实现和移植，帮助客户解决性能、安全和能效方面的挑战，方便开发者把机器学习模型导入 CPU 算力和内存受限的硬件设备。得益于现有的软件工具，ST能够充分利用 STM32 上的存储容量和 CPU 性能。过去几年，ST也已经在 MEMS 中引入了硬件加速器，现在，ST还将发布适用于 STM32 和 STM32 MPU 系列的硬件加速器——分别是STM32N6 和 STM32MP2。
 

 
为了满足开发者的多样化需求，ST还带来了新的 ST Edge AI 开发套件。据介绍，这个套件基本上整合了边缘人工智能开发所需的全部工具和模块——从用模型库创建用例开始，到收集数据集，再到把模型部署到特定的硬件上，涵盖了整个开发过程。
 

 
Matteo MARAVITA表示，客户可以用ST的 AutoML 工具直接从数据开始创建模型，或者将他们用自己开发的工具或第三方公司的工具自主开发的模型导入套件，进行模型基准测试，在硬件上部署模型。开发者也可以在 ST Edge AI 套件中找到如文档、教程、社区访问权限等所需的开发资源。
 
“我们希望这个工具能够涵盖如MEMS 传感器、微控制器、MPU 微处理器，以及汽车微控制器等不同的硬件产品中去。”Matteo MARAVITA强调。
 

 
Matteo MARAVITA同时还透露，ST正在将几个工具集成到这个全面的边缘人工智能开发套件中，套件也支持用主要的著名和广泛使用的深度学习框架 TensorFlow Lite、Keras、
PyTorch 等训练的机器学习模型。值得一提的是，ST包括ST Edge AI和Nano AI Studio在内的所有这些工具都是免费的。
 
据介绍，自去年 12 月起，ST的 Nano AI Studio 在任何 STM32 上都可以无限量免费使用。ST还将继续根据特殊许可协议，为客户提供其他基于 ARM Cortex-M 的微控制器支持。
 
总结而言，ST在边缘人工智能方面的的创新有三个方面：第一是集成 AI 硬件加速器的硬件产品；第二是配套软件工具，我们看到了具体的 AI库，ST Edge AI Suite，AI 专用编译器等；第三是为客户提供参考设计和概念验证原型，帮助他们利用人工智能进行产品创新。
 
通过这些投入，ST正在成为边缘人工智能市场的关键角色。