ISP市场，Arm看到了更多机会

2022-06-15 18:42:10 来源: 李寿鹏

点击

熟悉ISP的读者应该知道，在过去的十几年里，图像处理市场历经了从整合到SoC，再到现在又重新拆分出独立ISP的过程。从不同市场看，这是有着其内在推动力所在的。

首先看手机市场，拆分独立ISP是国内几大手机厂商最近几年的工作重点，这是在手机同质化竞争愈加激烈的当下，他们为了打造差异化的图像处理产品而做出的一个决定；再看嵌入式市场，因为各种边缘智能视觉应用的兴起，人工智能的火热，便催生了一大波视觉AI芯片公司，进而带动独立的AI ISP产品的兴起。

在多种功能因素的推动下，大家就又开始对曾经火爆的ISP IP市场的未来又有了新的担忧。但在IP龙头Arm看来，这反而给他们增加了更多的机会。

ISP IP市场未来可期

在日前举办的一场媒体交流会上，Arm 物联网兼嵌入式事业部业务拓展副总裁马健首先表示，随着智能视觉领域的迅猛发展，新的应用层出不穷，这也对图像处理技术提出了新的、更高的要求。

她同时谈到，智能摄像头市场潜力非常巨大，根据市场数据分析，商用和消费类智能摄像头市场有望在五年近乎翻倍，从去年的 250 亿美元增加到 2025 年的450亿美元。高速增长的视觉应用正在逐渐深入各行各业、千家万户，从支持高清商务视频会议、安防/智能监控、智慧城市到电池供电的可视门铃和智能猫眼，用例非常广泛。

“更多的人工智能功能（比如人脸识别、物体识别等的部署）正在往边缘发展，自然而然地就把图像处理也拉到了端侧，图像处理输出的图像就可以直接送到机器学习 (ML) 加速器来做推理，加上现有的高清摄像头和多摄像头的逐步普及，都对视觉技术性能提出了更高的新要求。在对成本相对敏感的消费类市场，成本和能耗控制更能促进视觉技术的普及。”马健进一步指出。

在马健看来，智能视觉市场是一个非常激动人心的市场，因为其增长速度非常快，用例非常广，而且具备许多创新。同时，和每个高速发展的市场一样，视觉市场也会经过一段百花齐放的阶段，而随着市场渐趋成熟，会变得愈发整合。

“目前市场上主要的差异化在于不同的算法和用例上做到不同的优化，智能视觉领域可以细分成几个市场，在每个市场有一些基本模块，各个厂商非常相似，所以 Arm 推出了物联网全面解决方案 (Total Solutions for IoT)，希望给芯片及系统合作伙伴提供没有差异的子系统，使其可以在这个基础上更聚焦在各自差异化方面进行创新，比如一些比较特殊的算法适配或者是针对某一些特殊用例，如针对工业智能制造等方面的用例做出优化，并帮助芯片及生态系统合作伙伴更快地将整个智能视觉系统推向市场。”马健接着说。

众所周知，Arm现在拥有包括Cortex-A和Cortex-M在内的多系列IP，公司在GPU和NPU市场也有广泛的布局。更重要的是，Arm的这些IP在市场上有很高的占有率，其合作伙伴每季度平均出货70多亿颗基于Arm的芯片，当中超过半数是面向物联网/嵌入式设备的。这就让Arm在潜力无限的智能视觉市场拥有了先发优势。

马建也指出，未来智能摄像头除了包含基本的 CPU 之外，也会更多地使用 ISP 和 ML 加速器。而Arm的一些 NPU 或者通用 GPU、ISP 等 IP 都会逐渐地在现有或者下一代芯片中得到应用，用于从图像中提取更多有用的信息。

“随着智能摄像头的应用更加广泛，行业朝着更高分辨率和更复杂的图像处理方向发展，ISP 的性能也成为支持更高计算工作负载的一个非常关键的因素，成为一个非常关键的组件。”马健告诉记者。

和其他IP一样，这也是Arm极具竞争力的一个产品。

Arm ISP强势出击

据马健介绍，Arm 在 ISP 领域深耕多年。作为一种非常专用的 IP，ISP开发起来并不简单，但Arm持续投资在图像处理、多媒体处理市场上，并推出了非常领先的 ISP 产品组合，当中涵盖了在芯片中久经验证的产品，应用于很多不同领域。

除了先进的 IP外，Arm面向ISP应用还投资开发出了一套工具、适用于各类视觉传感器和各种用例的参考软件。此外，在这些产品支持的前提下，Arm还有专门的技术支持团队来拓展、调试，同时还在拓展调试提供商，帮助客户解决ISP 经常需要面对的一些调试和校准问题，使生态系统能为客户定制 ISP 带来更多的便利。

最新推出的ISP 产品Arm Mali-C55就是含着这样的“金钥匙”而出生的。

据介绍，这是 Arm 迄今为止面积最小且可配置性最高的 ISP 产品。具备多达八个独立输入的多摄像头功能，可支持高达 8K 的图像分辨率和 4800 万像素的最大图像尺寸，从而实现了图像质量、吞吐量、功耗与芯片面积的最高效组合。

立足于业内领先的 Mali-C52 ISP ，Mali-C55 通过多种功能实现无与伦比的图像质量，包括改进色调映射和空间降噪，增强对高动态范围 (HDR) 传感器的支持，以及与机器学习 (ML) 加速器的无缝集成，以利用神经网络实现各种去噪技术。通过配置多个 Mali-C55 ISP，视频会议等需要大于 4800 万像素的应用也可实现更大的图像尺寸。

作为一个模块化设计的IP ，Mali-C55一改之前 ISP 在设计上的流水线比较固定，客户很难去配置每个步骤的内容（或去掉某些步骤）的限制，把降噪和色调映射作为不同的模块，使客户能够灵活组合。这样设计的另一个显著优势在于，在图像处理的流水线过程中，可以加入 ML 加速、调用 NPU 的功能并运用大数据对数据进行分析，来增强 ISP 的功能，比如可以利用 ML 的功能使一些时间、空间方面的降噪效果做得更明显。

在问到这样一个ISP主要面向什么市场的时候，马健回应道：“Mali-C55 的产品定位是面向商用/工业和消费类摄像头市场的一系列物联网和嵌入式应用，其中包括机器视觉和智能显示用例，涵盖从低成本、简单消费级到复杂的智能摄像头与视觉AI设备，再到高质量的安防摄像头系统。如果客户的关键需求在于更高的性能和更小的面积，Mali-C55 在更小的面积内，可提供更高分辨率图像（高达 48Mpix）、更强的吞吐量（1200Mpix/秒）等性能表现便是最佳的选择方案。”

“Mali-C55 IP 所能带来的主要提升在于其能够在非常小的芯片面积，与 ML 完美结合，可以非常高度灵活地进行配置。我们希望能够赋能广大的芯片及生态系统合作伙伴在智能摄像头等领域不断创新，大展宏图，期待可以给大家带来更多激动人心的用例和更新的产品实例。” 马健说。

责任编辑：sophie

Arm