[原创] ST：全局快门传感器，是计算机视觉首选成像技术
2022-04-04
14:00:29
来源: 半导体行业观察
现在大多数的新兴应用，尤其是人工智能和元宇宙，都需要计算机视觉技术。而计算机视觉的实现离不开图像传感器的支撑，全局快门图像传感器以具有竞争力的成本，精确的测量成为计算机视觉应用的首选成像技术。
首先，让我们来看下，什么是计算机视觉？根据IBM给其的定义，计算机视觉是人工智能 (AI)领域的一个分支，让计算机和系统能够从数字图像、视频和其他视觉输入数据中提取有意义的信息，并根据这些信息采取行动或提出建议。
计算机视觉的应用场景在我们身边是无处不在的，主要可将其归为四大类：深度感应、生物识别、AR/VR/MR、机器人与工业控制。这些应用自然离不开图像传感器的支撑，而这四大类应用都有得到全局快门传感器的技术支撑。如下图所示：
此外摄像头还用一种卷帘快门的图像传感器。我们身边大多数摄像头都属于卷帘快门，比如智能手机的主摄像头、自拍摄像头、建筑中的监控摄像头，甚至数码相机都是采用卷帘快门技术。这些应用场景也都需要捕捉彩色图像，因此需要相当高的分辨率。卷帘快门的设计目的是为了捕捉静态图像和视频拍摄，因此需要非常高的分辨率和颜色处理能力。
但卷帘快门的缺点在于，它是进行逐行拍摄图像，整个图像只有一帧，拍摄时间长，曝光时间也长，如果拍摄对象是车辆这样的快速移动物体，图像可能会发生扭曲，无法显示拍摄对象原本的样子，而且功耗高，不适合始终工作的系统，所以
卷帘快门不能用于计算机视觉
。
而全局快门的原理则完全不同，它是一次拍摄整幅图像，所有像素同时曝光。拍摄时间非常短，成像效果准确，曝光时间短，功耗低，因此
完全符合计算机视觉的要求
。
说到图像传感器，意法半导体（ST）是这个领域的强者。ST在图像传感器和光学传感领域已有超过20年的发展史。
ST在图像传感器上的研究最早可追溯到1986年，1999年ST收购VISION创建了影像事业部；2002年ST开始为智能手机产业供应摄像头模组，其中移动摄像头模块和ISP出货量达到100万，后来随着诺基亚照相手机销量的增长，对相机模块需求激增，到2009年ST的ISP出货量达到5亿；2012年ST将业务从手机通讯拓展至医学、航空、个人电脑和其它领域，2014年又推出ST dToF传感器传感器，2018年推出首款环境光传感器，2020年推出最新的全局快门传感器。
所以总结来看，目前ST图像传感器产品包括三大家族：一是
飞行时间传感器
，包括dToF直接传感器和iToF间接传感器。二是
全局快门图像传感器
，包括主动双目摄像头或结构光摄像头。三是
环境光传感器
，包括自动调节平衡技术。
在全局快门图像传感器领域，ST共有两类产品：一类是VD55G0，像素40万；另一类是VD56G3，像素150万。这两种产品采用的都是ST 3D技术，最初的设计包括两层阵列，之后ST将其合二为一形成单一阵列。
据意法半导体亚太区影像事业部技术市场经理林国志的介绍，这两类产品拥有三大优势：首先我们的传感器940nm具有最高的量子效率，这会带来极高的NIR敏感度；其次，正方形传感器的分辨率与镜头最佳匹配，之所以采用正方形是因为计算机视觉的采集对象通常是正方形，比如人脸通常就是的正方形；最后，ST传感器拍摄时间很短，能够在确保准确成像的同时降低系统功耗。
除了以上这些图像输出功能，ST的全局快门传感器还可以进行数据输出，其中之一就是光流输出，通过计算运动向量得出数据，传感器可以采集信息、输出数据，利用光流进行手势识别和追踪。
ST的全局快门传感器可以应用在消费、工业、汽车等不同领域。
不同行业对图像传感器的需求不同，在智能家居的应用上，用户并不希望家里有个摄像头全天候监视自己，又想要摄像头和传感器带来的协助舒适感。针对此，ST的全局快门传感器开发了一些列人机交互的功能，如人数统计、人脸识别等等。
在笔记本/PC摄像头领域，ST有专用全局快门近红外图像传感器，也有存在检测和基本手势控制多合一ToF传感器，用于显示屏和摄像头亮度自动调节环境光传感器，还有基于全局快门或结构光的主动双目3D扫描摄像头
ST还有一种解决方案，ST全局快门传感器+AI家电。其主要功能包括三大类：一是感测，二是计算，三是通信。计算机视觉技术基本上都需要这三步，首先要有许多传感器进行信息采集，包括ToF、IMU这些全局快门传感器，然后要将信息传至MCU这些AI深度学习算法得到产出，最后再将产出结果传至无线设备。
在上述这几个领域，ST已与客户合作，林国志介绍到，ST标准传感器开发评估套件目前已经上市，这项产品完全根据客户需求开发。我们交付的产品有裸片，客户还可以选择我们第三方提供的封装传感器或者摄像头模组，包括PCB、图像传感器、镜头和接口，共同构成整套工业用摄像头产品供应链。
汽车这一新兴市场对摄像头的需求发展迅速，根据Yole的数据统计，2021年底车内摄像头的市场渗透率约为10%，而到2024年预计会达到50%。车内传感器主要包括四大类：车内摄像头，ADAS摄像头、观测摄像头和售后摄像头，主要用于行车记录仪。其中除了车内摄像头属于新品，其它产品都已经相当成熟。
车内摄像头也有多种，车辆评估标准体系Euro NCAP对车内监控系统分为两类：一类是驾驶员监控系统DMS，另一类是客舱监控系统CMS或者OMS。有效的驾驶员驾控系统也是自动驾驶的先决条件，确保必要时把控制权交还给适合驾驶且能够驾驶的驾驶员。
驾驶员监控系统DMS摄像头安装在驾驶员面前，观测对象主要是脸，镜头视场角必须做得很大，大概50-60度，分辨率100-230万。另外很重要的一点是要必须要采用NIR摄像头，以便于在白天黑夜都对驾驶员进行监控，在漆黑环境下需要有光源投射在驾驶员脸上，但不能使用可见光，就需要NIR技术。下图中显示了NIR图像和普通摄像头模组的对比。
客舱监控系统观测的是车内所有乘员，但不同之处在于，需要进行物体探测和识别，所以需要彩色图像，而且观测范围比较宽广，因此镜头视场角需要更大（100度），分辨率需要更高（230万），才能获取观测域内所有细节信息。
客舱占用监控+驾驶员监控二合一系统是将CMS、OMS和DMS进行结合，仅用单个摄像头就可以同时支持RGB和NIR。
ST有两代用于汽车的全局快门传感器。第一代包括四类产品：VD5661A具有160万分辨率，主要用于DMS。VD5761A具有230万分辨率，因为属于Mono（单色）所以也可以用于DMS。还有采用彩色RGB的VD6763A和RGB-NIR一体化的VD1762A。第一代ST全局传感器就已经能够覆盖所有客户需求。
第二代产品VB56G4A具备150万分辨率，主要用于驾驶员监控，包括三大要点：首先是高灵敏度，NIR的高灵敏度意味着无需强劲的LED光源，因为LED耗能会带来更高的功耗；其次是传感器面积小，意味着摄像头模组也可以做得更小，安装在各种机械装置内部更加容易；再就是内置处理，传感器有智能自动曝光算法，无需人工操作。
ST标准传感器评估套件现在可按需求提供，其第三方供应商也可以提供成品摄像头模组，基于ST全局快门传感器的摄像头模组是成品，客户可以直接将模组集成到汽车系统内或用它测评传感器性能。
ST在图像传感器和光学传感解决方案中有20余年的历史，全局快门传感器虽然是近几年才推出的产品，但ST全局快门传感器具有意法半导体专有的像素技术、更高的方形分辨率和多种嵌入式计算机视觉功能，完全满足计算机视觉应用要求。在出货、质量和服务方面，ST的全局快门传感器都排名市场前列。
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第3000内容，欢迎关注。
『
半导体第一垂直媒体
』
实时 专业 原创 深度
识别二维码
，回复下方关键词，阅读更多
晶圆｜集成电路｜设备
｜汽车芯片｜存储｜台积电｜AI｜封装
回复
投稿
，看《如何成为“半导体行业观察”的一员 》
回复
搜索
，还能轻松找到其他你感兴趣的文章！
责任编辑：Sophie
