摘要：CMOS图像传感器的发展及其使用先进成像技术的前景有希望改善生活质量。随着并行模数转换器(ADC)和背照式(BI)技术的迅速出现，CMOS图像传感器目前在数码相机市场占据主导地位，而堆叠式CMOS图像传感器继续在移动设备中提供增强的功能和用户体验。本文回顾了堆叠图像传感器在图像传感器架构演进方面的最新成果，以加速性能改进、扩大传感能力以及将边缘计算与各种堆叠器件技术结合。

I.引言

图像传感器目前用于多种应用。自年电荷耦合器件(CCD)发明以来，固态图像传感器已蔓延到各种消费市场，例如小型摄像机和数码相机。自年以来已成为主流固态图像传感器的CMOS图像传感器在为CCD开发的技术的基础上不断发展。除了目前最大的图像传感器市场智能手机之外，对图像传感器的需求正迅速扩大到用于安全的网络摄像头、用于工厂自动化的机器视觉以及用于辅助驾驶和自动驾驶系统的汽车摄像头。

CMOS图像传感器技术的一个主要转折点是背照式（BI）图像传感器的成功开发，这使得图像传感器的堆叠结构的发展成为可能，如图1所示。在最初的前照式(FI)结构中，很难减小传感器的像素尺寸，因为入射光必须由光电二极管通过金属线包围的间隙收集。由于背照式（BI）结构大大提高了灵敏度并允许金属布线的灵活性，而且由于晶圆键合和极其均匀的晶圆减薄技术，它已成为图像传感器的热门产品。图像传感器逐渐向堆叠结构发展，其中逻辑电路直接集成在基底晶片上。堆叠工艺允许更先进的CMOS工艺中高度并行的模数转换器(ADC)和信号处理元件的更高集成度，独立于为像素光电二极管定制的传感器工艺。堆叠设备结构继续极大地改变图像传感器架构。

图1.CMOS图像传感器的结构。(a)FI结构，(b)BI结构，和（c）具有通孔的堆叠结构。

本文回顾了具有堆叠设备的图像传感器架构的发展趋势，以显著加速性能改进、扩展传感能力以及集成连接到传感器层的边缘计算功能。第二部分介绍了堆叠设备配置的不同传感器架构，这些架构通过高度并行的列并行ADC实现高像素分辨率和高帧率成像。第三部分介绍了一些使用像素间距Cu-Cu连接（pixel-pitchCu–Cuconnections）实现的高级像素电路，这些电路对于在实际像素分辨率下实现更好的像素性能至关重要。像素间距Cu-Cu连接也使传感器架构逐渐向像素并行数字化方向发展。第四部分介绍了扩展传感能力的传感器架构的一些进展，例如空间深度、时间对比传感和不可见光成像。第五部分介绍了集成边缘人工智能(AI)加速器的视觉传感器。最后，第六部分给出了一些结论。

II.使用超过百万像素的电影录制

电影录制需要至少每秒30或60帧(fps)的帧速率，即使像素数量正在从万像素高清(HD)格式增加到万像素4K格式。此外，更高的帧速率操作，例如、或每秒传输帧数（fps），可以提供慢动作回放。自年提出列并行ADC架构以来，通过增加并行ADC的数量和加快ADC操作本身的速度，帧速率得到了改善。由于可以将最佳工艺技术应用于传感器像素和外围设备，堆叠结构有助于充分提高帧速率。传感器制造需要几种离子注入工艺来形成具有低结泄漏的光电二极管和晶体管。然而，逻辑工艺（thelogicprocess）需要低电阻和高速晶体管。对于像素来说，三层或四层布线通常就足够了，但逻辑电路大约需要十层布线。所使用的堆叠技术可以缓解同一芯片上非堆叠图像传感器的冲突约束，包括传感器像素和逻辑电路。

A.双列ADC架构

目前，大多数CMOS图像传感器包括一个像素阵列、数千个以列并行结构组织的ADC和逻辑电路。如图2(a)所示，位于像素阵列外部的硅通孔(TSV)以高度并行的方式将像素列连接到ADC。在年推出的第一个堆叠CMOS图像传感器中，列ADC的模拟和数字部分分别被分成顶部和底部芯片，如图2(b)所示。年，提出了双列ADC架构，并在16M像素下实现了fps的帧速率，其中列ADC完全移至底部芯片，如图2(c)所示。传感器芯片采用用于光电二极管的90纳米传感器定制工艺制造，仅使用NMOS逻辑。而逻辑芯片采用65纳米标准CMOS工艺制造。由于列ADC可以独立于传感器芯片来实现，因此ADC可以高度集成。除了提高帧速率外，还将冗余并行ADC用在通过平均多个模数(AD)转换来降低噪声，如图3所示。一个像素的输出同时分配给两个ADC，两个数字输出相加以再现图像帧。两个ADC的时序相位略有不同，以通过降低其噪声信号之间的相关性来实现降噪。

图2.堆叠CMOS图像传感器的实现。(a)光电二极管和逻辑电路之间的TSV连接。(b)首个堆叠的CMOS图像传感器。(c)双列ADC架构。

图3.双列ADC架构的简化框图（左）和噪声特性的改进（右）。

B.具有动态随机存取存储器(DRAM)的三层堆叠CMOS图像传感器

随着像素和并行ADC数量的增加，图像传感器会输出大量数据。年，提出了一种三层堆叠的CMOS图像传感器以记录fps的慢动作视频，如图4所示；三层之间通过硅通孔（TSV）连接，从并行ADC获得的数据缓存在第二层DRAM中，以实现慢动作捕捉。对于超慢动作录制，当来自ADC的数字数据通过-Gbit/s总线临时缓冲在DRAM中时，该传感器可以在全高清分辨率下以fps的速度运行。当传感器在30fps的电影拍摄过程中检测到用户的触发或场景中的快速运动时，读出速度将变为fps。在DRAM中一次最多可以存储63帧全高清分辨率，并在随后的电影捕捉过程中输出缓冲数据。

图4.带有DRAM的三层堆叠CMOS图像传感器。

C.用于LargeOpticalFormat芯片堆叠于晶圆之上(Chip-on-Wafer)技术

迄今为止推出的堆叠式CMOS图像传感器是在晶圆上晶圆(WoW)键合工艺中制造的。然而，由于传感器和逻辑芯片的尺寸必须相同，这种工艺并不总是最佳的选择，特别是对于大光学格式（alargeopticalformat），另一种堆叠方法涉及CoW键合，如图5所示。当尺寸与光学格式（opticalformat）相同的逻辑芯片完全充满高度并行的ADC和数字构建块（digitalbuildingblocks）时，面积效率在WoW键合中是最佳的。然而，如果逻辑电路小于光学格式（opticalformat），则CoW配置有最佳的面积效率，而WoW配置存在成本问题。

图5.大型光学格式图像传感器的WoW和CoW键合工艺的面积效率。

年报道了一种使用CoW键合工艺的堆叠CMOS图像传感器[12]，实现了具有超35毫米光学格式（opticalformat）的广播摄像机的全局快门图像传感器。在这里，两个切开的逻辑芯片采用65-nmCMOS工艺设计，具有并行ADC和微凸块（microbumps），并堆叠在为全局快门像素定制设计的大型传感器芯片上，如图6所示。具有高纵横比的切开的逻辑芯片通过间距为40m的微凸块连接到传感器。因此，连接总数约为30。该传感器还允许通过万像素以fps的速度进行超慢动作回放。

图6.使用CoW键合工艺的堆叠式CMOS图像传感器。

图7显示了大型光学格式图像（largeoptical-format）传感器的性能趋势，年，全35毫米格式（full-35-mm-format）图像传感器具有万像素和fps。为了增加并行ADC的数量并逐步增加静态随机存取存储器(SRAM)帧缓冲区，使用WoW工艺来实现高性能。另一方面，CoW工艺用来平衡成本效率和大型光学格式（largeoptical-format）传感器的性能。年还推出了3.6英寸图像传感器，具有1.27亿像素和四个使用CoW工艺堆叠的逻辑芯片。CoW工艺的下一个挑战是提高晶片上芯片放置的吞吐量，以提高生产率。

图7.大型光学格式图像传感器的性能趋势。

III.像素并行架构

在上一节中，使用堆叠器件的传感器架构主要用于提高基于列并行ADC架构的帧速率。本节介绍了基于使用细间距Cu-Cu连接（fine-pitchCu–Cuconnections）的像素并行架构的一些进展。在这里，传感器和逻辑层之间的连接已从TSV更改为混合键合的Cu-Cu连接，如图8(a)所示。在TSV配置中，信号线被传送到像素阵列外围的逻辑层。相比之下，Cu-Cu连接可以直接集成在像素下方，并且这些连接允许增加连接的数量。关于Cu-Cu连接间距的最新趋势如图8（b）所示。图像传感器的混合键合过程中需要数百万个没有连接缺陷的Cu-Cu连接，而随着大量触点的稳定连接，触点间距逐渐减小；此外，最近报道了1-mCu-Cu混合键合间距。这些细间距连接将使像素并行电路架构能够以实际的像素尺寸制造。

图8.Cu-Cu连接间距趋势(a)简化的器件结构和(b)横截面。

A.堆叠像素电路扩展

文献中已经提出了许多技术和实现方式，通过像素电路扩展来提高像素性能，例如满阱容量(FWC)、，并实现附加功能，例如全局快门、。图9(a)和(b)分别显示了单转换增益和双转换增益的像素配置。较小的电容CFD会经历来自光电子的高电压摆幅，以实现低噪声读出，但它很容易被大量信号电子饱和。然而，具有双转换增益的像素通过两个转换增益之间的顺序操作切换，可以在CFD上实现低噪声读数，在CDCG上实现高动态范围(HDR)读数；此外，附加晶体管和电容器的面积开销通过限制像素尺寸可以减小的量限制实现高像素分辨率。年，提出了具有双转换增益的堆叠像素电路扩展；通过像素平行的Cu-Cu连接在底部芯片上实现了额外的电路，如图9（c）所示。通过在20和V/e-的转换增益之间切换，成功显示了1.5-m像素具有83.8dB的动态范围和0.8e-rms的低噪声。如图10所示，像素级堆叠电路配置已应用于电压域全局快门功能和具有双转换增益的像素。年展示了快门效率超过dB的2.2m全局快门像素。具有双转换增益和电压域全局快门的最先进像素分别实现了0.8m和2.3m的像素尺寸，没有像素级堆叠电路扩展；然而，堆叠像素配置仍有望为增强较小像素的像素性能。

图9.像素电路配置(a)具有单转换增益，(b)具有双转换增益，以及(c)具有双转换增益并堆叠像素平行Cu-Cu连接。

图10.通过像素平行Cu-Cu连接堆叠的电压域全局快门的像素电路配置。

B.像素并行ADC

自1年提出像素并行数字化概念以来，也提出了具有混合键合工艺的像素平行Cu-Cu连接的堆叠图像传感器。复杂电路中的像素内区域开销（within-pixelareaoverheads）绝对限制了像素分辨率，但年提出了具有阵列并行ADC架构的万像素堆叠图像传感器，接着年提出了具有万像素并行ADC的堆叠图像传感器。由于混合键合工艺的细间距Cu-Cu连接，像素并行ADC架构已经实现了Mpixel分辨率。如图11所示，单斜率ADC用于像素并行和传统列并行架构，但没有源跟随器电路。像素内晶体管放大器直接集成在比较器中，通过两个Cu-Cu连接将每个像素连接到底部芯片。由于计数器的面积限制，格雷码被分配到像素内（in-pixel）的锁存器，数字读出管道（digitalreadoutpipelines）已经使用像素阵列下的ADC实现。

图11.像素并行ADC的电路配置。

图12(a)显示了具有像素并行ADC架构的原型芯片；尽管每个ADC仅以6.9m的像素间距实现，其中比较器的静态电流限制为7.74nA，但由于有效的带宽控制，本底噪声被抑制到8.77erms。所有像素并行ADC同时作为全局快门运行；因此，如图12(c)所示，在使用原型捕获的图像中没有观察到如图12(b)所示的滚动快门焦平面失真。仍在继续开发像素并行ADC架构。年的最新的一项工作显示像素间距为4.6m，动态范围为-dB，噪声为4.2erms，一项工作像素间距为4.95m，噪声为2.6erms。

图12.像素并行ADC的芯片实现。(a)芯片显微照片。(b)使用滚动快门操作和(c)使用全局快门操作捕获的图像。

C.像素平行光子计数器

光子计数成像，也称为量子成像，是一种实现具有无噪声读出和高动态范围成像（HDR）的图像捕获的有前途的技术。使用单光子雪崩二极管(SPAD)的光子计数图像传感器是通过堆叠技术实现像素并行数字化的挑战之一。雪崩电流由单个光电子触发，在没有来自模拟前端电路的任何噪声的情况下，该事件可以数字化地视为光子计数。这需要为每个SPAD实现复杂的电路；而具有像素连接的堆叠器件结构具有高度集成的光子计数成像的潜力。

年报道了一种动态范围为dB并使用子帧外推架构（subframeextrapolatingarchitecture）的SPAD光子计数图像传感器。一个背照式(BI)单光子雪崩二极管(SPAD)像素阵列堆叠在底部芯片上，读出电路通过像素平行的Cu-Cu连接，如图13(a)所示。图13(b)是像素单元的简图。每个像素都有一个9-b数字纹波计数器(CN)，用于计算入射光子的数量。来自计数器的溢出进位(OF)返回到淬灭电路以控制SPAD激活并锁存时序代码(TC)。然后将14-b时序代码(TC)分配给所有像素，并在OF标志发生变化时覆盖计数器，如图14的时序图所示。读出光子的9-b计数或锁存的14-bTC，并且在弱光条件下准确获得所有光子计数，而不会出现计数器溢出。但是，当计数器在高光条件下溢出时，溢出像素会记录时间，并外推整个曝光期间的实际入射光子数。

图13.光子计数图像传感器。(a)芯片配置。(b)简化的像素电路图。

图14.光子计数与子帧外推的时序图。

如图15(a)所示，已经证明了dB的动态范围，信噪比(SNR)没有任何下降。在高光条件下计数器溢出后的SNR在扩展的动态范围内保持在40dB，因为真正的光子计数操作可以计数多达10个光子，即9位×20子帧。图15(b)显示了以fps拍摄的HDR图像；由于全局快门和20子帧HDR操作，即使使用rpm的旋转风扇，也没有观察到运动伪影。20子帧外推有效地抑制了运动伪影，如图15(c)所示。SPAD需要大约20V的高偏置电压以及低电源电压下的像素并行触发检测器。由于不同电源电压之间的器件隔离，通常难以实现具有小间距的SPAD像素。然而，堆叠器件结构有效地分离了SPAD和CMOS逻辑层，从而加速了具有SPAD和扩展功能的小像素配置的开发。

图15.光子计数的测量结果。(a)动态范围和信噪比。(b)捕获的HDR图像。(c)具有运动伪影抑制的捕获图像。

IV.传感能力的扩展

除了之前介绍的动态范围和全局快门功能之外，堆叠设备技术不仅增强了传感器架构的图像质量，还增强了传感功能，例如空间深度、时间对比传感和不可见光成像。

A.空间深度

如第III-C节所述，具有Cu-Cu混合键合的堆叠器件结构是实用SPAD技术在广泛应用中的一种有前景的方法，并将SPAD像素间距减小到小于10m。为了提高光子检测效率(PDE)并减少小像素间距的光学串扰，年报道了一种包含全沟槽隔离(FTI)和Cu-Cu键合的BISPAD像素阵列。如图16所示，在BI堆叠SPAD结构中，SPAD像素阵列对入射光完全开放，所有像素晶体管都在底部芯片上实现。金属埋入式FTI有助于抑制与相邻像素的串扰。10-m间距SPAD像素具有7-m厚的硅层，以提高近红外(NIR)光谱测量的灵敏度，并在nm和nm处分别实现了31.4%和14.2%以上的高PDE。

图16.SPAD器件结构。(a)FISPAD。(b)BI-stackedSPAD。

据报道，年，一种使用了BI堆叠SPAD，×SPAD直接飞行时间(ToF)传感器用于汽车LiDAR系统。所有的像素前端电路都在SPAD阵列下的底层芯片中实现，如图17所示。在LiDAR系统中，当接收到反射的激光脉冲时，SPAD会在6ns的死区时间内产生一个触发脉冲，并将其传送到时间数字转换器(TDC)。顶部和底部芯片分别使用具有10个铜层的90-nmSPAD和40-nmCMOS工艺。由于采用堆叠结构，传感器包括重合检测电路、TDC和数字信号处理器(DSP)作为深度感测的构建模块。直接ToF传感器在高达m的扩展范围内表现出30cm的距离精度，使其能够在k勒克斯的阳光条件下检测具有95%反射率的物体。

图17.带有直接ToF深度传感器的BI堆叠SPAD。

BI堆叠SPAD结构是基于SPAD的成像和深度传感的突破，具有改进的特性。与将电路放置在每个SPAD旁边的传统像素相比，BI堆叠结构提高了量子效率，并将SPAD和电路分成最佳硅层。因此，堆叠实现克服了SPAD传感器的传统限制，适用于更广泛的应用。

B.时间对比传感

基于事件的视觉传感器(EVS)检测超过预设相对阈值的单个像素时间对比度，以跟踪相对光变化的时间演变，并为绝对强度的无帧像素级测量定义采样点。自6年首次报告EVS以来，已经提出了许多使用EVS的应用，例如由于记录数据的时间精度导致的高速低功耗机器视觉、对时间冗余的固有抑制导致减少后处理成本和广泛的场景内DR操作。尽管像素尺寸在年通过BI结构减小到9m的间距，但由于大量像素级模拟信号处理，EVS遭受了大像素尺寸和通常小分辨率的困扰。因此，EVS特别受益于具有像素级Cu-Cu连接的堆叠器件结构的进步。

年报道了×.86-m像素间距BI堆叠EVS。图18显示了对比度检测(CD)功能的像素框图以及像素内异步读出接口和状态逻辑块的示意图。光电流被转换为电压信号Vlog，然后通过使用电平交叉比较器检测的异步增量调制(ADM)获得对比度变化。图19(a)中的BI-stackedEVS实现了1-s行级时间戳、每秒10.66亿个事件(eps)的最大事件率，以及35nW/像素和pJ/事件的数据格式化流水线用于高速低功耗机器视觉应用。图19(b)显示了一些示例应用的传感器操作。大约1勒克斯的交通场景记录展示了低光对比敏感度。低延迟像素和高速读出操作带来的高时间精度允许传感器在3D深度传感应用中解码时间编码的结构光图案。图20显示了EVS中像素间距的趋势。由于堆叠设备技术，对于百万像素的实际使用案例EVS的像素尺寸现在低于5m间距。

图18.EVS的像素框图

图19.BI-stackedEVS及其应用示例。(a)芯片显微照片。(b)应用实例。

图20.EVS中像素间距的趋势。

C.不可见光成像

堆叠器件技术还有助于在混合集成中使用非硅光电探测器实现不可见光成像。具有混合集成的非硅光电探测器的示例包括InGaAs光电探测器、Ge-on-Si光电探测器和有机光电导膜。在本节中，总结了使用Cu-Cu混合键合的InGaAs传感器的最新成果。

工业、科学、医疗和安全应用对短波红外(SWIR)范围（即到0nm之间的波长）成像的需求一直在增加。InGaAs器件已用于SWIR传感器，因为它们在SWIR范围内的吸收特性是硅基器件无法覆盖的。在传统的InGaAs传感器中，光电二极管阵列(PDA)的每个像素通过使用凸块的倒装芯片混合连接到读出集成电路(ROIC)。由于凸块的可扩展性有限，这种结构通常使细间距像素阵列的制造复杂化。年，推出了一种InGaAs图像传感器，其中PDA的每个5-m像素使用Cu-Cu键合连接到ROIC。InGaAs/InP异质结构在直径小于4的市售小型InP衬底上外延生长。如图21所示，外延InGaAs/InP晶圆被切割成芯片，并使用III-V裸片到硅晶圆工艺转移到大型硅晶圆上。在制造Cu焊盘后，III-V/Si异质晶片使用Cu-Cu键合将每个III-V像素连接到ROIC与ROIC混合。图22显示了倒装芯片凸块的接触间距趋势和InGaAs传感器的Cu-Cu键合。使用凸块的倒装芯片混合是制造InGaAs传感器的传统方法，由于工艺裕度窄且可重复性差，不适合按比例缩小像素间距。然而，自年以来，Cu-Cu杂化已用于CMOS图像传感器的大规模生产并具有高产量，是缩放互连到InGaAs传感器的关键技术。图22还显示了在有雾的场景中涉及检查和安全监控的应用示例。因此，InGaAs图像传感器通过像素级Cu-Cu连接为HDSWIR成像创造了条件。

图21.InGaAs图像传感器制造的工艺流程图。

图22.倒装凸块接触间距趋势和Cu-Cu键合以及InGaAs传感器的应用实例。

V.智能视觉传感器

在物联网(IoT)市场、零售、智慧城市和类似应用中，对具有AI处理能力的相机产品的需求正在增长。此类边缘设备上的AI处理能力可以解决与纯云计算系统相关的一些问题，例如延迟、云通信、处理成本和隐私问题。具有AI处理能力的智能相机的市场需求包括小尺寸、低成本、低功耗和易于安装。然而，传统的CMOS图像传感器仅输出捕获图像的原始数据。因此，在开发具有AI处理能力的智能相机时，需要使用包含图像信号处理器（ISP）、卷积神经网络（CNN）处理、DRAM等能力的IC。

年报道了一种由万像素和一个专用于CNN计算的DSP组成的堆叠CMOS图像传感器。如图23所示，该传感器包含一个集成解决方案，该解决方案具有完整的图像捕获传输到CNN推理处理器，并且可以以fps的速度处理，包括使用4.97TOPS/WDSP的图像捕获和片上CNN处理。处理模块有一个用于CNN输入预处理的ISP、一个为CNN处理优化的DSP子系统，以及一个用于存储CNN权重和运行时内存的8-MBL2SRAM。图24显示了使用MobileNetv1的CNN推理结果的一些示例。DSP子系统展示了与TensorFlow类似的推理结果。智能视觉传感器能够在传感器上运行完整的CNN推理过程，可以通过MIPI接口将捕获的图像作为原始数据和CNN推理结果输出在同一帧中。该传感器还支持仅从SPI接口输出CNN推理结果，以启用小型相机，降低系统功耗和成本。传感器上的CNN推理处理器允许用户将他们喜欢的AI模型编程到嵌入式存储器中，并根据系统使用位置的要求或条件对其进行重新编程。例如，安装在设施入口处时，可用于统计进入设施的访客人数；安装在商店货架上，可用于检测缺货情况；当在天花板上时，它可以用于热图（heatmapping）商店访客。智能视觉传感器有望使用灵活的AI模型为各种应用提供低成本的边缘AI系统。

图23.智能视觉传感器系统框图。

图24.CNN推理的测量结果。

VI.结论

本文回顾了具有堆叠器件结构的图像传感器架构的最新成果。通过采用传感器像素和CMOS电路优化工艺技术实现的高度并行ADC，堆叠器件结构极大地提高了图像传感器性能，特别是在高帧速率和高像素分辨率下。在最近的工作中，已经使用像素并行堆叠电路和/或更智能的处理单元提出了一些建议，并取得了一些成果。这些新挑战需要更高的可扩展性、针对每个功能的工艺技术的更多优化以及更高的面积效率。光电探测器、像素前端电路、模拟混合信号和数字处理器以及存储器可以更有效地集成，如图25所示，未来图像传感器架构通过器件堆叠技术扩展功能将获得进一步的发展。

图25.堆叠式CMOS图像传感器的演进与未来展望。

本文来自IEEE，作者YusukiOike，版权也归他们所有，本翻译仅供读者参考。