第３２卷第３期 液晶与显示 Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌｓ ａｎｄ Ｄｉｓｐｌａｙｓ Ｖｏ１．３２ Ｎｏ．３ Ｍａｒ．２０１７ ２０１７年３月 文章编号：１００７—２７８０（２０１７）０３—０２４０—０９ 高动态科学级ＣＭＯＳ相机设计与成像分析 孙宏海 ，何舒文 ，吴 培 。，王延杰 中国科学院长春光学精密机械与物理研究所，吉林长春１３００３３； ２．北方自动控制技术研究所，山西太原０３０００６；３．中国科学院大学，北京１０００４９） 摘要：为了满足高动态范围高灵敏度的全局曝光模式下成像系统的需求，基于ＣＩＳ－２５２１科学级ＣＭＯＳ图像传感器设计 了一个相机系统，通过分析ＣＩＳ－２５２１芯片像素读出结构特点，通过芯片内部模拟相关双采样与ＦＰＧＡ片内数字域相关 双采样完成相关四采样算法，列向噪声去除效果明显。通过设计曲线拟合双增益通道图像数据合成输出，保证了系统成 像有较高输出动态范围。相机常温下输出图像峰值信噪比达６２．９ ｄＢ，采用半导体制冷后输出图像峰值信噪比７４．３ ｄＢ。 根据ＥＭＶＡ１２８８标准实测相机动态范围达到７８．２ ｄＢ，设计的相机系统实现了每秒５Ｏ帧２ ５６０×２ １６０像素，１６ ｂｉｔ深度 高清晰度高动态范围图像的实时全局曝光成像输出，能够满足低照度条件下的高帧频高动态范围成像的需求。 关键词：全局曝光；科学级ＣＭＯＳ；相关四采样；噪声抑制；高动态范围 文献标识码：Ａ ｄｏｉ：１０．３７８８／ＹＪＹＸＳ２０１７３２０３．０２４０ 中图分类号：ＴＰ２１２ Ｄｅｓｉｇｎ ａｎｄ ｉｍａｇｉｎｇ ａｎａｌｙｓｉｓ ｏｆ ｈｉｇｈ ｄｙｎａｍｉｃｓ ｓｃｉｅｎｔｉｆｉｃ ＣＭＯＳ ｃａｍｅｒａ ＳＵＮ Ｈｏｎｇ—ｈａｉ“，ＨＥ Ｓｈｕ—ｗｅｎ ，ＷＵ Ｐｅｉ ，ＷＡＮＧ Ｙａｎ－ｊｉｅ （１．Ｃｈａｎｇｃｈｕｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｏｐｔｉｃｓ，Ｆｉｎｅ Ｍｅｃｈａｎｉｃｓ ａｎｄ Ｐｈｙｓｉｃｓ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｃｈａｎｇｃｈｕｎ １３００３３，Ｃｈｉｎａ； ２．Ｎｏｒｔｈ Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｒｏｌ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｓｔｉｔｕｔｅ，Ｔａｉｙｕａｎ ０３０００６，Ｃｈｉｎａ； ３．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊ ｉｎｇ １０００４９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｓａｔｉｓｆｙ ｔｈｅ ｄｅｍａｎｄ ｏｆ ｔｈｅ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｕｎｄｅｒ ｔｈｅ ｇｌｏｂａｌ ｅｘｐｏｓｕｒｅ ｍｏｄｅ ｏｆ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ａｎｄ ｈｉｇｈ ｓｅｎｓｉｔｉｖｉｔｙ，ｗｅ ｄｅｓｉｇｎｅｄ ａ ｃａｍｅｒａ ｂａｓｅｄ ｏｎ ｔｈｅ ＣＩＳ一２５２１ ｓｃｉｅｎｔｉｆｉｃ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ，ｉｍｐｌｅｍｅｎｔｉｎｇ ｔｈｅ ｃｏｒｒｅｌａｔｅｄ ｑｕａｄｒｕｐｌｅ ｓａｍｐｌｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｎ ｔｈｅ ＦＰＧＡ ｂｙ ａｎａｌｙｚｉｎｇ ｔｈｅ ｆｅａｔｕｒｅ ｏｆ ＣＩＳ一２５２１’Ｓ ｐｉｘｅｌ ｒｅａｄｏｕｔ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｃｏｍｂｉｎｉｎｇ ｉｔｓ ｂｕｉｌｔ—ｉｎ ｃｉｒｃｕｉｔ ｏｆ ｃｏｒｒｅｌａｔｉｖｅ ｄｏｕｂｌｅ ｓａｍｐｌｅ，ａｎｄ ｉｔ ｄｅｎｏｉｓｅｓ ｔｈｅ ｖｅｒｔｉｃａｌ ｎｏｉｓｅ ｏｂｖｉｏｕｓｌｙ．Ｔｈｅ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｈａｓ ｈｉｇｈｅｒ ｏｕｔｐｕｔ ｄｙ— ｎａｍｉｃ ｒａｎｇｅ ｏｆ ｔｈｅ ｉｍａｇｅ ｄａｔａ ｂｙ ｄｅｓｉｇｎｉｎｇ ａ ｃｕｒｖｅ ｍａｔｃｈｉｎｇ ｔｈｅ ｄｏｕｂｌｅ ｇａｉｎ ｃｈａｎｎｅｌｓ．Ｔｈｅ ｏｕｔｐｕｔ ｉｍ— ａｇｅ ｐｅａｋ ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ ｏｆ ｔｈｅ ｃａｍｅｒａ ｃａｎ ｒｅａｃｈ ６ ２．９ ｄＢ ｕｎｄｅｒ ｔｈｅ ｒｏｏｍ ｔｅｍｐｅｒａｔｕｒｅ，ａｎｄ ｃａｎ ｒｅａｃｈ ７４．３ ｄＢ ｕｓｉｎｇ ｔｈｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ ｒｅｆｒｉｇｅｒａｔｉｏｎ．Ｔｈｅ ｄｙｎａｍｉｃ ｒａｎｇｅ ｏｆ ｔｈｅ ｃａｍｅｒａ ｃａｎ ｒｅａｃｈ 收稿日期：２０１６—１ｌ一０９；修订日期：２０１６—１２—１３． 基金项目：国家高技术研究发展计划基金课题（Ｎｏ．２０１５ＡＡ７０３１０１０Ｂ） Ｓｕｐｐｏｒｔｅｄ ｂｙ Ｎａｔｉｏｎａｌ Ｈｉｇｈ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｒｏｇｒａｍ ｏｆ Ｃｈｉｎａ（Ｎｏ． ２０１５ＡＡ７０３１０１０Ｂ） ＊通信联系人，Ｅ—ｍａｉｌ：ｓｕｎｈｈ＠ｃｉｏｍｐ．ａｃ．ｃｎ 第３期 孙宏海，等：高动态科学级ＣＭＯＳ相机设计与成像分析 ２４１ ７８．２ ｄＢ ａｃｃｏｒｄｉｎｇ ｔｏ ＥＭＶＡ１２８８ ｓｔａｎｄａｒｄ．Ｔｈｅ ｄｅｓｉｇｎｅｄ ｃａｍｅｒａ ｃａｎ ｒｅａｌｉｚｅ ｔｈｅ ｇｌｏｂａｌ ｅｘｐｏｓｅｄ ｒｅａｌ ｔｉｍｅ ｉｍａｇｉｎｇ ｏｕｔｐｕｔ ｗｉｔｈ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ａｎｄ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｆｏｒ ２ ５６０×２ １６０ ａｎｄ １６ ｂｉｔｓ ｉｍａｇｅｓ ｕｎｄｅｒ ５０ ｆｐｓ，ａｎｄ ｃａｎ ｓａｔｉｓｆｙ ｔｈｅ ｄｅｍａｎｄ ｏｆ ｔｈｅ ｈｉｇｈ ｆｒａｍｅ ｆｒｅｑｕｅｎｃｙ ａｎｄ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｕｎｄｅｒ ｔｈｅ ｌｏｗ ｂｒｉｇｈｔｎｅｓｓ． Ｋｅｙ ｗｏｒｄｓ：ｇｌｏｂａｌ ｅｘｐｏｓｕｒｅ；ｓｃｉｅｎｔｉｆｉｃ ＣＭＯＳ；ｃｏｒｒｅｌａｔｅｄ ｑｕａｄｒｕｐｌｅ ｓａｍｐｌｉｎｇ；ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｉｏｎ； ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ １ 引 言 科学级相机由于其低输出噪声，高灵敏度，宽 广光谱响应，极好的线性度，高分辨率，以及高量 子效率等技术优点Ｅ１ ２３，在医学图像诊断，单分子 成像，微光成像，暗弱小目标探测，天文观测和高 清智能监控等技术领域发挥着重要作用。目前国 内外使用的科学级相机主要为科学级ＣＣＤ相机， 设计中模拟电路复杂，对模拟信号的驱动和采集 都有较高的要求，大多为帧转移方式读出，帧频较 低操作不灵活。相比于科学级ＣＣＤ器件，科学级 ＣＭＯＳ图像传感器具有低功耗，低成本，高帧频， 高集成度，可控开窗读出等优点＿３］，有利于实现小 体积低能耗的相机系统。科学级ＣＭＯＳ图像传 感器标准读出模式为卷帘模式，在该模式下可通 过片内集成相关双采样电路较好地抑制噪声 ］。 而在一些科学研究中，需要相机工作在全局曝光 模式下，此时一般的相关双采样技术将难以获得 ～一一一较好的效果，ＣＭＯＳ相机在全局曝光模式下系统 动态范围较低。本文选用一种科学级ＣＭＯＳ芯 片ＣＩＳ一２５２１，通过分析其像素读出结构特点，以 ＦＰＧＡ为核心处理单元设计了相关高速驱动电路 和图像预处理功能，通过降低系统读出噪声和提 高系统读出能力来获取高动态范围图像数据，并 通过实验对成像性能进行了客观分析。 ２ ＣＩＳ一２５２１参数与相机系统组成 ＣＩＳ一２５２１是Ｆａｉｒｃｈｉｌｄ公司开发的科学级 ＣＭＯＳ图像传感器芯片，具有高灵敏度和低噪声 等特点，适用于在极弱光条件下获取高品质的图 像ＣＩＳ一２５２１的一些基本性能参数见表１。 ＣＩＳ－２５２１的高动态范围性能实现表现在其 具有较低的读出噪声和双通道可选增益操作， 芯片内置的双增益可调放大器配合双１１ ｂｉｔ列级 表１ ＣＩＳ－２５２１基本参数性能 Ｔａｂ．１ Ｂａｓｉｃ ｐａｒａｍｅｔｅｒｓ ｏｆ ＣＩＳ－２５２１ 阵列尺寸 ２ ５６０（Ｈ）ｘ ２ １６０（Ｖ） 像素大小 最大帧频 ＡＤ转换器位宽 列级放大器 功耗 满阱电荷 最小读出噪声 暗电流 动态范围 一 峰值量子效率 ＡＤ转换器，可以同时输出在不同增益下采样的 …一 ＜ 一一 ～ 一 域一 叭一一一一一 一＞ １１ ｂｉｔ编码图像数据，通过数据融合可获得更高 动态范围图像数据。基于ＣＩＳ一２５２１设计的相机 系统结构如图１所示。 相机系统采用单电源１２ Ｖ供电，在板上转换 为各个模块所需电压，选用ＦＰＧＡ搭载ＤＤＲ３作 图１系统框图 Ｆｉｇ．１ Ｄｉａｇｒａｍ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ２４２ 液晶与显示 第３２卷 为处理架构，其中ＦＰＧＡ主控芯片采用Ｘｉｌｉｎｘ公 司Ｋｉｎｔｅｘ ７系列的ＸＣ７Ｋ３２５Ｔ，具有丰富的逻辑 资源，可根据不同需求现场可编程，产生系统其余 部件所需驱动控制时序，ＤＤＲ３采用４片 ＭＴ４１Ｋ１２８Ｍ１６并联而成，共１ＧＢ容量，能够满 足高速数据缓存的需求。系统工作流程为： ＦＰＧＡ上电加载配置程序，接收控制计算机的控 制指令，通过ＳＰＩ接口设置偏置电压值，通过 ＪＴＡＧ接口设置ｓＣＭＯＳ工作模式，ｓＣＭｏＳ接收 外触发信号后输出图像数据，ＦＰＧＡ采集高速图 像数据缓存并进行图像预处理，转换为标准 Ｃａｍｅｒａ Ｌｉｎｋ Ｆｕｌｌ接口数据格式输出，控制计算 机通过采集软件采集图像数据并显示。 ３ 相关四采样对ＣＭＯＳ器件噪声 抑制 ＣＭＯＳ图像传感器动态范围定义为最大非 饱和信号值与最小可测信号值的比值 ］，在物理 性质最大非饱和信号受到光电二极管的满阱容量 限制，最小可测量的信号由系统读出噪声限制。 对于ＣＩＳ一２５２１芯片，像素满阱中有效电荷变化不 大，如何通过设计相机驱动方式降低读出噪声将 是提高系统动态范围的关键因素。 ＣＩＳ一２５２１芯片内部采用５Ｔ像素结构，内置 双增益通道和相关双采样电路，光信号到数字信 号的转换过程如图２所示。像素结构部分中由 Ｍ１，Ｍ２晶体管控制光电二极管的曝光时刻和转 移时刻，当ＴＸ２为高电平时光电二极管复位到参 考电压；当ＴＸ２为低电平时，光电二极管开始工 作，入射光子在光电二极管转换成电荷，而当 ＴＸ１为高电平时，电荷被转移到节电容Ｃ 上， 读出结构 辩｛｛＝ｔ．‘１ ｆ 匿匡 卜 ｏ蛰骨。黧 。丞 ，ｏ ｕ，ｊ ａ ＤＰ ｏ墒哪盯国 ，， Ｏ Ｏ＂Ｉ｜｜ Ｏ＇ＡＩ￣ 图２信号读出路径及引入噪声示意图 Ｆｉｇ．２ Ｒｏｕｔｅ ｏｆ ｓｉｇｎａｌ ｒｅａｄｉｎｇ ａｎｄ ｎｏｉｓｅ ａｄｄｉｎｇ Ｍ３可通过选通复位ｃｆｄ至参考电压，Ｍ４为源级 跟随器，Ｍ５为行选通信号，当Ｍ５导通时信号被 传输到列总线，经过两个不同增益的放大器后进 入模拟存储区，可在此进行芯片内部模拟域相关 双采样处理，之后经过两个１１ ｂｉｔ的ＡＤＣ转换器 处理将模拟信号数字化，分别输出１１ ｂｉｔ的格雷 码数据供采集处理。 ＣＩＳ－２５２１的信号读出路径中引入的噪声可 分为时间噪声和空间噪声 。其中时间噪声表 现为噪声随时间不同而变化，并且随像素的不 同而不同，包括光电二极管处的光子散粒噪声 ，暗电流噪声０－ ，像素的复位电流产生的 复位噪声 ，读出热噪声０－ 和闪烁噪声． ， ＡＤＣ量化噪声Ｏ＇Ａ 等。空间噪声则是噪声值随 像素分布的差异而不同，但是不随时间变化而 变化，也称ＦＰＮ（固定模式噪声）。ＦＰＮ分为与 光信号无关偏置型噪声０－ＦＰ 和随信号变化而 变化增益型噪声Ｏ＇Ｆｐ 。系统中总的噪声可由 式（１）表示 ： ｔ。 ｌ－－０－ｓｈ２。 ＋ ｋ＋０－ｒ２ ＋０－￣ｏ＋ ／，＋ 盯 Ｄｃ＋ ；ＰＮ。 ＋ ；ＰＮｇ ｉ ． （１） 一般对ｓＣＭＯＳ图像传感器噪声分析中重点 关注由Ｍ３的复位带来的复位噪声０－ 影响，认 为该噪声是限制光电二极管读出电路最主要噪声 源ｌ＿８］，Ａ点的复位噪声均方值为： 一 Ｔ。 （ ）： 二ｅ ， （２） Ｌｆｄ 其中：Ｒ。 是Ｍ３截止沟道电阻，Ｒ。 ｃ 常数较大 （约为ｍｓ级）将导致在短时间内节点电容Ｃ 上 的噪声均方值不会发生较大变化。传统去除复位 噪声的方法是采用相关双采样技术，在电荷转移 到Ｃ 的前后短时问内对Ｃ 上电压各进行一次采 样两次采样相减可去除复位噪声，相关双采样同 时还能去除一部分偏置型噪声，并在一定程度上 对读出热噪声和闪烁噪声进行抑制［ｇ。 。 ｓＣＭＯＳ图像传感器标准读出模式为卷帘曝 光模式口 ，每行的图像数据依次复位，曝光和读 出如图３（ａ），每一行复位（Ｓ１）和读出（ｓ２）的间 隔较短，约为 ｓ级别，此时相关双采样电路可以 达到很好的去噪效果。但是在某些场景下（如 高速运动），卷帘曝光模式会导致拍摄图像变 形，此时需要ｓＣＭＯＳ图像传感器工作在全局曝 光模式，全局曝光模式下所有像素统一曝光，然 第３期 孙宏海，等：高动态科学级ＣＭＯＳ相机设计与成像分析 ２４３ 后逐行等待读出如图３（ｂ），各行复位（ｓ１）到读 出（ｓ２）的时间间隔不同，对于高分辨率的图像 传感器，首尾行等待读出时间间隔相差可达到 ｍｓ级别，这将导致相关双采样对复位噪声不能 完全去除，只能达到一定程度抑制的效果。另 外相关双采样电路本身采用电容进行采样保 持，电容的差异性和后续电路的差异依旧会引 入部分偏置型ＦＰＮｌ＿１引。 ＲｏｗＮ－Ｍ Ｓ１ Ｉ Ｓ１ｌ Ｉ 匾 ｌ ＲｏｗＮ－Ｍ＋Ｉ ｓ２ ｓ】 ｓ２ Ｉ 盈 ＲｏｗＮ Ｓ２ Ｓ１ Ｉ 磁 （ａ）卷帘快门模式 （ａ）Ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ ｍｏｄｅ ＲｏｗＮ－Ｍ！ ８２ Ｎ＿Ｍ＋ｌ；＼＿ ｊ ｓ１Ｉ； 。 。 ｓ１‘ Ｉ （ｂ）全局快门模式 （ｂ）Ｇｌｏｂａｌ Ｓｈｕｔｔｅｒ ｍｏｄｅ 图３卷帘快门与全局快门比较 Ｆｉｇ．３ Ｃｏｍｐａｒｉｓｏｎ ｂｅｔｗｅｅｎ ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ ａｎｄ ｇｌｏｂａｌ ｓｈｕｔｔｅｒ 本文设计采用相关四采样技术（ＣＱＳ）对图像 数据进行读出，即利用芯片内部相关双采样结构完 成两次模拟域相关双采样，结合在ＦＰＧＡ内完成一 次数字域的相关双采样对噪声进行抑制。相关四 采样示意图如图４所示，Ｓｌｒ，Ｓ２ｒ构成一组复位帧 的相关双采样，用于读出复位后节点电容Ｃ 上噪 声信号，数据逐行进行双采样后将输出复位帧 然后在全局曝光模式下所有像素统一曝光和 电荷转移，Ｓｌｄ，Ｓ２ｄ构成另一组相关双采样，数据 逐行双采样后将输出信号帧Ｉ。。 ， 。ｉ 中包含光电转 换后信号分量和噪声。两帧数据相减得到相关四 采样结果 。Ｓ。设Ａ为放大器增益，Ｋ Ｄｃ（Ｖ／ＤＮ） 为ＡＩＸ２转换器单位，５Ｆ 为相关双采样后引入的 偏置ＦＰＮ分量（ａｒＰＮ。ｆｆｓｅｔ４，Ｏ＂ＦＰＮ。 ｔ５）。 Ｖ ‰ Ｖ 图４相关四采样原理 Ｆｉｇ．４ Ｐｒｉｎｃｉｐｌｅ ｏｆ ｃｏｒｒｅｌａｔｅｄ ｑｕａｄｒｕｐｌｅ ｓａｍｐｌｉｎｇ ｊＡ（Ｖ－ｒｅｆ１Ｖ ｒｓｔ）＋ＳＦ￣ｄｓ＋ａｌＩ————————————一ｄａｒｋ 一—————— —————一，，（３）＼ｏ， 一 ，（４） ＩｃＱＳ一， ｉ 一Ｉｄａｒｋ— Ａ（ ｚ—Ｖ ｆ１＋Ｖ 一Ｖ ｇ）＋ ，＿、 ————］ ——一’ 式（５）中 ， 为除了ＳＦ。 外各噪声总称，假设 参考电压无干扰，即Ｖ ＝＝＝Ｖ ，则 一Ｖ 即为 读出信号分量， 中部分偏置型ＦＰＮ已经被去 除，复位噪声，闪烁噪声和读出热噪声被部分抑 制。此时 Ｑｓ可简单写作： Ａ Ｖ ｓ＋ＩＣＱＳ－－ａ一．． （６） 相关四采样对噪声抑制实际效果如图５所 示，其中图５（ａ）复位帧图像，图５（ｂ）信号帧图像， 图５（ｃ）为在ＦＰＧＡ内部完成相关四采样后图像。 复位帧中不包含信号信息，采集的仅仅是之前分 析的各种噪声叠加值，以列向条纹最为明显，信号 帧包含场景信息，但受到列向噪声影响，图像可视 性较差。图像帧中列向噪声已经基本去除，图像 上残留噪声为点噪声，从人眼观察角度上看图像 质量得到很大提高。 利用图像峰值信噪比（ＰＳＮＲ）来衡量图像帧 与信号帧的差异有： ＰＳＮＲ一２ｏ１ｏｇ（ ）， （７） ￣／ＭＳＥ ｍａｘ（ｊｒ）为图像输出最大数值，ＭＳＥ为图像均方 差。设复位帧，信号帧，图像帧的均方差为 ， 。， ，由于图像之间为相减的运算，所以有 ： ；＋ ｝． （８） 液晶与显示 ＡＤＣ量化后输出数据ｆ（向下取整）为： ０ Ｖ… ＜ ，第３２卷 Ｉ＝＝ （ａ）复位帧 （ａ）Ｒｅｓｅｔ ｆｎＨｎｅ 『ｔ ＿ ］丽Ｋ Ａ Ｊ ２０Ｖ４ｆ８ｕｌＡ 、Ａ≤ ＇（１ ０）２０４７ Ｖ…（ｂ）信号帧 （ｂ）ｓｉ ｌａｌ ｆｒａｍｅ（ｃ）图像帧 （ｃ）Ｏｕｔｐｕｔ ｉｍａｇｅ ｆｒａｍｅ ｓ＞ … １ 图５相关四采样对列向噪声抑制 Ｆｉｇ．５ Ｖｅｒｔｉｃａｌ ｄｅｎｏｉｓｉｎｇ ｏｆ ｃｏｒｒｅｌａｔｅｄ ｑｕａｄｒｕｐｌｅ ｓａｍｐｌｉｎｇ 当Ｖ 为最小值，即为系统噪声时，为将 量化成 数字量渎出，至少需要满足 ≥ ｆｕ－・／２ ０４８Ａ，此 时增益Ａ取值越大对应可读出越小信号的数据。 而当 为最大值Ｖ 时，要满足读出数据不饱 和，越小的Ａ值可以读出对应越大信号的数据。 以低增益通道Ｘ１（Ａ一１），和高增益通道Ｘ１０ ２０１ｏｇ（ Ｏ－Ｉ 另外由于输出图像最大数值有ｍａｘ（，）一 ｍａｘ（ ），于是有 ｊ ＰｓＮＲ一 Ｎ ）一 （Ａ一１０）的配置为例分析，双通道输出数据均为 ０～２０４７数字量，设Ｘ１通道输出最大值２ ０４７对 （９） ２０１ｏｇ（ ｓ ）一２０１ｏｇ（ Ｉ ）．应满阱电荷３０ Ｏ００ｅ一，Ｘ１通道的分辨能力为 ３０ ０００／２ ０４８—１４．６ｅ一，即单位数字量对应１４．６个 对于复位帧图像 全部可视为噪声，其中固 定模式噪声居多，每次采集复位帧图像并不一样， 但是 的水平并不随积分时间和光照而变化，仅 电子。Ｘ１０通道输出最大值２０４７对应电荷 ３０００ｅ一，ＸＩＯ通道分辨能力为１．４ｅ一，即单位数字 量对应１．４个电子。双通道输出量化数据与Ｃｎ 中电荷关系如图６所示。 ， 在一定范围内波动。由于√ ；＋ ／口 ＞１，所以 图像帧较信号帧峰值信噪比有所提高，实验中发 现 变化不大，而 受温度和光照的影响。当 。 较小时，， 一 有较大取值，以常温无光照 ２Ｏ４７ 条件下估计 ，的最小值约为１．５， 取值大致范 围为１６～ｌ８，采用相关四采样技术最大可提高图 像峰值信噪比约２１ ｄＢ。图５中图像帧较信号帧 峰值信噪比提高大约３．９ｌ ｄＢ。 ４ 高动态范围数据合成 成像系统动态范围不仅与最小读出噪声相 图６理想双增益通道比较 Ｆｉｇ．６ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｉｄｅａｌ ｄｏｕｂｌｅ ｇａｉｎ ｃｈａｎｎｅｌｓ 关，而且受到读出电路的读出能力影响，高精度 ＡＤＣ较低精度ＡＤＣ可以更精确量化出最小读出 噪声，但是采用高精度ＡＤＣ会大大提高ｓＣＭＯＳ 单一通道读出数据动态范围均为２０４７：１， 而采用双通道读出数据的方式，可读出数据动态 范围为： 图像传感器成本。ＣＩＳ－２５２１芯片内部集成了双 １１ ｂｉｔ位宽ＡＤＣ转换器，量化输出的双增益通道 数据可在芯片外合成更高动态范围图像数据。 设满阱电荷对应电压幅值为Ｖ Ｉ１’ＡＤＣ输入 电压范围可通过调节设置为［０， ，］，进入列总 线信号为 ∈［ｏ， ㈨。］，单一增益通道放大倍数 为Ａ，其可选值为低增益通道（Ａ一１ Ｏｒ Ａ一２）和 高增益通道（Ａ—ｌ０ ｏｒ Ａ一３０），则经１１ ｂｉｔ位宽 。Ｒ 一２。 。ｇ（ 兰 舌等 ｝ ２０ｌｏｇ（ —— ）， ）＝ …） （１１） 式中ｍａｘ（ ）是低增益通道输出最大数字量，即 ２０４７，ｒａｉｎ（Ｊ ）是高增益通道量化出最小有效信 号量，即０。双增益通道读出动态范围的能力比 液晶与显示 第３２卷 控制处理板，板板之间以高速连接器相连。图１ｌ （ｂ）为在（ａ）的基础上增加了二级半导体制冷片与 散热片。 一。 鱼。一 ｝ （ａ）ｓＣＭＯＳ相机实物图 （ａ）ｓＣＭｏｓ ｃａｌｍｃｒａ ： ｒＩ－ ・’－－Ｎ： 相关四采样． ． （ｂ）增加制冷结构 （ｂ）Ｃａｍｍｍｔｗｉｔｈｍｆｉ＇ｉｇｍｅ，ｏｒ 网１１ ＣＭ（）Ｓ相ｆＪ【没计实物 ■四 图９ ＦＰＧＡ数据处理流程图 Ｆｉｇ．９ Ｆｌｏｗ ｄｉａｇｒａｍ ｏｆ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ＦＰＧＡ Ｆｉｇ．１ ｌ Ｇｒａｐｈ ｏｆ ｔｈｅ ｓＬ、（）ＭＳ ｃａｍｅｒａ 系统上电从配置芯片加载程序后，采用上 入ＦＰＧＡ内部经过格雷码到二进制码的转换后， 位机串口发送控制指令，通过Ｃａｍｅｒａ Ｉ ｉｎｋ接口 单个通道像素灰度值调整为１６ ｂｉｔ数据排列组合 后送入ＦＩＦ（）缓存，通过判断当前帧若为复位帧 获取图像数据进行显示，系统在全画幅模式 （２ ５６Ｏｘ ２ １６０）下对实际场景进行了实时拍摄， 帧频为５Ｏ ｆｐｓ，输出像素深度１ ６ ｂｉｔ。图１２为相 晰，灰度层次分明，分辨率高，１２个灰度递增的 条纹均能清晰辨别，相机系统具有较高动态 范围。 则送入ＤＤＲ３缓存，若为信号帧则提取缓存的复 位帧数据实现数字相关双采样，经过数字相关双 四囱 机采集标准测试靶面结果。采集的测试图像清 采样后的双增益通道数据送人高动态范围数据合 成模块，生成高动态范围数据后进行一定规则（如 中值滤波）图像预处理，缓存在ＤＤＲ３中，调整图 像数据输出格式后经过输出接口输出全局曝光模 式下２ ５６０×２ １６Ｏ×１６ ｂｉｔ，５Ｏ帧／ｓ的图像数据。 相机内部图像处理流程如图１Ｏ所示。 高动态范围图像 Ｘｌ图像 Ｘｌ信号帧 高 动‘ 态 Ａ 日 Ｘ１信号帧 成 图１ ２ ｓＣＭ（）Ｓ相机成像结果 Ｆｉｇ．１２ Ｉｍａｇｉｎｇ ｒｅｓｕｌｔ ｏｆ ｓＣ（）ＭＳ ｃａｍｅｒａ ｘｌＯ信号帧 ＸｌＯ复位帧 ｘｌＯ图像 滤波输出 客观上采用输出图像峰值信噪比来评价，对 输出高动态范围图像数据的相机系统。 ＰＳＮＲ一２０１ｏｇ（ ＩｔＤＲ 图ｌＯ相机内部图像处理流程 Ｆｉｇ．１ ０ Ｆｌｏｗ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓ ｉｎ ｔｈｅ ｃａｍｅｒａ ）。 （１２） 计算中选取无光照区域均方根值作为Ｏ＇ＨＤ 的估计值， Ⅲ 中包含暗电流噪声。产生与光电转 ６ ｓＣＭ（）Ｓ相机设计结果与成像分析 设计的相机系统如图１１（ａ）所示，相机由三 换处的偏置型ＦＰＮ，被抑制的闪烁噪声，读出热 噪声，复位噪声。 Ｈ¨ 中除偏置型ＦＰＮ外其余分 量都与温度有关，偏置型ＦＰＮ噪声由基底偏置相 减的方式进行去除，其余噪声则考虑采用制冷方 块电路板组成，结构呈门字型，中间板为ＦＰＧＡ 孙宏海．等：ｌ 动念科学级（、Ｍ（）Ｓ卡Ｈ机没计 成像分析 式埘 抑制。十ＩＩ饥增 缎、ｆ 体制冷片与敞热 ２ ｌ７ 示．噪声有ｒ明显的减少．实际大部分／火度值集 ｆ， 像低８位数据。 表３ ｓＣＭ（）Ｓ相机部分参数测试结果 １＂２ｌＩ）＿：｛Ｐａｒｔｉａｌ ｐａｒａｍｅｌｅｒ ｌｅｓｔ ｒｅｓｕｈｓ ｏｆ ＳＵＭ（）Ｓ ｃ￣ｌｎｌｅｒａ 片．测试制冷刈‘于｛寸１ｆ』【性能的影响． 尤光照情况 下ｉ 求余Ｊ ｆ０ｆ｝ｆ 像数据均值卜ｊ怀准篮如表２ 所爪。 表２ 制冷前后图像质量分析 ａｂ．２ １ｍ｛１ ｃ ｑｕａｌｉｔｙ；ｌ ｙｓ ｓ ｂｅｆｏｒｅ ２１ｎｄ ａｆ１ Ｌ、ｒ ｒｅｆｒｉｇｅｒａｔｉ￣１１１ 制冷过Ｗ－． ｛Ｉ． 像的均值下降．图像的怀准 蓐也逐渐减少。从制冷前后采集的Ｉ割像（ ｌ ３） Ｉ 行表现则足噪声点逐渐减少． 弱光照条什下 ７ 总 结 仵分析＿『Ｃ１ｓ一２５２ｌ图像传感器的像素结构 特 的 础 ．没计了它的硬件驱动电路和 ＦＰ（；Ａ 像去噪增强预处理程序，通过结合（、Ｉｓ一 ２５２１芯片内部模拟相火舣采样与ＦＰ（ Ａ片内数 域卡Ｈ父×义采样完成相关网采样算法，图像中人 眼敏感的列向噪声已经去除．通过合成双增益通 道数据，获墩具有更高动态范 像数据，常温下 的成像质ｆｌ｝逐渐改善． １３所示 像均Ｌ！．做 缩 输出罔像峰值信噪比达６２．９ ｄＢ。增加 导体制冷 （ａ）未制冷 （ａ）￣ａｇｃ ｗｉｔｈｏｕｔ ｃｏｏｌｉｎｇ （ｂ）半导体制冷 （ｂ）ｌｍａｇｅ ｗｊｔｈ ｓｅｍｉｃｏｎｄｕｃｔｏｒ ｃｏｏｌｉｎｇ 后卡Ｈ机输出图像峰值信噪比达到７４．３ ｄＢ。相机 输…令局曝光模式下高清晰高动态范 图像数 据．经测试系统动态范围达到７８．２ ｄＢ，ｇ－本满足 Ｉ挈】１ ３制冷埘成像的影响 Ｆｉｇ．１ ３ Ｆ．＇ｆｆｅｅｔ ｏｆ ｒｅｆｒｉｇｅｒａｔｉｏｎ ｃ（）ｉｎｉａｇｅ’ｓ ｎｏｉｓ ｅ 科学研究中对高动态范围成像设备的需求。 参 考 文 献： ［１］ 罗通顶．李斌康，郭明安．等．科 级【、Ｌ、Ｉ）远 像采集系统［Ｊ］．光学精密工程，２（）１ ３．２１（２）：１９６ ５０２． Ｉ．１ Ｊ（）Ｔ Ｉ），Ｉ １ Ｉ｛Ｋ．（ 【７（）Ｍ八，ｅｌ“ ．Ｒｅｎ￣ｏｔｅ ｉｎ１ａｇ ａＣ Ｃｌｕｉｓｉｔｉ ｃｍ ｓｙｓｔｅｍ ｗｉｔｈ ｓｃｉｅｎｔｉｆｉｃ ｇｒａｄｅ（、 Ｉ）［Ｊ ．（） ｆ．，）， Ｐ（ｉ一 ｒＪ７ ７ ，Ｉ ．，２（）１ ３．２】（２）：，ｌ９６－５０２．（ｉｎ【、ｈｉｎｅｓｅ） Ｅ２３ 潘明忠．刘玉娟．陈少杰．等．Ｉ…５介梯比栅光谱仪（、【’Ｉ）卡¨机的没汁［Ｊ］．光学精密工程，２（）１ ２．２ｏ（８）：１ ７２５ ｌ ７３１． ＰＡＮ（：Ｍ ．Ｉ ＩＩ，Ｔ Ｙ ＬＪ． ＨＥＮ Ｓ－ｆ． ，ａ／．［）ｃｓｉｇｎ ｏｆ（ ｈｅｌｌ（・Ｓｌｊｃｃ ｅ ｒｏｇｒａｐｈ（、（、Ｄ ｃａｍｅｒａ［Ｊ］．Ｏｐ：．Ｐｍ ｉ，￣＇ｉｏｌ，Ｆ，埘．， ２０Ｉ ２．２０（８）：１ ７２５ １ ７３１．（ｉｎ Ｃ Ｔｈｉｎｅｓｅ） 刘新明．刘文．刘朝晖．人Ｊｌｌ！ｆ Ｌ、Ｍ（）ｓ ＡＩ Ｓ十ｌＩ机系统的波汁［Ｊ］．光子学报，２（）０９．３８（１ ２）：３２３５ ３２３９． Ｉ Ｉｕ ｘ Ｍ．Ｉ Ｉｔｊ Ｗ．Ｉ Ｉｔ Ｚ Ｈ．１） ｓｉｇｎ ｏｆ ｉｔ ｌａｇｒｅ¨ｃ ｒ１ ａｒｒａｙ（、Ｍ（）ｓ ＡＩ Ｓ ｃ￣ｍｌｅｒａ ｓｙｓｔｅｍ［Ｊ］．Ａｔｔａ Ｐｈｏｔｏ＊￣．Ｓｉｎ．， ２Ｏ（）９．３８（１ ２）：３２３５ ３２３（）．（ｉｎ【’ｈｉｎｃ （ ） ［４］ 李云飞。司国良．郭永飞．科 ：级【、Ｌ、Ｉ）柑Ｊ机的噪 Ｌ－分析及处 技术［Ｊ］．光学精密工程．２０Ｏ５．１ ３（Ｓｔ）：１ｊ８ １ ６３． Ｉ Ｉ Ｙ Ｆ・Ｓ１（ １ ．（ （）Ｙ Ｆ．Ｎｏｉｓ￣ Ⅲ１ｆｄｙｚｉｎｇ，ｌ１１（１ ｔ）ｒｏｃｅｓｓｉ ｖ１ｇ ｆｏｒ ｓｃｉｅｎｔｉｆｉｃ ｇｒａｄｅ ＣＣＩ）ｃａｌ＇ｎ￣，ｒａ［Ｊ ．Ｏｐｔ．Ｐ （ｉｓ．ｉｏ￣ ， ．，２０（）５。１ ３（Ｓ１）：１ ５８一ｌ ６３．（ｉ１１（、ｈｉｎｅｓ（．，） ［５］ 杨东来，胡晓东，李俊娜．旗丁（、Ｍ（）ｓ 像传感器的多斜率积分模式［Ｊ］．红外与激光工程．２ｏ１ ２。ｔ１（６）：１４９９—１ ５０２． ＹＡＮ（ Ｉ）Ｉ ，ＨＵ Ｘ １ｊ，Ｉ １ Ｊ Ｎ．Ｍｕｌｔｉｐｌｅ ｓｌｏｐ￣、ｉｎｔｅｇｒａｔｉｏｎ ｂａｓ（，（１ ｏｎ Ｌ、Ｍ（）Ｓ ｉｍａｇｅ ｓｅｎｓｏｒ［Ｊ］．１ｕ／ｒｃ ２（）１ ２．ｒ｛１（６）：１ ４ ９（）１ ５０２．（ｉｎ（’ｈｉｎｅｓｔ ） Ｌａｓｅｒ Ｆ”ｇ．． ［６］ 龚学艺．黄思婕，曲荣升．等．【、Ｍ（）ｓ 像传感搽【ｆ１ｆ川域噪声分析及 心』｛Ｊ研究［Ｊ ］．光学与光电技术．２Ｏ１ ３．１１（１）： ２４８ ８６—９０． 液晶与显示 第３２卷 ＧＯＮＧ Ｘ Ｙ，ＨＵＡＮＧ Ｓ Ｊ，ＱＵ Ｒ Ｓ，ｅｔ ａ１．Ｔｉｍｅ ｄｏｍａｉｎ ｎｏｉｓｅ ａｎａｌｙｓｉｓ ｏｆ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ＬＪ］．Ｏｐｔ．Ｏｐｔｏｅｌｅｃｔｒｏｎ．Ｔｅｃｈｎｏ１．２０１３，１１（１）：８６—９０．（ｉｎ Ｃｈｉｎｅｓｅ） ［７］ 杨涛，吴孙桃，郭东辉．ＣＭＯＳ图像传感器电路噪声分析［Ｊ］．厦门大学学报：自然科学版，２０１２，５１（３）：３２１—３２６． ＹＡＮＧ Ｔ，ｗｕ Ｓ Ｔ，ＧＵＯ Ｄ Ｈ．Ａｎａｌｙｓｉｓ ｏｆ ｎｏｉｓｅ ｂｅｈａｖｉｏｒ ｉｎ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ［Ｊ］．Ｊ．Ｘｉａｍｅｎ Ｕｎｉｖ．Ｎａｔ． Ｓｃｉ．，２０１２，５１（３）：３２Ｉ－３２６．（ｉｎ Ｃｈｉｎｅｓｅ） ［８］付贤松．ＣＭＯＳ图像传感器动态范围扩展技术的研究［Ｄ］．天津：天津大学，２００６． Ｆｕ ｘ Ｓ．Ｓｔｕｄｙ ｏｎ ｔｅｃｈｎｉｑｕｅｓ ｔＯ ｅｎｈａｎｃｅ ｔｈｅ ｄｙｎａｍｉｃ ｒａｎｇｅ ｏｆ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒｓ［Ｄ］．Ｔｉａｎｊｉｎ：Ｔｉａｎｊｉｎ Ｕｎｉｖｅｒｓｉ— ｔｙ，２００６．（ｉｎ Ｃｈｉｎｅｓｅ） ［９］刘春香，郭永飞，李宁，等．多通道航天相机内部的图像实时合成压缩［Ｊ］．吉林大学学报：工学版，２０１３，４３（６）； １６８０—１６８４． ＬＩＵ Ｃ Ｘ，ＧＵＯ Ｙ Ｆ，ＬＩ Ｎ。ｅｔ ａ１．Ｒｅａｌ—ｔｉｍｅ ｃｏｍｐｏｓｉｎｇ ａｎｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｉｍａｇｅ ｗｉｔｈｉｎ ｍｕｌｔｉ－ｃｈａｎｎｅｌ ｓｐａｃｅｂｏｒｎｅ ｃａｍｅｒａ ＬＪ］．Ｊ．Ｊｉｌｉｎ Ｕｎｉｖ．：Ｅｎｇ．Ｔｅｃｈｎｏ！．Ｅｄ．，２０１３，４３（６）：１６８０—１６８４．（ｉｎ Ｃｈｉｎｅｓｅ） ［１Ｏ３魏巍，李志慧，赵永华，等．基于智能相机的混合交通流检测方法［Ｊ］．吉林大学学报：工学版，２０１３，４３（４）：８６６—８７０． ＷＥＩ Ｗ，ＬＩ ｚ Ｈ，ＺＨＡＯ Ｙ Ｈ，ｅｔ ａ１．Ｄｅｖｅｌｏｐｉｎｇ ａ ｓｍａｒｔ ｃａｍｅｒａ ｆｏｒ ｍｉｘｅｄ ｔｒａｆｆｉｃ ｆｌｏｗ ｄｅｔｅｃｔｉｏｎ［Ｊ］．Ｊ．Ｊｉｌｉｎ Ｕｎｉｖ．：Ｅｎｇ．Ｔｅｃｈｎｏ１．Ｅｄ．，２０１３，４３（４）：８６６—８７０．（ｉｎ Ｃｈｉｎｅｓｅ） ［１１］和文娟．ＣＭＯＳ图像传感器的噪声分析及图像处理［Ｄ］．武汉：华中科技大学，２０１１． ＨＥ Ｗ Ｊ．Ｎｏｉｓｅ ａｎａｌｙｓｉｓ ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｏｆ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏ［Ｄ］．Ｗｕｈａｎ：Ｈｕａｚｈｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２０１１．（ｉｎ Ｃｈｉｎｅｓｅ） ［１２］ 王华，曹剑中，王华伟，等．基于估计方法的ＣＭＯＳ图像传感器列固定模式噪声校正方法［Ｊ］．红外与激光工程， ２０１３，４２（７）：１９２８－１９３２． ＷＡＮＧ Ｈ，ＣＡＯ Ｊ Ｚ，ＷＡＮＧ Ｈ Ｗ，ｅｔ ａ１．Ｃｏｌｕｍｎ ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ ｃｏｒｒｅｃｔｉｏｎ ｏｆ ｔｈｅ ＣＭ０Ｓ ｉｍａｇｅ ｓｅｎｓｏｒ ｂａｓｅｄ ｏｎ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ口］．Ｉｎｆｒａｒｅｄ Ｌａｓｅｒ Ｅｎｇ．，２０１３，４２（７）：１９２８—１９３２．（ｉｎ Ｃｈｉｎｅｓｅ） ［１３］刘智，柴华，李娜娜．ＣＭＯＳ图像传感器中卷帘式快门特性及其应用［Ｊ］．光学精密工程，２００９，１７（８）：２０１７—２０２３． ＬＩＵ ｚ，ＣＨＡＩ Ｈ，ＬＩ Ｎ Ｎ．Ｓｈｕｔｔｅｒ ｍｏｄｅ ｏｆ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ［Ｊ］．Ｏｐｔ．Ｐｒｅｃｉｓｉｏｎ Ｅｎｇ．， ２００９，１７（８）：２０１７—２０２３．（ｉｎ Ｃｈｉｎｅｓｅ） ［１４］Ｅｕｒｏｐｅａｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ．ＥＭＶＡ Ｓｔａｎｄａｒｄ １２８８ Ｒｅｌｅａｓｅ ３．０ Ｓｔａｎｄａｒｄ ｆｏｒ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｉｍａｇｅ ｓｅｎ— ｓｏｒｓ ａｎｄ ｃａｍｅｒａｓ［ＤＢ／ＯＬ］．（２０１０—１卜２９）．ｈｔｔｐ：／／ｗｗｗ．ｅｍｖａ．ｏｒｇ／ｗｐ—ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／ＥＭＶＡ１２８８—３．０．ｐｄｆ． 作者简介：孙宏海（１９８０一），男，吉林长春人，博士，副研究员，主要从事先进光电成像技术及高速数字图像实时处理系统 的研究。Ｅ—ｍａｉｌ：ｓｕｎｈｈ＠ｃｉｏｍｐ．ａｃ．ｃｎ