基于SOPC的红外图像采集系统设计
赵江涛;胡辽林
【摘 要】Due to the high real-time demand and a large amount of data for infrared image acquisition,the traditional infrared image acquisition system is more complex.The SOPC technology provides an effective solution to build an infrared image acquisition system with good real-time
performance and simple structure.An infrared image acquisition system based on the SOPC technology is to realize the infrared image real-time acquisition with display designed,using the Nios Ⅱ softcore to connect with the various peripherals through the Avalon bus.The result shows that the system not only can fulfill the function of the infrared image
acquisition in different light conditions,but also has a simple structure and flexible and efficient characteristics.%由于对红外图像采集的实时性要求高,数据量大,传统的红外图像采集系统都较为复杂.可编程片上系统(SOPC)的提出为构建实时性好、结构简单的红外图像采集系统提供了一种有效的解决方案.文中设计了一种基于SOPC技术的红外图像采集系统,采用Nios Ⅱ软核作为核心,通过Avalon总线将其与各个外设连接起来,实现了对红外图像的实时采集和显示.实验结果表明该系统不仅能在不同的光线条件下完成红外图像采集的功能,还具有结构简单,灵活高效的特点.
【期刊名称】《西安理工大学学报》 【年(卷),期】2017(033)004 【总页数】5页(P481-485)
【关键词】SOPC;红外图像;Nios Ⅱ;Avalon总线 【作 者】赵江涛;胡辽林
【作者单位】西安理工大学机械与精密仪器工程学院,陕西西安710048;西安理工大学机械与精密仪器工程学院,陕西西安710048 【正文语种】中 文 【中图分类】TP391
与可见光成像相比,红外成像具有更强的抗干扰能力[1-2],不仅能在夜间对目标物成像,而且在浓雾或重度霾等恶劣天气下也能达到理想成像效果。因此,红外成像广泛应用于安防监控、汽车夜视、医疗器械等领域[3-5]。
传统红外图像采集和处理系统大多是基于数字信号处理(Digital Signal
Process,DSP)芯片[6],在CPU的控制下对红外图像进行采集和处理。这种模式的系统虽然满足功能需求,但整体结构复杂,加大了系统设计和后期开发的难度,且高性能的DSP芯片价格昂贵,增加了系统的成本。随着可编程片上系统(System on a Programmable Chip,SOPC)的出现[7-8],单个芯片即可完成整个系统的主要逻辑功能,这就大大简化了红外图像采集系统的结构,同时它是可编程的,因而具有灵活的设计方式,可裁减,可扩充,方便后续的深度开发。
本文设计了一种基于SOPC的红外图像采集系统,通过Avalon总线将Nios II软核处理器和其他的外设连接在一起,完成红外图像的采集、存储和显示功能,结构简单,配置灵活,能够适用于大多数场合的红外图像采集。 1 系统总体设计
本系统采用Altera公司生产的Cyclone IV EP4CE22F17C8芯片作为硬件开发平
台,该芯片具有功耗低,性能强,逻辑资源丰富等特点。摄像头采用美国OmniVision公司生产的CMOS图像传感器OV7670,其最高分辨率为680×480,该摄像头配有8颗红外灯,焦距为3.6 mm。通过SOPC Builder设计软件组建系统的总体架构,总体设计方案如图1所示。其中I2C控制器和图像采集模块,采用自定制设计,通过Avalon总线连接到Nios II处理器。CMOS红外摄像头输出的PAL制式图像信号经过图像采集模块的模数转换、去隔行处理及YCrCb转RGB,再存入到二代双倍数据速率(Double Data Rate 2 DDR2)SDRAM中,最后在LCD上进行显示。FLASH用于存储程序,EPCS16用于存储硬件的配置信息。 图1 系统总体设计Fig.1 General design of system 2 系统硬件设计 2.1 I2C控制器设计
由于SOPC Builder中没有现成的I2C配置接口模块,所以在本文中采用自定制组件的方法,将通过Verilog HDL设计生成的I2C总线模块以IP核的形式外挂在Avalon总线上,从而与Nios II处理器相连接,以完成对CMOS红外摄像头和ADV7180的配置。图2所示为I2C总线时序,其中A阶段是停止状态,B阶段是开始状态,C阶段是数据读写操作,D阶段是应答状态。 图2 I2C时序图Fig.2 I2C timing diagram 2.2 图像采集模块设计
2.2.1 ITU-R BT.656视频标准接口设计
PAL制式的模拟信号经过ADV7180视频解码芯片后以ITU-R BT.656视频标准形式传输。图3为ITU-R BT.656视频标准连续帧之间的时序,HS、VS、F分别是行同步信号、场同步信号和奇偶同步信号,描述了一帧视频的起点、终点和奇偶场的信息。图4为ITU-R BT.656视频标准的帧内时序,其中EAV和SAV是嵌入数据的控制字,长度均为4个字节,分别表示有效数据的终点和起点。EAV和SAV的前三
个字节是固定的,最后一个字节XY是不同的。根据XY的不同不仅可以区分EAV和SAV,还能区分该数据是有效数据还是场消隐区数据,是奇数场还是偶数场。BLANK是水平消隐区,由80H和10H来填充。Valid Data是有效数据区,分为奇数场和偶数场,均由288行组成,其中Y∶Cr∶Cb为4∶2∶2,即每个像素点有一个单独的Y值,而相邻的像素点的Cb值和Cr值是一样的。
图3 ITU-R BT.656帧间时序Fig.3 Inter-frame timing of ITU-R BT.656 图4 ITU-R BT.656帧内时序Fig.4 Inner-frame timing of ITU-R BT.656 本文采用有限状态机实现有效数据的读取。通过对EAV和SAV的检测产生相应的标志信号,并以此作为状态机的转移条件。图5为其状态转移过程,其中ZRST是复位初始状态,ZIDLE是场数据起始状态,ZODB是奇数场数据获取状态,ZEBL是消隐区数据获取状态,ZEDB是偶数场数据获取状态。
图5 有效数据获取状态转移图Fig.5 Diagram of valid data capture state transition 2.2.2 去隔行处理
以ITU-R BT.656视频标准传输的视频信号是经过隔行采样产生的,因此会出现行间闪烁、垂直混叠、锯齿效应等影响视觉观感的现象。为获得较高质量的视频画面和观看效果,要对解码后的视频进行去隔行处理。去隔行算法的种类很多,为满足系统简单可靠和实时性高的要求,本文采用场内线性插值去隔行算法[9],其公式为式(1)。 Fp(X,n)= (1)
其中,X=(x,y)为像素位置,Fp(X,n)是某点输出像素值,Fi(X,n)是某点输入像素值,uy=(0,Δy)为垂直方向上的单位向量,h(k,m)为冲击响应函数,且取h(-1,0)=0.5,h(1,0)=0.5,其他的h(k,m)都为0,当输入只有偶数场或者奇数场数据
时,Fp(X,n)=Fi(X,n)。其他条件下,某一点的像素值等于将其对应的上下两行的像素点取平均值。 2.2.3 色度空间转换
为了将视频在LCD上显示需要将解码后的YCrCb信号转换为RGB信号[10]。由于在FPGA的逻辑运算中,不能进行浮点数运算,因此要将带小数的运算转化为整数运算,相应的转化公式可简化为： (2)
按此式运算后得到的RGB是放大了256倍的,最后再缩小256倍即可得到正确的RGB信号。 2.3 图像存储与显示
经过图像采集模块的图像数据要被写入DDR2SDRAM中,然后再送入LCD模块中显示出来。由于红外CMOS摄像头、DDR2SDRAM和LCD三者工作在不同的时钟频率下,这就在图像数据的写入和读出端产生了异步时钟的问题,所以要在DDR2控制器的输入输出端各添加一个异步FIFO。图6为添加了两个FIFO的DDR2控制器。
图6 DDR2控制器Fig.6 DDR2 controller
为了保证系统简单可靠,DDR2控制器直接使用了Altera公司的IP核,数据通路模块用来选择数据的读取和写入,用一个二选一多路器实现。LCD控制器通过调用SOPC Builder中的PIO自定义组件[11-12],匹配LCD相应的信息即可实现。 3 系统软件设计
为确保系统的正常运行,在Altera公司的SOPC Builder设计软件中还需编写系统控制程序,配合系统硬件。该控制程序以C语言的形式编写,图7为其流程图。 图7 系统软件流程图Fig.7 Flow chart of system
系统运行时首先对CMOS摄像头和ADV7180视频解码芯片进行初始化,接着进入主循环,图像采集模块启动。若一帧数据采集成功则将其进行存储,否则继续采集,存储成功后的数据送入LCD进行显示。如若成功显示则进行下一帧数据的采集,如此循环。 4 系统测试
系统软、硬件设计完成后,在Altera公司的Quartus II 13.0开发平台和SOPC Builder设计软件下,通过JTAG下载和固化程序,对系统进行测试。图8、图9、图10为测试结果。其中图8是在白天自然光下采集到的图像,图9是在夜晚日光灯下采集到的图像,图10是在夜晚黑暗条件下采集到的红外图像。
图8 白天自然光下采集到的图像Fig.8 Image obtained in natural daylight 图9 夜晚日光灯下采集到的图像Fig.9 Image obtained in fluorescent light at night
图10 夜晚黑暗中采集到的红外图像Fig.10 Infrared image obtained in darkness
从图像效果上来看,该系统能够实现红外图像采集的功能,且在不同的背景光下都能清晰成像,满足了红外图像采集的基本要求。仔细观察图8、图9和图10的右侧植物的中部,在垂直方向上,由于其细节丰富,该处会发生图像混淆,这是由于所采用的场内线性插值去隔行算法在时域上的滤波器是全通的,无法区别基频和谐波分量,通过算法的改进,混淆现象就会减弱。 5 结 论
本文设计了一种基于SOPC的红外图像采集系统,在硬件模块的设计中直接使用了Altera公司的IP核,这不仅保证了系统的可靠与稳定,还降低了系统设计的复杂程度。经过验证,该系统较好地实现了实时红外图像数据的采集、存储、显示,达到了预期效果。在后续中还可以根据所需功能定制不同的数字图像处理算法,充分体现了
SOPC系统设计灵活,集成度高的特点,因此具有更加广泛的应用。 参考文献:
【相关文献】
[1] 李俊山, 杨威, 张雄美. 红外图像处理、分析与融合 [M]. 北京: 科学出版社, 2009: 9-11. [2] 邵亮, 杜歆, 应卓瑜, 等. 基于FPGA的视觉处理系统设计与实现 [J]. 传感技术学报, 2005, 18(1): 63 -65.
SHAO Liang, DU Xin, YING Zhuoyu, et al. Design and implementation of visual processing system based on FPGA [J]. Chinese Journal of Sensors and Actuators, 2005, 18(1): 63-65. [3] 赵耀宏, 向伟, 罗海波, 等. SOPC技术在实时红外图像处理中的应用 [J]. 红外与激光工程, 2005, 34(6): 747-751.
ZHAO Yaohong, XIANG Wei, LUO Haibo, et al. Application of SOPC technology in real-time infrared image processing [J]. Infrared and Laser Engineering, 2005, 34(6): 747-751. [4] 唐京城, 胡海. 基于SOPC的实时红外图像处理系统 [J]. 计算机与数字工程, 2006, 34(7): 168-171.
TANG Jingcheng, HU Hai. SOPC-based real-time infrared image processing system [J]. Computer & Digital Engineering, 2006, 34(7): 168-171.
[5] 王明超, 刘纪洲, 马建国, 等. 基于片上系统的实时红外图像处理器设计 [J]. 激光与红外, 2009, 39(9): 1012-1014.
WANG Mingchao, LIU Jizhou, MA Jianguo, et al. Design of real-time image processor based on SOPC [J]. Laser & Infrared, 2009, 39(9): 1012-1014.
[6] 邓潺, 刘文, 黄彪, 等. 基于多核DSP的微光与红外图像彩色融合系统 [J]. 红外与激光工程, 2014, 43(9): 3141-3145.
DENG Chan, LIU Wen, HUANG Biao, et al. Color fusion system of low-light level and infrared images based on multi-core DSP [J]. Infrared and Laser Engineering, 2014, 43(9): 3141-3145.
[7] 邱翰, 桑农, 李立. 基于Nios II的红外图像处理系统设计 [J]. 微电子学, 2006, 36(2): 241-244. QIU Han, SANG Nong, LI Li. Design of a Nios II-based infrared image processing system [J]. Microelectronics, 2006, 36(2): 241-244.
[8] 沈永格, 李范鸣, 李争. 基于SOPC的红外图像采集系统 [J]. 红外技术, 2010, 32(6): 311-314. SHEN Yongge, LI Fanming, LI Zheng. Infrared image acquisition based on SOPC [J]. Infrared Technology, 2010, 32(6): 311-314.
[9] 罗宁, 方向忠, 张文军. 一种新的用于视频格式转换的中值滤波算法 [J]. 中国图象图形学报A辑, 2003, 8(增刊1): 32-35.
LUO Ning, FANG Xiangzhong, ZHANG Wenjun. A new median filtering algorithm for video format conversion [J]. Journal of Image and Graphics, 2003, 8(S1): 32-35.
[10] 盛磊, 徐科军. 一种彩色空间变换的FPGA实现方法 [J]. 仪器仪表学报, 2005, 26(增刊2): 378-380.
SHENG Lei, XU Kejun. A FPGA implementation of color space conversion [J]. Chinese Journal of Scientific Instrument, 2005, 26(S2): 378-380.
[11] 王骞, 丁铁夫. 高速图像存储系统中SDRAM的实现 [J]. 液晶与显示, 2006, 21(1): 48-52. WANG Qian, DING Tiefu. Realization of SDRAM controller in high-speed image storing system [J]. Chinese Journal of Liquid Crystals and Displays, 2006, 21(1): 48-52.
[12] 刘攀, 王红亮, 孟令军. 基于FPGA的数字图像采集存储系统的设计 [J]. 电视技术, 2010, 34(6): 32 -34.
LIU Pan, WANG Hongliang, MENG Lingjun. Design of digital image acquisition and storage system based on FPGA [J]. Video Engineering, 2010, 34(6): 32-34.
