【正点原子FPGA连载】第四十一章OV5640摄像头RGB-LCD显示实验 -摘自【正点原子】新起点之FPGA开发指南_V2.1

1）实验平台：正点原子新起点V2开发板 2）平台购买地址：https://detail.tmall.com/item.htm?id=609758951113 2）全套实验源码+手册+视频下载地址：http://www.openedv.com/thread-300792-1-1.html 3）对正点原子FPGA感兴趣的同学可以加群讨论：994244016 4）关注正点原子公众号，获取最新资料更新

第四十一章OV5640摄像头RGB-LCD显示实验

OV5640同OV7725一样，都是OmniVision（豪威科技）公司生产的CMOS图像传感器。不同的是，OV5640支持更高的分辨率、采集速率，具有更高的图像处理性能，主要应用在手机、数码相机、电脑多媒体等领域。本章将使用FPGA开发板实现对OV5640的数字图像采集并通过LCD实时显示。 本章包括以下几个部分： 4040.1简介 40.2实验任务 40.3硬件设计 40.4程序设计 40.5下载验证

41.1简介

OV5640是一款1/4英寸单芯片图像传感器，其感光阵列达到25921944（即500W像素），能实现最快15fps QSXVGA（25921944）或者90fps VGA（640*480）分辨率的图像采集。传感器采用OmniVision推出的OmniBSI（背面照度）技术，使传感器达到更高的性能，如高灵敏度、低串扰和低噪声。传感器内部集成了图像处理的功能，包括自动曝光控制（AEC）、自动白平衡（AWB）等。同时该传感器支持LED补光、MIPI（移动产业处理器接口）输出接口和DVP（数字视频并行）输出接口选择、ISP（图像信号处理）以及AFC（自动聚焦控制）等功能。 OV5640的功能框图如下图所示：

图 41.1.1 OV5640功能框图 由上图可知，时序发生器（timing generator）控制着感光阵列（image array）、放大器（AMP）、AD转换以及输出外部时序信号（VSYNC、HREF和PCLK），外部时钟XVCLK经过PLL锁相环后输出的时钟作为系统的控制时钟；感光阵列将光信号转化成模拟信号，经过增益放大器之后进入10位AD转换器；AD转换器将模拟信号转化成数字信号，并且经过ISP进行相关图像处理，最终输出所配置格式的10位视频数据流。增益放大器控制以及ISP等都可以通过寄存器（registers）来配置，配置寄存器的接口就是SCCB接口，该接口协议兼容IIC协议。 OV5640使用的是两线式SCCB接口总线，有关SCCB总线的详细介绍可以参考“OV7725摄像头RGB-LCD显示实验”中OV7725简介部分。虽然OV5640和OV7725都是采用SCCB接口总线来配置寄存器，但不同的是，OV7725是用8位（1个字节）来表示寄存器地址，而OV5640是用16位（两个字节）表示寄存器地址。 OV5640 SCCB的写传输协议如下图所示：

图 41.1.2 SCCB写传输协议 上图中的ID ADDRESS是由7位器件地址和1位读写控制位构成（0：写 1：读），OV5640的器件地址为7’h3c，所以在写传输协议中，ID Address（W）= 8’h78（器件地址左移1位，低位补0）；Sub-address(H)为高8位寄存器地址，Sub-address(L)为低8位寄存器地址，在OV5640众多寄存器中，有些寄存器是可改写的，有些是只读的，只有可改写的寄存器才能正确写入；Write Data为8位写数据，每一个寄存器地址对应8位的配置数据。 在OV5640正常工作之前，必须先对传感器进行初始化，即通过配置寄存器使其工作在预期的工作模式，以及得到较好画质的图像。因为SCCB的写传输协议和IIC几乎相同，因此我们可以直接使用IIC的驱动程序来配置摄像头。当然这么多寄存器也并非都需要配置，很多寄存器可以采用默认的值。OV公司提供了OV5640的软件应用手册（OV5640 Software Application Note，位于开发板所随附的资料“7_硬件资料/4_OV5640资料/OV5640_camera_module_software_application_notes.pdf”），如果某些寄存器不知道如何配置可以参考此手册，下表是本程序用到的关键寄存器的配置说明。 表 41.1.1 OV5640关键寄存器配置说明

OV5640的寄存器较多，对于其它寄存器的描述可以参OV5640的数据手册。需要注意的是，OV5640的数据手册并没有提供全部的寄存器描述，而大多数必要的寄存器配置在ov5640的软件应用手册中可以找到，可以结合这两个手册学习如何对OV5640进行配置。 1）输出图像参数设置 接下来，我们介绍一下OV5640的ISP输入窗口设置、预缩放窗口设置和输出大小窗口设置，这几个设置与我们的正常使用密切相关，有必要了解一下，它们的设置关系如下图所示：

图 41.1.3 图像窗口设置 ISP输入窗口设置（ISP Input Size）允许用户设置整个传感器显示区域（physical pixel size，26321951，其中25921944像素是有效的），开窗范围从00~26321951都可以任意设置。也就是上图中的X_ADDR_ST（寄存器地址0x3800、0x3801）、Y_ADDR_ST（寄存器地址0x3802、0x3803）、X_ADDR_END（寄存器地址0x3804、0x3805）和Y_ADDR_END（寄存器地址0x3806、0x3807）寄存器。该窗口设置范围中的像素数据将进入ISP进行图像处理。 预缩放窗口设置（pre-scaling size）允许用户在ISP输入窗口的基础上进行裁剪，用于设置将进行缩放的窗口大小，该设置仅在ISP输入窗口内进行X/Y方向的偏移。可以通过X_OFFSET（寄存器地址0x3810、0x3811）和Y_OFFSET（寄存器地址0x3812、0x3813）进行配置。 输出大小窗口设置（data output size）是在预缩放窗口的基础上，经过内部DSP进行缩放处理，并将处理后的数据输出给外部的图像窗口，图像窗口控制着最终的图像输出尺寸。可以通过X_OUTPUT_SIZE（寄存器地址0x3808、0x3809）和Y_OUTPUT_SIZE（寄存器地址0x380A、0x380B）进行配置。注意：当输出大小窗口与预缩放窗口比例不一致时，图像将进行缩放处理（图像变形），仅当两者比例一致时，输出比例才是1:1（正常图像）。 图 41.1.3 图像窗口设置中，右侧data output size区域，才是OV5640输出给外部的图像尺寸，也就是显示在显示器或者液晶屏上面的图像大小。输出大小窗口与预缩放窗口比例不一致时，会进行缩放处理，在显示器上面看到的图像将会变形。 16)输出像素格式 OV5640支持多种不同的数据像素格式，包括YUV（亮度参量和色度参量分开表示的像素格式）、RGB（其中RGB格式包含RGB565、RGB555等）以及RAW（原始图像数据），通过寄存器地址0x4300配置成不同的数据像素格式。 由于摄像头采集的图像最终要通过LCD显示，故我们将OV5640摄像头输出的图像像素数据配置成RGB565格式。由上表（表 41.1.1）可知，将寄存器0x4300寄存器的Bit[7:4]设置成0x6即可。OV5640支持调节RGB565输出格式中各颜色变量的顺序，对于我们常见的应用来说，一般是使用RGB或BGR序列。我们在“OV7725摄像头RGB-LCD显示实验”的章节中介绍过，OV7725摄像头按照RGB的顺序输出，本章我们将OV5640输出的RGB565的颜色顺序和OV7725保持一致，将寄存器0x4300寄存器的Bit[3:0]设置成0x1。因此，“OV7725摄像头RGB-LCD显示实验”章节中的图像采集模块可以直接用来采集OV5640输出的图像。 17)彩条测试模式 图像传感器配置成彩条测试模式后，会输出彩色的条纹，方便测试图像传感器是否正常工作，通过配置寄存器0x503d的Bit[7]位打开和关闭彩条模式。当需要打开彩条模式时，寄存器0x503d配置成0x80，关闭时配置成0x00，下图为打开彩条模式后图像输出的条纹。

图 41.1.4 彩条模式下的图像条纹 18)LED闪光灯 当外界环境光较暗时，传感器采集图像会受到较大影响，此时可以通过打开LED补光灯来弥补光照不足所带来的影响，就像手机在夜晚拍照时也会打开闪光灯来提高图像质量。通过配置寄存器0x3016=0x02，0x301c=0x02来使能LED补光灯功能；配置寄存器0x3019=0x02打开闪光灯，0x3019=0x00关闭闪光灯。 19)图像输出时序 接下来，我们介绍一下OV5640的图像数据输出时序，首先我们简单介绍一些定义。 QSXGA，这里指：分辨率为25921944的输出格式，类似的还有：QXGA(20481536）、UXGA(16001200）、SXGA(12801024）、WXGA(1440900）、WXGA(1280800）、XGA(1024768）、SVGA(800600）、VGA(640480）、QVGA(320240）和QQVGA(160120)等。 PCLK：像素时钟，一个PCLK时钟输出一个像素或者半个像素（像素数据的高8位或者低8位）。 VSYNC：帧同步信号。 HREF/HSYNC：行同步信号。 D[9:0]：像素数据，在RGB565格式中，只有高8位是有效的。 tPclk：一个时钟周期 。 tp：一个像素点的周期，在RGB565和YUV422输出格式下，tp=2tPclk；Raw输出格式下，tp=tPclk。 下图为OV5640输出图像数据的行时序图。

图 41.1.5 OV5640行时序图 从上图可以看出，传感器在HREF为高电平的时候输出图像数据，当HREF变高后，每一个 PCLK时钟，输出一个8位或者10位像素数据。比如我们采用QSXGA时序，RGB565格式输出，tp=2tPclk，每2个字节组成一个像素的颜色，这样每行总共输出25922个PCLK，也就是25922个字节。 再来看看帧时序（QSXGA模式，分辨率25921944），如下图所示：

图 41.1.6 OV5640 QSXGA帧时序 由上图可知，VSYNC的上升沿作为一帧的开始，高电平同步脉冲的时间为5688tp，紧接着等待48276tp时间后，HREF开始拉高，此时输出有效数据；HREF由2592tp个高电平和252tp个低电平构成；最后一行图像数据输出完成之后等待14544tp时间，一帧数据传输结束。所以输出一帧图像的时间实际上是tFrame = 5596992tp。 从OV5640的行时序图和帧时序图可以发现，其输出时序和OV7725是非常相似的，只是时间参数不同而已，大家可以参考“OV7725摄像头RGB-LCD显示实验”中帧时序的介绍来学习OV5640的输出时序。 41.2实验任务 本节实验任务是使用新起点开发板及OV5640摄像头实现图像采集，并通过RGB-LCD接口驱动RGB-LCD液晶屏（支持目前正点原子推出的所有RGB-LCD屏），并实时显示出图像。 41.3硬件设计 我们的新起点FPGA开发板上有一个摄像头扩展接口，该接口可以用来连接OV7725/OV5640等摄像头模块，摄像头扩展接口原理图如下图所示：

图 41.3.1 摄像头扩展接口原理图 ATK-OV5640是正点原子推出的一款高性能500W像素高清摄像头模块。该模块通过2*9排针（2.54mm间距）同外部连接，我们将摄像头的排针直接插在开发板上的摄像头接口即可，模块外观如图 41.3.2所示：

图 41.3.2 OV5640摄像头连接开发板图 从图 41.3.2可以看出，模块自带有源晶振，用于产生24MHz时钟作为OV5640的输入时钟。模块的闪光灯（LEDI&LED2）由OV5640的STROBE引脚控制，用户可通过SCCB接口总线控制STROBE引脚输出高低电平，从而控制LED闪光灯的亮灭。用户在使用LED灯时不建议一直点亮或者点亮时间太长。因为LED闪光灯功率较高，发光强度较强，模块温度上升会比较快，会造成器件的可靠性降低，同时注意避免直接照射人眼。 我们在前面说过，OV5640在RGB565模式下只有高8位数据是有效的即D[9:2]，而我们的摄像头排针上数据引脚的个数是8位。实际上，摄像头排针上的8位数据连接的就是OV5640传感器的D[9:2]，所以我们直接使用摄像头排针上的8位数据引脚即可。 由于LCD接口和SDRAM引脚数目较多且在前面相应的章节中已经给出它们的管脚列表，这里只列出摄像头相关管脚分配，如下表所示： 表 41.3.1 OV5640摄像头管脚分配

摄像头TCL约束文件如下： set_location_assignment PIN_T14 -to cam_data[7] set_location_assignment PIN_R14 -to cam_data[6] set_location_assignment PIN_N6 -to cam_data[5] set_location_assignment PIN_P6 -to cam_data[4] set_location_assignment PIN_M8 -to cam_data[3] set_location_assignment PIN_N8 -to cam_data[2] set_location_assignment PIN_P8 -to cam_data[1] set_location_assignment PIN_K9 -to cam_data[0] set_location_assignment PIN_M9 -to cam_href set_location_assignment PIN_R13 -to cam_pclk set_location_assignment PIN_R12 -to cam_pwdn set_location_assignment PIN_L9 -to cam_rst_n set_location_assignment PIN_N9 -to cam_scl set_location_assignment PIN_L10 -to cam_sda set_location_assignment PIN_P9 -to cam_vsync 41.4程序设计 图 41.4.1是根据本章实验任务画出的系统框图。PLL时钟模块为I2C驱动模块、LCD顶层模块以及SDRAM控制器模块提供驱动时钟；I2C驱动模块和I2C配置模块、图像尺寸配置模块用于初始化OV5640图像传感器；摄像头采集模块负责采集摄像头图像数据，并且把图像数据写入SDRAM读写控制模块；SDRAM读写控制模块负责将用户数据写入和读出片外SDRAM存储器中；LCD顶层模块负责驱动RGB TFT-LCD显示屏。 OV5640摄像头RGB TFT-LCD显示系统框图如下图所示：

图 41.4.1 OV5640摄像头RGB TFT-LCD显示系统框图 顶层模块的原理图如下图所示：

图 41.4.2 顶层模块原理图 由上图可知，I2C配置模块和I2C驱动模块控制着传感器初始化的开始与结束，传感器初始化完成后图像采集模块将采集到的数据写入SDRAM读写控制模块，LCD模块从SDRAM控制模块中读出数据，完成了数据的采集、缓存与显示。其中图像数据采集模块是在SDRAM和传感器都初始化完成之后才开始输出数据的，避免了在SDRAM初始化过程中向里面写入数据。 FPGA顶层模块（ov5640_rgb565_lcd）例化了以下六个模块：PLL时钟模块（pll_clk）、I2C驱动模块（i2c_dri）、I2C配置模块（i2c_ov5640_rgb565_cfg）、摄像头图像采集模块（cmos_capture_data）、图像尺寸配置模块（picture_size）、SDRAM读写控制模块（sdram_top）和LCD顶层模块（lcd_rgb_top）。 PLL时钟模块（pll_clk）：PLL时钟模块通过调用锁相环（PLL）IP核实现，总共输出3个时钟，频率分别为100Mhz、100Mhz（SDRAM相位偏移时钟）和50Mhz（LCD分频用）时钟。100Mhz时钟和100Mhz相位偏移时钟作为SDRAM读写控制模块的驱动时钟，最后一个50Mhz时钟作为LCD顶层模块的驱动时钟。 I2C驱动模块（i2c_dri）：I2C驱动模块负责驱动OV5640 SCCB接口总线，用户可根据该模块提供的用户接口对OV5640的寄存器进行配置，该模块和“EEPROM读写实验”章节中用到的I2C驱动模块为同一个模块，有关该模块的详细介绍请大家参考“EEPROM读写实验”章节。 I2C配置模块（i2c_ov5640_rgb565_cfg）：I2C配置模块的驱动时钟是由I2C驱动模块输出的时钟提供的，这样方便了I2C驱动模块和I2C配置模块之间的数据交互。该模块寄存需要配置的寄存器地址、数据以及控制初始化的开始与结束，同时该模块输出OV5640的寄存器地址和数据以及控制I2C驱动模块开始执行的控制信号，直接连接到I2C驱动模块的用户接口，从而完成对OV5640传感器的初始化。OV7725和OV5640寄存器配置时序非常相似，有关该模块的详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。 摄像头图像采集模块（cmos_capture_data）：摄像头采集模块在像素时钟的驱动下将传感器输出的场同步信号、行同步信号以及8位数据转换成SDRAM读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。OV7725和OV5640图像输出时序非常相似，有关该模块的详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。 图像尺寸配置模块（picture_size）：图像尺寸配置模块用于配置摄像头输出图像尺寸的大小，以及设置摄像头输出图像的帧率（每秒输出图像的帧数），此外还完成了SDRAM的读写结束地址设置。 SDRAM读写控制模块（sdram_top）：SDRAM读写控制器模块负责驱动SDRAM片外存储器，缓存图像传感器输出的图像数据。该模块将SDRAM复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。有关该模块的详细介绍请大家参考“SDRAM读写测试实验”章节，修改部分请大家参考“OV7725摄像头RGB-LCD显示实验”章节。 LCD顶层模块（lcd_rgb_top）：LCD顶层模块下例化了以下三个模块：读ID模块（rd_id）、分频模块（clk_div）、LCD驱动模块（lcd_driver）。 读ID模块（rd_id）：读ID模块用于读取连接到开发板上的LCD的ID。 分频模块（clk_div）：分频模块用于输出驱动LCD所需要的时钟。由于不同尺寸/分辨率RGB LCD的驱动时钟频率是不一样的，该模块实现不同LCD的驱动时钟适配。 LCD驱动模块（lcd_driver）：LCD驱动模块负责驱动LCD液晶屏，该模块通过读取SDRAM读写控制模块来输出像素数据，本次实验将LCD驱动模块的内部信号data_req（数据请求信号）输出至端口，方便从SDRAM控制器中读取数据。有关LCD驱动模块的详细介绍请大家参考“RGB-LCD彩条显示实验”章节。 下面是顶层模块中参数设置需要注意的地方，顶层模块参数设置代码如下：

34  //parameter define
35  parameter SLAVE_ADDR = 7'h3c          ; //OV5640的器件地址7'h3c
36  parameter BIT_CTRL   = 1'b1           ; //OV5640的字节地址为16位  0:8位 1:16位
37  parameter CLK_FREQ   = 27'd50_000_000 ; //i2c_dri模块的驱动时钟频率 
38  parameter I2C_FREQ   = 18'd250_000    ; //I2C的SCL时钟频率,不超过400KHz

在代码的第35行定义了OV5640的器件地址，其器件地址为7’h3c；第36行定义了寄存器地址的位宽，BIT_CTRL=0表示地址位宽为8位，BIT_CTRL=1表示地址位宽为16位。因为OV5640的地址位宽为16位，所以BIT_CTRL设置为1。 下面是顶层模块里锁相环例化部分：

82  //锁相环
83  pll u_pll(
84      .areset             (~sys_rst_n),
85      .inclk0             (sys_clk),
86              
87      .c0                 (clk_100m),
88      .c1                 (clk_100m_shift),
89      .c2                 (clk_50m_lcd),
90      .locked             (locked)
91      );

在代码的第89行输出了一个50Mhz的时钟clk_50m_lcd，作为LCD顶层模块和I2C驱动模块（i2c_dri）的驱动时钟。 为了适配现有的RGB LCD屏幕，我们对I2C配置模块的端口部分进行了修改：

104 //I2C配置模块
105 i2c_ov5640_rgb565_cfg u_i2c_cfg(
106     .clk                (i2c_dri_clk),
107     .rst_n              (rst_n),
108             
109     .i2c_exec           (i2c_exec),
110     .i2c_data           (i2c_data),
111     .i2c_rh_wl          (i2c_rh_wl),        //I2C读写控制信号
112     .i2c_done           (i2c_done), 
113     .i2c_data_r         (i2c_data_r),   
114                 
115     .cmos_h_pixel       (cmos_h_pixel),     //CMOS水平方向像素个数
116     .cmos_v_pixel       (cmos_v_pixel) ,    //CMOS垂直方向像素个数
117     .total_h_pixel      (total_h_pixel),    //水平总像素大小
118     .total_v_pixel      (total_v_pixel),    //垂直总像素大小
119         
120     .init_done          (cam_init_done) 
121     );   

在本实验中，cmos_h_pixel、cmos_v_pixel这两个配置需要依据LCD尺寸的大小而改变。此外，total_h_pixel及total_v_pixel的参数也需要进行配置，它们会影响到输出图像的帧率。 在顶层模块中例化了图像尺寸配置模块（picture_size），它输出了上一段提到的四个变量的具体数值：

93  //摄像头图像分辨率设置模块
94  picture_size u_picture_size (
95      .clk                (clk_50m_lcd   ),
96      .rst_n              (rst_n         ),
97      .id_lcd             (lcd_id        ),   //LCD的ID，用于配置摄像头的图像大小                        
98      .cmos_h_pixel       (cmos_h_pixel  ),   //摄像头水平方向分辨率 
99      .cmos_v_pixel       (cmos_v_pixel  ),   //摄像头垂直方向分辨率  
100     .total_h_pixel      (total_h_pixel ),   //用于配置HTS寄存器
101     .total_v_pixel      (total_v_pixel ),   //用于配置VTS寄存器
102     .sdram_max_addr     (sdram_max_addr)    //sdram读写的最大地址
103     );

模块内部的代码如下：

1   module picture_size (
2       input              rst_n         ,
3       input              clk           ,         
4       input       [15:0] id_lcd        ,
5               
6       output reg  [12:0] cmos_h_pixel  ,
7       output reg  [12:0] cmos_v_pixel  ,   
8       output reg  [12:0] total_h_pixel ,
9       output reg  [12:0] total_v_pixel ,
10      output reg  [23:0] sdram_max_addr
11  );
12  
13  //parameter define
14  parameter  ID_4342 =   16'h4342;
15  parameter  ID_7084 =   16'h7084;
16  parameter  ID_7016 =   16'h7016;
17  parameter  ID_1018 =   16'h1018;
18  
19  //*****************************************************
20  //**                    main code                      
21  //*****************************************************
22  
23  //配置摄像头输出尺寸的大小
24  always @(posedge clk or negedge rst_n) begin 
25      if(!rst_n) begin
26          cmos_h_pixel