• 7548阅读
  • 4回复

V4L [复制链接]

上一主题 下一主题
离线charles_gz
 

只看楼主 倒序阅读 楼主  发表于: 2011-02-15
基于V4L2视频采集缓存机制应用与实现


摘要:V4L是Linux针对视频设备的应用程序接口,V4L2为其升级版本,它修复了第一版的很多设计缺陷。然而它提供的常规读写函数并不能满足大数据量的高速传输,所以将缓存技术引入到视频采集领域可以提高系统的吞吐量。提出了一种双帧内存映射视频采集机制,由于不需要做数据拷贝动作,减少了读/写时限,因而可以提高视频采集性能。实验结果表明,采用双帧内存映射机制在视频采集时速度快,效率高,达到了预期的实验效果。
关键词:V4L2;Linux;视频采集;内存映射

0 引言
    V4L(video for linux)是由Alan Cox开发的针对视频设备的应用程序接口(API),开始出现是在Linux 2.1.x版本内核中,可以实现图像采集、AM/FM广播和图像编解码等功能。然而,由于它在扩展性和灵活性上的缺陷,渐渐被Bill Dirks设计出的V4L的升级版本V4L2所替代,V4L2开始是在Linux 2.5.x版本内核中集成的,在对视频设备数据的读/写中,应用程序可以通过read/write方法或者内存映射来获得位于内核空间的图像数据。 read/write方法是将数据在内核空间和用户空间之间进行拷贝,而内存映射使应用程序可以直接访问设备内存,减少了从内核态到用户态的数据拷贝,因而可以显著提高系统的吞吐量,下面讨论视频采集中缓存机制的应用和实现。

1 V4L2的视频采集框架
    V4L2采用了分层架构,应用程序接口为上层,而下层则是视频设备的驱动程序,一般研究领域都是编写上层的应用程序,通过编程接口来控制视频设备完成相应的操作和功能。利用V4L2开发的视频采集程序具有设备无关性,任何支持V4L2的视频采集设备都可以移植此类程序,因而也提高了视频采集程序的可移植性。
    当视频设备连接到主机后,驱动程序会首先注册一个主设备号为81的字符设备,它是硬件惟一的身份标识。驱动程序利用主设备号来识别硬件,而系统内核则是利用主设备号让设备与对应的驱动程序相结合,同时加载驱动程序的成员函数、次设备号以及其他相关信息,使设备可以正常工作。使用表1中的函数可以访问 V4L2设备,也可以在应用程序中直接调用。具体功能如表1所示。



    其中,ioctl函数的功能非常强大,它可以管理设备的I/O通道,设置视频的制式和帧格式,还提供查询当前设备属性的功能,主要的ioctl命令如表2所示。

这些函数原型一般定义在include/linux/videodev2.h或者videodev.h中。
    视频采集的具体过程描述如下:
    (1)打开设备。通过open()函数打开设备文件,返回文件描述符。
    (2)初始化设备。首先通过VIDIOC_QUERYCAP查询设备属性,判断该设备是否为一个合法的视频采集设备,并确定其支持的功能有哪些;然后通过 VIDIOC_S_FMT设置图像的格式,例如图像的大小等;通过VIDIOC_REQBUFS和malloc()分别在内核空间和用户空间分配内存缓冲区;最后通过mmap()函数进行内存映射。
    (3)图像采集循环。首先通过VIDIOC_QBUF将空缓冲区移入待处理队列,准备接收图像数据;然后通过VIDIOC_QBUF将满缓冲区移出已处理队列,进行图像的显示和处理;最后通过VIDIOC_STREAMON和VIDIOC_STREAMOFF启动和停止采集。
    (4)关闭设备。通过close()函数关闭设备文件。

2 双帧缓存数据传输
    在视频采集中,首先在内核空间建立2个图像缓冲区,不断将采集到的图像存放到缓冲区中。当应用程序需要图像时,驱动程序并不做拷贝操作,而是建立内核缓冲区到用户空间的映射,也就是利用mmap()函数,存取其返回的指针,相当于存取内核中的图像缓冲区。由于不需要做额外的复制操作,效率大大提高了,图像采集流程如图1所示。


具体说明如下:
    (1)程序首先使用VIDIOC_REQBUFS向驱动程序请求图像缓冲区,v412_requestbuffers结构体包含了所要求缓冲区的类型及数量,但驱动程序有权决定最后返回的数量,因此程序仍需要使用系统返回的缓冲区数量,在这里程序返回2个缓冲区。
    (2)由于缓冲区数量有2个,调用2次mmap()建立起用户空间和内核空间缓冲区的对应关系,然后读取mmap()所返回的指针就相当于读取图像缓冲区。
    (3)此时驱动程序仍然不能对图像缓冲区做读取,调用2次VIDIOC_QBUF ioctl将缓冲区加入到驱动程序内部的采集序列,之后采集的图像就会被储存到这些缓冲区内。
    (4)调用VIDIOC_STREAM ioctl后,驱动程序开始采集图像,并将图像放置到缓冲区内。
    (5)虽然缓冲区内已经存放有图像了,但直接去读取某个缓冲区还是需要非常小心的,因为缓冲区仍然在驱动程序的图像采集序列中,有可能读取到一半,驱动程序又使用该缓冲区储存新的图像,而图1中的(5)是最后调用VIDIOC_STREAMOFF,以停止图像采集,此时驱动程序会自动将所有缓冲区从图像采集序列中移除,所以不需要手动调用VIDIOC_DQBUF,接着使用munmap()清除所有的存储区映射导致图像前后不一致。因此要在读取缓冲区前,先调用VIDIOC_DQBUG ioctl,通知驱动程序不要使用此缓冲区,在这个阶段中,通常是以如图2所示的顺序来读取每个缓冲区的。


3 实验结果
    当视频采集程序编制完成后需要以模块形式插入内核,再通过make modules对模块进行编译,未采用双帧缓存技术的视频采集帧速为6 f/s,应用本实验的方法可以达到8.3 f/s,视频采集结果截图如图3所示

4 结语
    视频采集是目前远程教学、远程诊断、视频监控和视频会议等技术的基础。在实时性要求越来越高,工作性能越来越突出的今天,采用双帧缓存映射机制可以在数据采集方面实现高速化,满足一般性应用要求,但是,使用内存映射现在还存在2个限制:一是面向流的设备不能使用内存映射,如串口;二是映射区域的起始地址和大小都必须是PAGE_SIZE的整数倍,即内存映射是以PAGE_SIZE为单位进行操作的。这些都是后期研究中需要解决的问题



离线voidbroken

只看该作者 1楼 发表于: 2011-02-21
mark
离线voidbroken

只看该作者 2楼 发表于: 2011-02-25

小图 | 大图 图片

  • V4L - QTCN开发网
  • V4L - QTCN开发网
  • V4L - QTCN开发网
  • V4L - QTCN开发网
  • V4L - QTCN开发网
离线charles_gz

只看该作者 3楼 发表于: 2011-03-13
这位灰太狼哥们  你那有没有可以录制视频而且可以播放出来的代码吗?是否可以分享?
离线gfreezy
只看该作者 4楼 发表于: 2011-03-14
自己参考网上的代码写出来的。
主界面直接显示摄像头图像。
附件: camera.tar.gz (431 K) 下载次数:56
快速回复
限100 字节
 
上一个 下一个