• 115阅读
  • 0回复

监控28181连接到云服务器/推流分发/客户端网页端手机端拉流/实时性好极低延迟 [复制链接]

上一主题 下一主题
离线liudianwu
 

只看楼主 倒序阅读 楼主  发表于: 07-12


## 一、前言说明
现在越来越多的场景是需要通过28181进行联网的,监控设备端基本的也都会支持28181协议,从2010年到2014年这个阶段主流还是onvif,由于无法方便的和外网连接,逐渐变成非主流,局域网用onvif没问题,广域网基本上要靠28181,近期接触到的项目也基本上都是需要通外网,用户需要在其他外网访问到监控摄像头,所以需要一个方案,提供一个云端服务器比如阿里云,然后上面有28181服务端,监控设备上面填好对应的服务地址,自动连到服务器,然后服务器上的程序负责收流后推流分发,对外提供rtsp/rtmp/http/flv/webrtc等方式拉流,至于是在电脑客户端还是网页端还是手机端,都可以正常拉流显示

之前已经用纯qt底层udp/tcp协议,实现了28181服务端,废了很大的精力,并没有采用exosip等第三方开源库,而是从最底层一点点实现的,最关键的是把国标28181协议文档阅读几遍,先打通整体通信流程,然后逐个实现具体的协议交互。整个程序做下来,极大加深了对整个协议的理解深度,后面无论是gb28181-2020还是未来的2026啥的,都可以非常快速的加入支持,整个协议已经烂熟于胸。

除了28181服务端已经实现了,推流也是早就实现了,用的ffmpeg做推流,用zlm或者mediamtx做流媒体服务,监控系统客户端也是非常成熟的,都是Qt实现的,于是现在一整套下来,都是纯Qt开发的,目前市面上估计也就仅有的一整套方案全是Qt做的。这是要把Qt发扬光大?

## 二、效果图




## 三、相关地址
1. 国内站点:[https://gitee.com/feiyangqingyun](https://gitee.com/feiyangqingyun)
2. 国际站点:[https://github.com/feiyangqingyun](https://github.com/feiyangqingyun)
3. 个人作品:[https://blog.csdn.net/feiyangqingyun/article/details/97565652](https://blog.csdn.net/feiyangqingyun/article/details/97565652)
4. 文件地址:[https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g](https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g) 提取码:01jf 文件名:bin_video_gb28181。

## 四、功能特点
1. 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
2. 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
3. 设备上线后自动获取设备通道信息,包括中文通道名称。识别到通道上线离线变化,会重新获取该设备的所有通道信息。
4. 支持视频点播,可以分别点播主码流和子码流,内置rtp解包线程,解包后发给视频播放组件解码播放。
5. 每个设备每个通道支持点播多个视频,通过ssrc区分,支持共用端口和不同端口收流。
6. 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
7. 支持录像文件查询和回放,回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
8. 支持录像文件下载,支持倍速比如8倍速下载,可同时多线程批量下载。
9. 回放和下载同时支持IPC和NVR,比如摄像头自带的SD存储卡录像文件回放,NVR上的硬盘录像文件回放。
10. 支持云台控制,向上、向下、向左、向右、左上、右上、左下、右下方位移动,镜头放大缩小,光圈放大缩小,镜头聚焦放焦。
11. 支持预置位信息的查询、调用、添加、修改、删除等操作。
12. 自动目录订阅功能,通道上线下线都有对应的信号通知。
13. 内置定时读取通道信息机制,以保证通道信息是最新的,比如有些NVR是不断更新的通道信息。
14. 内置订阅警情和位置移动功能,订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
15. 支持语音对讲功能,可以直接在视频窗体的悬浮条上单击语音对讲按钮,再次单击关闭对讲,对讲期间悬浮条常驻显示。
16. 支持设备布防撤防,布防后警情信息会主动上报。
17. 国标服务同时支持udp和tcp方式,可选只监听一种或者两种都监听,tcp方式自动处理粘包问题。
18. 国标拉流同时支持udp、tcp被动、tcp主动三种方式,每个通道都可以自由选择何种拉流方式。
19. 内置拉流端口池,每次拉流从中取出一个,关闭流自动回收端口号,重复利用。
20. 收流端口自动纠错,自动跳过被占用的端口,不会出现端口占用导致收流失败的情况。
21. 支持三种取流方式自动检测离线重连,检测到离线后,自动重启点播拉流整个流程。
22. 录像文件回放,上一个完成后自动切换到下一个继续回放,直到所有回放完成。支持高达8倍速回放。
23. 视频播放自适应硬解码,极低资源占用,实时性极好,带悬浮条显示视频流信息,可以直接在悬浮条单击按钮保存录像文件到本地。
24. 支持几千路国标消息交互并发,实时视频流支持64路同时显示,可以拓展更多路数。
25. 支持阿里云等云服务器,可以分别设置内网监听地址和外网访问地址,一般云服务器上是监听地址用内网,对外访问用外网地址。
26. 支持视频分发,也就是推流,视频通道打开后可以自动推流到流媒体服务器,其他需要的地方拉流即可,支持rtsp、rtmp、hls、webrtc等方式拉流。
27. 实时预览和录像回放都支持推流,推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果,支持多个水印同时叠加。
28. 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
29. SIP解析和交互采用纯Qt底层代码实现,udp/tcp通信交互,祖传原创代码解析,不依赖任何第三方。
30. 代码量少,gb28181交互部分共几千行代码,注释详细,接口友好,使用极其简单,提供非常详细的使用示例。
31. 支持海康、大华、宇视、华为、天地伟业等所有国标设备,包括一些没有ssrc的设备。
32. 支持所有Qt版本和编译器以及操作系统,包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

## 五、相关代码
```cpp
#include "rtphelper.h"
#include "rtpthreadreceive.h"
#include "rtpthreadsend.h"
#include "gb28181widget.h"
#include "gb28181widgetmanage.h"
#include "gb28181server.h"
#include "urlhelper.h"

bool GB28181Widget::checkSsrc = true;
GB28181Widget::GB28181Widget(QWidget *parent) : VideoWidget(parent)
{
    server = NULL;
    this->speed = 1;
    this->profile = 1;
    this->mode = TransmitMode_UdpServer;

    //创建视频解码线程
    rtpVideo = new RtpThreadReceive;
    rtpVideo->setProperty("running", false);
    connect(rtpVideo, SIGNAL(openOk(int)), this, SLOT(openOk(int)));
    connect(rtpVideo, SIGNAL(receiveData(QByteArray, qint64)), this, SLOT(receiveData(QByteArray, qint64)));

    //创建音频发送线程
    rtpAudio = new RtpThreadSend;
    connect(rtpAudio, SIGNAL(openOk(int)), this, SLOT(openOk(int)));

    //关联视频窗体信号槽
    connect(this, SIGNAL(sig_receivePlayStart(int)), this, SLOT(receivePlayStartx(int)));
    connect(this, SIGNAL(sig_receivePlayFinsh()), this, SLOT(receivePlayFinshx()));
}

void GB28181Widget::initPara(int scaleMode, int videoMode, int videoCore, int decodeType, const QString &hardware, int readTimeout, bool call, bool download)
{
    GB28181WidgetManage::initPara(this, scaleMode, videoMode, videoCore, decodeType, hardware, readTimeout, call, download);
}

void GB28181Widget::clearPara()
{
    this->ssrcVideo = "";
    this->ssrcAudio = "";
    this->deviceId = "";
    this->channelId = "";
    this->startTime = "";
    this->endTime = "";
}

qint64 GB28181Widget::getPts() const
{
    return rtpVideo->getPts();
}

RtpThreadReceive *GB28181Widget::getThread() const
{
    return this->rtpVideo;
}

QString GB28181Widget::getSsrcVideo() const
{
    return this->ssrcVideo;
}

QString GB28181Widget::getSsrcAudio() const
{
    return this->ssrcAudio;
}

QString GB28181Widget::getDeviceId() const
{
    return this->deviceId;
}

QString GB28181Widget::getChannelId() const
{
    return this->channelId;
}

void GB28181Widget::setServer(GB28181Server *server)
{
    this->server = server;
    connect(server, SIGNAL(startVideo(QString, int, QString, QString, QString, int, int)), this, SLOT(startVideo(QString, int, QString, QString, QString, int, int)), Qt::UniqueConnection);
    connect(server, SIGNAL(startAudio(QString, int, QString, QString, QString, int, int)), this, SLOT(startAudio(QString, int, QString, QString, QString, int, int)), Qt::UniqueConnection);
}

void GB28181Widget::setPara(float speed, int profile, TransmitMode mode, const QString &serverIp, const QString &pushUrl, PlayType playType)
{
    this->speed = speed;
    this->profile = profile;
    this->mode = mode;
    this->serverIp = serverIp;
    this->pushUrl = pushUrl;
    this->playType = playType;
    this->setSpeed(speed);
}

void GB28181Widget::setTime(const QString &startTime, const QString &endTime)
{
    this->startTime = startTime;
    this->endTime = endTime;
}

void GB28181Widget::openVideo(const QString &deviceId, const QString &channelId)
{
    this->deviceId = deviceId;
    this->channelId = channelId;

    //启动阶段先要停止
    if (rtpVideo->isRunning()) {
        rtpVideo->stop();
    }

    //从端口池中取出一个端口
    lastPort = RtpHelper::takePort();
    rtpVideo->setProperty("running", true);
    rtpVideo->setPara(serverIp, lastPort, serverIp, lastPort, mode);
    rtpVideo->start();
}

bool GB28181Widget::closeVideo(const QString &deviceId, const QString &channelId, const QString &ssrc)
{
    if (this->deviceId != deviceId) {
        return false;
    }

    if (!channelId.isEmpty() && this->channelId != channelId) {
        return false;
    }

    if (!ssrc.isEmpty() && this->ssrcVideo != ssrc) {
        return false;
    }

    this->stop();
    return true;
}

void GB28181Widget::appendAudio(const QByteArray &data)
{
    rtpAudio->append(data);
}

void GB28181Widget::openAudio(const QString &deviceId, const QString &channelId)
{
    //启动阶段先要停止
    if (rtpAudio->isRunning()) {
        rtpAudio->stop();
    }

    //从端口池中取出一个端口
    lastPort = RtpHelper::takePort();
    rtpAudio->setPara(serverIp, lastPort, serverIp, lastPort, mode);
    rtpAudio->start();
}

bool GB28181Widget::closeAudio(const QString &deviceId, const QString &channelId, const QString &ssrc)
{
    if (this->deviceId != deviceId) {
        return false;
    }

    if (!channelId.isEmpty() && this->channelId != channelId) {
        return false;
    }

    if (!ssrc.isEmpty() && this->ssrcAudio != ssrc) {
        return false;
    }

    //停止语音对讲和发流线程
    server->bye(deviceId, channelId, ssrcAudio);
    rtpAudio->stop();
    return true;
}

void GB28181Widget::closeEvent(QCloseEvent *)
{
    this->stop();
}

void GB28181Widget::openOk(int port)
{
    //收流端口打开成功才能继续点播
    lastPort = port;
    if (sender() == rtpVideo) {
        bool playback = (playType == PlayType_Playback);
        ssrcVideo = server->invite(deviceId, channelId, port, startTime, endTime, speed, profile, mode, playback);
    } else {
        server->broadcast(deviceId, channelId, port);
    }
}

void GB28181Widget::receiveData(const QByteArray &data, qint64 ssrc)
{
    if (videoThread) {
#if (QT_VERSION >= QT_VERSION_CHECK(5,0,0))
        videoThread->appendData(data);
#else
        QMetaObject::invokeMethod(videoThread, "appendData", Q_ARG(QByteArray, data));
#endif
    }
}

void GB28181Widget::startVideo(const QString &host, int port, const QString &deviceId, const QString &channelId, const QString &ssrc, int transmitMode, int transmitPort)
{
    //过滤下是不是当前窗体
    if (this->deviceId != deviceId || this->channelId != channelId || transmitMode != mode) {
        return;
    }

    //有些设备并没有按照下发的ssrc作为标识/而是自己定义的/这里就需要去掉这个判断
    if (checkSsrc && this->ssrcVideo != ssrc) {
        return;
    }

    //qDebug() << TIMEMS << "startVideo" << mode << host << port << deviceId << channelId << ssrc << transmitMode << transmitPort;
    if (mode == TransmitMode_TcpClient) {
        rtpVideo->setPara(serverIp, lastPort, host, transmitPort, mode);
        rtpVideo->setOk(true);
    }

    //打开视频接收流数据/设置是否禁用解码/仅推流不需要解码/极大减少资源占用
    if (!this->getIsRunning()) {
        this->open(QString("stream://%1_%2").arg(deviceId).arg(channelId));
        this->getVideoThread()->setDisableDecode(this->property("disableDecode").toBool());
    }
}

void GB28181Widget::startAudio(const QString &host, int port, const QString &deviceId, const QString &channelId, const QString &ssrc, int transmitMode, int transmitPort)
{
    //过滤下是不是当前窗体
    if (this->deviceId != deviceId || this->channelId != channelId) {
        return;
    }

    ssrcAudio = ssrc;
    rtpAudio->setPara(serverIp, lastPort, host, transmitPort, transmitMode, ssrc);
    rtpAudio->setOk(true);
}

void GB28181Widget::receivePlayStartx(int)
{
    //设置播放速度
    this->setSpeed(speed);

    //执行保存文件或推流
    if (playType == PlayType_Download) {
        QString date = startTime.left(10);
        QString start = startTime.mid(11).replace(":", "-");
        QString end = endTime.mid(11).replace(":", "-");
        QString name = QString("%1_%2_%3_%4_%5.mp4").arg(deviceId).arg(channelId).arg(date).arg(start).arg(end);
        this->getVideoThread()->recordStart(qApp->applicationDirPath() + "/video/" + name);
    } else if (!pushUrl.isEmpty()) {
        QString url = this->getVideoPara().mediaUrl.mid(9);
        url = pushUrl + "/" + url + "_" + ssrcVideo;
        this->getVideoThread()->recordStart(url);

        //要转成外网地址才能正常访问
        QString ip = UrlHelper::getUrlIP(url);
        GB28181ServerPara para = server->getServerPara();
        url.replace(ip, para.serverHost);
        emit pushStart(this, url);
    }
}

void GB28181Widget::receivePlayFinshx()
{
    //判断唯一标识/一个通道可能打开了多个流/只需要关闭当前窗体对应的流
    if (!ssrcVideo.isEmpty()) {
        rtpVideo->setProperty("running", false);
        server->bye(deviceId, channelId, ssrcVideo);
        rtpVideo->stop();
    }

    if (!ssrcAudio.isEmpty()) {
        server->bye(deviceId, channelId, ssrcAudio);
        rtpAudio->stop();
    }

    if (!deviceId.isEmpty() && !channelId.isEmpty()) {
        emit pushStop(deviceId, channelId);
    }

    this->clearPara();
}
```
欢迎关注微信公众号:Qt实战/Qt入门和进阶(各种开源作品、经验整理、项目实战技巧,专注Qt/C++软件开发,视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发) QQ:517216493  WX:feiyangqingyun  QQ群:751439350
快速回复
限100 字节
 
上一个 下一个