发帖 回复
返回列表
12
  • 62652阅读
  • 63回复

QT多线程示例+一种通用高并发数据处理最简单思路 [复制链接]

 上一主题 下一主题
离线liudianwu
总版主
 
只看楼主 倒序阅读 楼主  发表于: 2015-01-31
— 本帖被 XChinux 执行加亮操作(2016-04-18) —
平时的项目程序中，经常需要处理多个串口和网络发送过来的数据，而且数据量还比较大，9600的波特率每秒钟至少1000个字节的数据需要处理并反映到界面上，一开始直接和UI主线程同一个线程，在x86的机器上跑还没问题，毕竟X86的机器最少主频也不会低于1.6G，但是如果数据量再更大或者到了ARM上跑，直接UI卡住不动，想到的解决办法就是用多线程，一个线程负责收数据，一个线程负责处理数据，当协议一样的时候，如果需要将数据解析从串口改为网络端口监听的数据，以前的办法是重新写一个tcp通信进行处理，这个并不是非常合理的办法，毕竟解析协议是一样的，所以自己总结了一个通用的数据处理思路：各种数据接收后排队的形式存入一个全局变量，单独开辟一个线程从这个全局变量中读取第一个数据，处理完则移除第一个数据，Qt中的链表直接提供了一个takeFirst函数，用起来非常爽！用while循环读取，在读取的时候加锁，这样的话就不会冲突了。
雏形：
全局变量文件：
复制代码
  1. #ifndef APP_H
  2. #define APP_H
  4. #include "qstring.h"
  5. #include "qstringlist.h"
  7. class App
  8. {
  9. public:    
  10.     static QStringList list;
  12. };
  14. #endif // APP_H

复制代码
  1. #include "app.h"
  3. QStringList App::list=QStringList();

独立处理数据线程：
复制代码
  1. #ifndef TEST_H
  2. #define TEST_H
  4. #include "qthread.h"
  5. #include "qmutex.h"
  7. class Thread : public QThread
  8. {
  9.     Q_OBJECT
  10. public:
  11.     Thread();
  12.     ~Thread();
  14.     void stop();
  16. protected:
  17.     void run();
  19. private:
  20.     QMutex mutex;
  21.     volatile bool stopped;
  23. signals:
  24.     void readOne(QString txt);
  26. };
  28. #endif // TEST_H

复制代码
  1. #include "thread.h"
  2. #include "app.h"
  4. Thread::Thread()
  5. {
  6. stopped=false;
  7. }
  9. Thread::~Thread()
  10. {
  12. }
  14. void Thread::stop()
  15. {
  16.     stopped=true;
  17. }
  19. void Thread::run()
  20. {
  21.     while(!stopped){
  22.         mutex.lock();
  23.         if (App::list.count()>0){            
  24.             QString txt=App::list.takeFirst();
  25.             emit readOne(txt);
  26.         }
  27.         mutex.unlock();
  28.         msleep(1);//不加这句CPU占用率高达50%
  29.     }
  30.     stopped=false;
  31. }

主界面：
复制代码
  1. #ifndef WIDGET_H
  2. #define WIDGET_H
  4. #include <QWidget>
  5. #include "thread.h"
  6. #include "qtimer.h"
  8. namespace Ui {
  9. class frmMain;
  10. }
  12. class frmMain : public QWidget
  13. {
  14.     Q_OBJECT
  16. public:
  17.     explicit frmMain(QWidget *parent = 0);
  18.     ~frmMain();
  20. private slots:
  21.     void writeOne();
  22.     void readOne(QString txt);
  23.     void on_btnAppend_clicked();
  24.     void on_btnThread_clicked();
  25.     void on_btnTimer_clicked();
  27. private:
  28.     Ui::frmMain *ui;
  30.     QTimer *timer;
  31.     Thread *thread;
  33. };
  35. #endif // WIDGET_H

复制代码
  1. #include "frmmain.h"
  2. #include "ui_frmmain.h"
  3. #include "app.h"
  4. #include "qdatetime.h"
  5. #include "qdesktopwidget.h"
  7. #define _TIME_ qPrintable (QTime::currentTime().toString("now : hh:mm:ss:zzz"))
  9. frmMain::frmMain(QWidget *parent) :
  10.     QWidget(parent),
  11.     ui(new Ui::frmMain)
  12. {
  13.     ui->setupUi(this);
  15.     this->showMaximized();
  17.     timer=new QTimer(this);
  18.     timer->setInterval(50);
  19.     connect(timer,SIGNAL(timeout()),this,SLOT(writeOne()));
  21.     thread=new Thread;
  22.     connect(thread,SIGNAL(readOne(QString)),this,SLOT(readOne(QString)));
  23. }
  25. frmMain::~frmMain()
  26. {
  27.     delete ui;
  28. }
  30. void frmMain::writeOne()
  31. {
  32.     App::list.append(_TIME_);
  33. }
  35. void frmMain::readOne(QString txt)
  36. {
  37.     ui->txtOut->append(txt);
  38. }
  40. void frmMain::on_btnAppend_clicked()
  41. {
  42.     App::list.append(ui->txtIn->text());
  43. }
  45. void frmMain::on_btnThread_clicked()
  46. {
  47.     if (ui->btnThread->text()=="start thread"){
  48.         thread->start();
  49.         ui->btnThread->setText("stop thread");
  50.         ui->txtOut->append("start thread ok");
  51.     }else{
  52.         thread->stop();
  53.         ui->btnThread->setText("start thread");
  54.         ui->txtOut->append("stop thread ok");
  55.     }
  56. }
  58. void frmMain::on_btnTimer_clicked()
  59. {
  60.     if (ui->btnTimer->text()=="start timer"){
  61.         timer->start();
  62.         ui->btnTimer->setText("stop timer");
  63.         ui->txtOut->append("start timer ok");
  64.     }else{
  65.         timer->stop();
  66.         ui->btnTimer->setText("start timer");
  67.         ui->txtOut->append("stop timer ok");
  68.     }
  69. }

为了模拟大量数据，我这里开了50毫秒的定时器定时产生当前时间字符串的数据存入全局变量，然后放置了几个按钮用于手动添加字符串和开始停止线程及定时器。



欢迎提出批评建议以及指点！谢谢！
代码下载： ThreadTool.zip (6 K) 下载次数:1615
共12条评分 ，好评度+2 ，贡献值+3 ，金钱+5 ，威望+2
drabel 好评度 +1 优秀文章，支持！n神马都是浮云 2020-04-01
drabel 贡献值 +1 优秀文章，支持！n神马都是浮云 2020-04-01
drabel 威望 +1 优秀文章，支持！n神马都是浮云 2020-04-01
drabel 金钱 +1 优秀文章，支持！n神马都是浮云 2020-04-01
qinlian2010 好评度 +1 nice 2019-09-19
qinlian2010 贡献值 +1 nice 2019-09-19
qinlian2010 威望 +1 nice 2019-09-19
qinlian2010 金钱 +1 nice 2019-09-19
leee101 金钱 +1 - 2019-04-18
听雨陌行 贡献值 +1 - 2019-04-11
12
欢迎关注微信公众号：Qt实战/Qt入门和进阶(各种开源作品、经验整理、项目实战技巧，专注Qt/C++软件开发，视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发) QQ：517216493  WX：feiyangqingyun  QQ群：751439350
回复
举报
分享到 淘江湖 新浪 QQ微博 QQ空间 开心 人人 豆瓣 网易微博 百度 鲜果 白社会 飞信
离线liudianwu
总版主
只看该作者 1楼 发表于: 2015-01-31
在windows下用的50毫秒的定时器产生时间字符串信息，不是很准，可能和底层有关，估计QT还有更精确的定时器类，但是在ubuntu上跑，连定时10毫秒都很精准，一毫秒不差，到了ARM上精确度又下降了。郁闷！
欢迎关注微信公众号：Qt实战/Qt入门和进阶(各种开源作品、经验整理、项目实战技巧，专注Qt/C++软件开发，视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发) QQ：517216493  WX：feiyangqingyun  QQ群：751439350
回复
举报
离线旷性怡情
新手上路
只看该作者 2楼 发表于: 2015-02-26
请教一下楼主 ，在线程中取出tex的时候有加锁，但是在定时函数中存进去的时候没有加锁，这样做是有什么作用的？？
共1条评分 ，好评度+1
sunbelt_liu 好评度 +1 - 2017-08-01
回复
举报
离线electri
禁止发言
只看该作者 3楼 发表于: 2015-02-26
事实上，你可以建立一个圆形缓冲区队列，使用QMutex和QWaitCondition构建一个闭锁队列，在队列没有数据时，队列的取数据接口popup()一直闭锁，一旦队列push()进去一个数据才返回第一个数据，就可以避免    

msleep(1);//不加这句CPU占用率高达50%  

这句话了

使用闭锁队列的线程如果要退出时，随便塞一个空数据进去，让popup()返回，然后判断退出标志退出线程
回复
举报
离线liudianwu
总版主
只看该作者 4楼 发表于: 2015-02-27
回 electri 的帖子
electri:事实上，你可以建立一个圆形缓冲区队列，使用QMutex和QWaitCondition构建一个闭锁队列，在队列没有数据时，队列的取数据接口popup()一直闭锁，一旦队列push()进去一个数据才返回第一个数据，就可以避免    
msleep(1);//不加这句CPU占用率高达50%   .. (2015-02-26 17:02) 

嗯，真是遇见高手啊！谢谢建议，我试试看！
欢迎关注微信公众号：Qt实战/Qt入门和进阶(各种开源作品、经验整理、项目实战技巧，专注Qt/C++软件开发，视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发) QQ：517216493  WX：feiyangqingyun  QQ群：751439350
回复
举报
离线hezf
侠客
只看该作者 5楼 发表于: 2015-08-25
ThreadTool.rar (5 K) 下载次数:1433
使用两个信号量做了一个环形区，存储信息，随写随读
1、不必加锁
2、不必sleep
当然，如果数据量非常大，可以增大缓冲区的大小
总是看你的界面，非常感激
不知道能否帮上忙
真希望多几个像你这样的愿意分享的大神
共2条评分 ，好评度+1 ，贡献值+1
drabel 好评度 +1 优秀文章，支持！n神马都是浮云 2020-04-01
drabel 贡献值 +1 优秀文章，支持！n神马都是浮云 2020-04-01
none
回复
举报
离线ruben_30
新手上路
只看该作者 6楼 发表于: 2016-03-28
学习学习
回复
举报
离线hehui
骑士
只看该作者 7楼 发表于: 2016-03-29
回 hezf 的帖子
hezf:[图片]
使用两个信号量做了一个环形区，存储信息，随写随读
1、不必加锁
2、不必sleep
当然，如果数据量非常大，可以增大缓冲区的大小
....... (2015-08-25 15:16) 
回复
举报
离线一去丶二三里
论坛版主
只看该作者 8楼 发表于: 2016-03-30
不需要用 stopped控制，使用!isInterruptionRequested()即可！停止的时候调用requestInterruption();
wait();
博客地址：https://waleon.blog.csdn.net
微信公众号：高效程序员
QQ 群：242790253
微信群：加微信（iwaleon），邀请入群。

承接各种 C++/Qt/QML 项目，专业的团队，一流的服务，不二的选择！
回复
举报
离线ap0405209
新手上路
只看该作者 9楼 发表于: 2016-03-30
很好的帖子  学习到知识了~~谢谢
回复
举报
离线amoi3000
新手上路
只看该作者 10楼 发表于: 2016-04-03
感谢分享~！！！！！！！！！！！！！！！！！！
回复
举报
离线sunnlboy
新手上路
只看该作者 11楼 发表于: 2016-04-07
感谢分享，正在学习！
回复
举报
离线xiaoniede
新手上路
只看该作者 12楼 发表于: 2016-04-18
遇到同样的问题，感谢大神分享。学习啦！
回复
举报
离线t1029901995
侠客
只看该作者 13楼 发表于: 2016-04-21
        
回复
举报
离线zhangcan
新手上路
只看该作者 14楼 发表于: 2016-06-13
学习了
回复
举报
离线p1111234
新手上路
只看该作者 15楼 发表于: 2016-06-26
很好的帖子  学习到知识了~~谢谢
回复
举报
离线galaxyz
新手上路
只看该作者 16楼 发表于: 2016-06-28
回复
举报
离线liudianwu
总版主
只看该作者 17楼 发表于: 2016-06-28
回 一去丶二三里 的帖子
一去丶二三里:不需要用 stopped控制，使用!isInterruptionRequested()即可！停止的时候调用requestInterruption();
wait(); (2016-03-30 08:59) 

requestInterruption()是qt5才有的方法！qt4还是要自己写stopped变量控制开始和停止的。
欢迎关注微信公众号：Qt实战/Qt入门和进阶(各种开源作品、经验整理、项目实战技巧，专注Qt/C++软件开发，视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发) QQ：517216493  WX：feiyangqingyun  QQ群：751439350
回复
举报
离线cycloveu
侠客
只看该作者 18楼 发表于: 2016-07-12
生产者消费者模型
大道至简 悟在天成
回复
举报
离线dubuzherui
新手上路
只看该作者 19楼 发表于: 2016-08-03
回 hezf 的帖子
hezf:[图片]
使用两个信号量做了一个环形区，存储信息，随写随读
1、不必加锁
2、不必sleep
当然，如果数据量非常大，可以增大缓冲区的大小
....... (2015-08-25 15:16) 

这个例子写的不错，
电力系统Qt开发
回复
举报
离线哥依然潇洒
新手上路
只看该作者 20楼 发表于: 2016-11-22
誒 又来膜拜大神了，感觉界面上跑的时钟可以整到这个里面，不会因为被阻塞而造成走时不准
回复
举报
离线latte79
新手上路
只看该作者 21楼 发表于: 2016-12-09
不错 不错，非常的实用！
hezf 热心人不少
回复
举报
离线kqh1120
新手上路
只看该作者 22楼 发表于: 2017-01-17
学习到知识了
回复
举报
离线hunterzf
侠客
只看该作者 23楼 发表于: 2017-02-19
谢谢楼主
回复
举报
离线yzysgz
新手上路
只看该作者 24楼 发表于: 2017-07-28
感谢分享！
回复
举报
离线sunbelt_liu
新手上路
只看该作者 25楼 发表于: 2017-08-01
回 旷性怡情 的帖子
旷性怡情:请教一下楼主 ，在线程中取出tex的时候有加锁，但是在定时函数中存进去的时候没有加锁，这样做是有什么作用的？？
 (2015-02-26 11:21) 

对呀,楼主,读的过程始终只有一个线程在运行,怎么会有冲突呢?
回复
举报
离线寒阳
新手上路
只看该作者 26楼 发表于: 2017-08-28
  
回复
举报
离线ninicaoyuan
新手上路
只看该作者 27楼 发表于: 2017-10-26
回 hezf 的帖子
hezf:
[图片]
使用两个信号量做了一个环形区，存储信息，随写随读
1、不必加锁
2、不必sleep
当然，如果数据量非常大，可以增大缓冲区的大小
.......

有BUG样，程序会卡死在只开timer那
回复
举报
离线mattino
新手上路
只看该作者 28楼 发表于: 2017-10-31
学习了，多谢高手
回复
举报
离线msy7807887
新手上路
只看该作者 29楼 发表于: 2017-11-03
学习了
回复
举报
离线allens
新手上路
只看该作者 30楼 发表于: 2017-11-04
回复
举报
离线calvin.huang
新手上路
只看该作者 31楼 发表于: 2017-11-21
感激感激~
回复
举报
离线chengruoqie
新手上路
只看该作者 32楼 发表于: 2017-11-22
回复
举报
离线t1029901995
侠客
只看该作者 33楼 发表于: 2017-11-28
回 hezf 的帖子
hezf:[图片]
使用两个信号量做了一个环形区，存储信息，随写随读
1、不必加锁
2、不必sleep
当然，如果数据量非常大，可以增大缓冲区的大小
....... (2015-08-25 15:16) 

还是有些bug
回复
举报
离线勤为径也
新手上路
只看该作者 34楼 发表于: 2018-01-01
上面两位的例子都非常好！
但是，都无可避免的出现了内存泄漏的问题！
其实，我也遇到了内存泄漏的同样问题无法解决。
不知道是不是Qt的bug。
敬请高手指点！！！
回复
举报
离线核心科技
新手上路
只看该作者 35楼 发表于: 2018-01-03
回 liudianwu 的帖子
liudianwu:在windows下用的50毫秒的定时器产生时间字符串信息，不是很准，可能和底层有关，估计QT还有更精确的定时器类，但是在ubuntu上跑，连定时10毫秒都很精准，一毫秒不差，到了ARM上精确度又下降了。郁闷！ (2015-01-31 17:24) 

你自定义一个多媒体定时器，毫秒级，妥妥的。
回复
举报
离线z99monster
新手上路
只看该作者 36楼 发表于: 2018-01-22
正在头疼这块儿怎么弄，学习了~感谢！
回复
举报
离线zxnzxn
新手上路
只看该作者 37楼 发表于: 2018-03-01
请问一下：你时钟设置为50ms，可以打印出来的时间却是62，这是怎么回事。
回复
举报
离线zxnzxn
新手上路
只看该作者 38楼 发表于: 2018-03-02
回 liudianwu 的帖子
liudianwu:在windows下用的50毫秒的定时器产生时间字符串信息，不是很准，可能和底层有关，估计QT还有更精确的定时器类，但是在ubuntu上跑，连定时10毫秒都很精准，一毫秒不差，到了ARM上精确度又下降了。郁闷！ (2015-01-31 17:24) 

将QTimer的类型设置为Qt::PreciseTimer，就很准了，我测试了。
回复
举报
离线zxnzxn
新手上路
只看该作者 39楼 发表于: 2018-03-02
回 liudianwu 的帖子
liudianwu:在windows下用的50毫秒的定时器产生时间字符串信息，不是很准，可能和底层有关，估计QT还有更精确的定时器类，但是在ubuntu上跑，连定时10毫秒都很精准，一毫秒不差，到了ARM上精确度又下降了。郁闷！ (2015-01-31 17:24) 

另外，还想请教你，在windows下，实时性要求较高的通讯，有没有什么好的建议。如50ms或者更快。
回复
举报
发帖 回复
返回列表
12
快速回复
限100 字节
 
上一个 下一个