发帖 回复
返回列表
  • 3546阅读
  • 2回复

Qt项目持续集成系列之二 -- github自动化发行 [复制链接]

 上一主题 下一主题
离线dd759378563
新手上路
 
只看楼主 正序阅读 楼主  发表于: 2019-04-29

简介

本文的目标是，在github上实现Qt工程的自动化发行。
看个预览图先:
上图所示github的Release中，包含了两个macos平台的dmg包、5个windows平台的zip包以及一个ubuntu平台的包，都是自动化发行的结果。
后续会加入Android和ios包。
不懂github持续集成的读者，请先去看上一篇文章
https://wentaojia2014.github.io/2019/04/30/Qt自动化编译/
接下来将要介绍Appveyor和Travis的配置


Appveyor的配置

上一篇文章中已经介绍过，Appveyor网站提供了windows的Docker镜像，包含各种版本的visual studio和Qt，这里通过yml配置文件，来使用这些镜像。
先是通过一个矩阵来配置不同的镜像
复制代码
  1. ```yml
  2. environment:
  3.   matrix:
  4.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  5.     platform: x86
  6.     qt: 5.9
  7.     releaseName: HelloCI_qt59_vs2015_x86
  8.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  9.     platform: x64
  10.     qt: 5.9
  11.     releaseName: HelloCI_qt59_vs2015_x64
  12.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  13.     platform: x64
  14.     qt: 5.9
  15.     releaseName: HelloCI_qt59_vs2017_x64
  16.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  17.     platform: x64
  18.     qt: 5.12
  19.     releaseName: HelloCI_qt512_vs2015_x64
  20.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  21.     platform: x64
  22.     qt: 5.12
  23.     releaseName: HelloCI_qt512_vs2017_x64
  24. ```


matrix之下，每一个‘-’号开头的一段描述，都代表一个镜像的配置。其中APPVEYOR_BUILD_WORKER_IMAGE是网站提供的环境变量，用来指定Docker镜像。platform、 qt以及releaseName是我自定义的变量，用来在后文中执行脚本时做区分
复制代码
  1. before_build:
  2.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set msvc=msvc2015
  3.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set vs=C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC
  4.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set msvc=msvc2017
  5.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set vs=C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build
  6.   - if "%platform%"=="x86" set QTDIR=C:\Qt\%qt%\%msvc%
  7.   - if "%platform%"=="x64" set QTDIR=C:\Qt\%qt%\%msvc%_64
  8.   - set PATH=%PATH%;%QTDIR%\bin;
  9.   - if "%platform%"=="x86" set vcvarsall=%vs%\vcvarsall.bat
  10.   - if "%platform%"=="x64" set vcvarsall=%vs%\vcvarsall.bat
  11.   - if "%platform%"=="x86" call "%vcvarsall%" x86
  12.   - if "%platform%"=="x64" call "%vcvarsall%" x64


before_build脚本，就是编译之前要执行的脚本，默认使用windows的cmd语法，当然也可以使用Powershell等。我这段脚本目的是，在编译之前，先确认要使用的vs编译器和Qt所在路径。vs一般通过调用vcvarsall.bat脚本，并传入x86或x64等参数，来确定相应的编译器和链接器，如cl.exe、nmake.exe等。Qt的使用，是将QTDIR\bin设置到环境变量PATH中，以便可以找到qmake.exe。
复制代码
  1. [color=#000000]build_script[/color][color=#666600]:[/color]
  2. [color=#000000][/color][color=#666600] -[/color][color=#000000] qmake[/color]
  3. [color=#666600] -[/color][color=#000000] nmake[/color]

有了正确的环境设置，接下来就是编译了，很简单的qmake make
复制代码
  1. [color=#000000]after_build[/color][color=#666600]:[/color]
  2. [color=#000000][/color][color=#666600] -[/color][color=#000000] [/color][color=#000088]if[/color][color=#000000] [/color][color=#008800]"%APPVEYOR_REPO_TAG%"[/color][color=#666600]==[/color][color=#008800]"true"[/color][color=#000000] windeployqt bin\HelloCI[/color][color=#666600].[/color][color=#000000]exe [/color][color=#666600]--[/color][color=#000000]qmldir [/color][color=#666600]%[/color][color=#000000]QTDIR[/color][color=#666600]%[/color][color=#000000]\qml[/color]

编译通过后，有一个after_build的脚本执行时机，此时的环境变量和前面一样。我这段脚本目的是，在代码被打上tag的情况下，执行windeployqt命令，将依赖的Qt库都打包到一起。APPVEYOR_REPO_TAG是Docker提供的环境变量，有tag的时候这个变量的值为true。
复制代码
  1. [color=#000000]artifacts[/color][color=#666600]:[/color]
  2. [color=#000000][/color][color=#666600] -[/color][color=#000000] path[/color][color=#666600]:[/color][color=#000000] binname[/color][color=#666600]:[/color][color=#000000] $[/color][color=#666600]([/color][color=#000000]releaseName[/color][color=#666600])[/color]

artifacts用来描述可以发行的代码包，这里指定了bin路径，则Docker会自动将bin路径打包为zip，zip的名字是指定的name。
复制代码
  1. [color=#d4d4d4]
  2. [color=#569cd6]deploy[/color]:
  3.   [color=#569cd6]provider[/color]: [color=#ce9178]GitHub[/color]
  4.   [color=#569cd6]auth_token[/color]: [color=#ce9178]$(GITHUB_OAUTH_TOKEN)[/color]
  5.   [color=#569cd6]description[/color]: [color=#ce9178]'HelloCI Release'[/color]
  6.   [color=#569cd6]draft[/color]: [color=#569cd6]false[/color]
  7.   [color=#569cd6]prerelease[/color]: [color=#569cd6]false[/color]
  8.   [color=#569cd6]on[/color]:
  9.       [color=#569cd6]APPVEYOR_REPO_TAG[/color]: [color=#569cd6]true[/color][/color]

truedeploy用来描述要发行的目标网站。这里的provider指定为github，就可以使用github的Release功能了。当然还有很多其它的网站也可用来发行。auth_token是从github上生成的验证用的token，后面再说如何生成。为了不让别人看到具体token，这里引用了自定义的环境变量GITHUB_OAUTH_TOKEN
复制代码
  1. [color=#000000]on[/color][color=#666600]：[/color]
  2. [color=#000000]  APPVEYOR_REPO_TAG[/color][color=#666600]:[/color][color=#000000] [/color][color=#000088]true[/color]

表示只有在代码被打上tag的时候，才执行deploy。这里的deploy没有指定artifacts，默认会把定义的artifacts都发行出去，这就够了。
最终的yml配置文件
appveyor.yml
复制代码
  1. version: '{build}'
  3. branches:
  4.   except:
  5.     - project/travis
  6. environment:
  7.   matrix:
  8.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  9.     platform: x86
  10.     qt: 5.9
  11.     releaseName: HelloCI_qt59_vs2015_x86
  12.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  13.     platform: x64
  14.     qt: 5.9
  15.     releaseName: HelloCI_qt59_vs2015_x64
  16.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  17.     platform: x64
  18.     qt: 5.9
  19.     releaseName: HelloCI_qt59_vs2017_x64
  20.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  21.     platform: x64
  22.     qt: 5.12
  23.     releaseName: HelloCI_qt512_vs2015_x64
  24.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  25.     platform: x64
  26.     qt: 5.12
  27.     releaseName: HelloCI_qt512_vs2017_x64
  28. before_build:
  29.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set msvc=msvc2015
  30.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set vs=C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC
  31.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set msvc=msvc2017
  32.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set vs=C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build
  33.   - if "%platform%"=="x86" set QTDIR=C:\Qt\%qt%\%msvc%
  34.   - if "%platform%"=="x64" set QTDIR=C:\Qt\%qt%\%msvc%_64
  35.   - set PATH=%PATH%;%QTDIR%\bin;
  36.   - if "%platform%"=="x86" set vcvarsall=%vs%\vcvarsall.bat
  37.   - if "%platform%"=="x64" set vcvarsall=%vs%\vcvarsall.bat
  38.   - if "%platform%"=="x86" call "%vcvarsall%" x86
  39.   - if "%platform%"=="x64" call "%vcvarsall%" x64
  40. build_script:
  41.   - qmake
  42.   - nmake
  43. after_build:
  44.   - if "%APPVEYOR_REPO_TAG%"=="true" windeployqt bin\HelloCI.exe --qmldir %QTDIR%\qml
  45. artifacts:
  46.   - path: bin
  47.     name: $(releaseName)
  48. deploy:
  49.   provider: GitHub
  50.   auth_token: $(GITHUB_OAUTH_TOKEN)
  51.   description: 'HelloCI Release'
  52.   draft: false
  53.   prerelease: false
  54.   on:
  55.       APPVEYOR_REPO_TAG: true



Travis

Travis网站有两个，https://travis-ci.org 和https://travis-ci.com， 区别是后者可以操作github的私有仓库。
来看看travis的配置
复制代码
  1. [color=#d4d4d4]
  2. [color=#569cd6]matrix[/color]:
  3.   [color=#569cd6]include[/color]:
  4.     - [color=#569cd6]os[/color]: [color=#ce9178]linux[/color]
  5.       [color=#569cd6]dist[/color]: [color=#ce9178]xenial[/color]
  6.       [color=#569cd6]env[/color]:
  7.         [color=#ce9178]targetFile=HelloCI[/color]
  8.         [color=#ce9178]releaseName=HelloCI_ubuntu_xenial_x64[/color]
  9.       [color=#569cd6]cache[/color]:
  10.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  11.         [color=#569cd6]apt[/color]: [color=#569cd6]true[/color]
  12.         [color=#569cd6]directories[/color]:
  13.             - [color=#ce9178]/opt/qt512/[/color]
  14.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  15.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode10.2[/color]
  16.       [color=#569cd6]env[/color]:
  17.         [color=#ce9178]targetFile=HelloCI[/color]
  18.         [color=#ce9178]releaseName=HelloCI_macos10-14_xcode10-2.dmg[/color]
  19.       [color=#569cd6]cache[/color]:
  20.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  21.         [color=#569cd6]directories[/color]:
  22.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color]
  23.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  24.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode9.4[/color]
  25.       [color=#569cd6]env[/color]:
  26.         [color=#ce9178]targetFile=HelloCI[/color]
  27.         [color=#ce9178]releaseName=HelloCI_macos10-13_xcode9-4.dmg[/color]
  28.       [color=#569cd6]cache[/color]:
  29.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  30.         [color=#569cd6]directories[/color]:
  31.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color][/color]

其中
复制代码
  1. [color=#000000]  os[/color][color=#666600]:[/color][color=#000000] linux[/color]
  2. [color=#000000]    dist[/color][color=#666600]:[/color][color=#000000] xenial[/color]

这是ubuntu16.04的配置（目前还不支持18.04 bionic）env中自定义了一些环境变量，后面用到cache是用来缓存的，这里指定了Qt的安装路径，那么在下一次同样的Docker镜像启动时，优先使用缓存，除非没有安装或者有新版本才会去更新这个路径。这样可以节省大量的Docker运行时间哦。
复制代码
  1. [color=#000000]  os[/color][color=#666600]:[/color][color=#000000] osx[/color]
  2. [color=#000000]    osx_image[/color][color=#666600]:[/color][color=#000000] xcode10[/color][color=#666600].[/color][color=#006666]2[/color]

这是macos系统的设置，osx_image是travis提供的，可在其文档中找到其它可用版本https://docs.travis-ci.com/user/reference/osx/缓存也是要有的。
osx系统通过brew安装Qt，只需要一条命令即可 brew install qt，按照brew官网https://brew.sh/的描述，目前安装的版本为5.12.2涛哥试过后，发现安装路径是/usr/local/Cellar/qt/5.12.2/
ubuntu系统安装Qt，上一篇文章也说过了，是通过launchpad源，目前已经有了最新的5.12.2和5.12.3了。
最终的travis.yml
复制代码
  1. [color=#d4d4d4]
  2. [color=#6a9955]#dist: xenial[/color]
  3. [color=#6a9955]#指定语言为cpp[/color]
  4. [color=#569cd6]language[/color]: [color=#ce9178]cpp[/color]
  5. [color=#6a9955]#需要sudu权限[/color]
  6. [color=#569cd6]sudo[/color]: [color=#ce9178]required[/color]
  7. [color=#6a9955]#编译器为gcc[/color]
  8. [color=#569cd6]compiler[/color]: [color=#ce9178]gcc[/color]
  9. [color=#6a9955]#环境变量[/color]
  10. [color=#6a9955]#env: QT_BASE="512"[/color]
  12. [color=#569cd6]matrix[/color]:
  13.   [color=#569cd6]include[/color]:
  14.     - [color=#569cd6]os[/color]: [color=#ce9178]linux[/color]
  15.       [color=#569cd6]dist[/color]: [color=#ce9178]xenial[/color]
  16.       [color=#569cd6]env[/color]:
  17.         [color=#ce9178]targetFile=HelloCI[/color]
  18.         [color=#ce9178]releaseName=HelloCI_ubuntu_xenial_x64[/color]
  19.       [color=#569cd6]cache[/color]:
  20.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  21.         [color=#569cd6]apt[/color]: [color=#569cd6]true[/color]
  22.         [color=#569cd6]directories[/color]:
  23.             - [color=#ce9178]/opt/qt512/[/color]
  24.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  25.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode10.2[/color]
  26.       [color=#569cd6]env[/color]:
  27.         [color=#ce9178]targetFile=HelloCI[/color]
  28.         [color=#ce9178]releaseName=HelloCI_macos10-14_xcode10-2.dmg[/color]
  29.       [color=#569cd6]cache[/color]:
  30.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  31.         [color=#569cd6]directories[/color]:
  32.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color]
  33.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  34.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode9.4[/color]
  35.       [color=#569cd6]env[/color]:
  36.         [color=#ce9178]targetFile=HelloCI[/color]
  37.         [color=#ce9178]releaseName=HelloCI_macos10-13_xcode9-4.dmg[/color]
  38.       [color=#569cd6]cache[/color]:
  39.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  40.         [color=#569cd6]directories[/color]:
  41.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color]
  42.   
  43. [color=#6a9955]#缓存[/color]
  45. [color=#6a9955]# 注意上面的缓存,指定qt安装路径，可以避免重复安装[/color]
  47. [color=#6a9955]#组[/color]
  48. [color=#569cd6]group[/color]: [color=#ce9178]deprecated-2019Q1[/color]
  50. [color=#6a9955]# travis默认系统为ubuntu，并提供一些基础的命令。但是没有安装Qt，需要通过ubuntu源进行安装。[/color]
  51. [color=#6a9955]# 关于ubuntu源 在这个网站上查看细节 https://launchpad.net/~beineri/+archive/ubuntu/[/color]
  52. [color=#6a9955]# 当然也可以通过qt安装包 +一些命令的方式来安装，这里以源的方式为主。[/color]
  53. [color=#6a9955]#安装前的设置[/color]
  54. [color=#6a9955]#添加qt5.12.1的源[/color]
  55. [color=#569cd6]before_install[/color]:
  56.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "osx" ]]; then brew update; brew install qt; fi[/color]
  57.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then sudo add-apt-repository ppa:beineri/opt-qt-5.12.3-xenial -y; sudo apt-get update -qq; sudo apt-get install -y libglew-dev libglfw3-dev; sudo apt-get install -y qt512-meta-minimal; fi[/color]
  58. [color=#6a9955]# 单独安装qt3d模块的示例[/color]
  59. [color=#6a9955]#    - sudo apt-get install -y qt5123d[/color]
  61. [color=#569cd6]before_script[/color]:
  62.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then source /opt/qt512/bin/qt512-env.sh; fi[/color]
  63. [color=#569cd6]script[/color]:
  64.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then source /opt/qt512/bin/qt512-env.sh; qmake ; make ; fi[/color]
  65.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "osx" ]]; then /usr/local/Cellar/qt/5.12.2/bin/qmake ; make ; fi[/color]
  66. [color=#569cd6]before_deploy[/color]:
  67.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "osx" ]]; then /usr/local/Cellar/qt/5.12.2/bin/macdeployqt bin/${targetFile}.app -qmldir=/usr/local/Cellar/qt/5.12.2/qml -verbose=1 -dmg ; mv bin/${targetFile}.dmg bin/${releaseName} ; fi[/color]
  68.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then mv bin/${targetFile} bin/${releaseName} ; fi[/color]
  69. [color=#569cd6]deploy[/color]:              [color=#6a9955]# 部署[/color]
  70.   [color=#569cd6]provider[/color]: [color=#ce9178]releases[/color] [color=#6a9955]# 部署到 GitHub Release，除此之外，Travis CI 还支持发布到 fir.im、AWS、Google App Engine 等[/color]
  71.   [color=#569cd6]api_key[/color]: [color=#ce9178]$GITHUB_OAUTH_TOKEN[/color] [color=#6a9955]# 填写 GitHub 的 token （Settings -> Personal access tokens -> Generate new token）[/color]
  72.   [color=#569cd6]file[/color]: [color=#ce9178]bin/${releaseName}[/color]   [color=#6a9955]# 部署文件路径[/color]
  73.   [color=#569cd6]skip_cleanup[/color]: [color=#569cd6]true[/color]     [color=#6a9955]# 设置为 true 以跳过清理,不然 apk 文件就会被清理[/color]
  74.   [color=#569cd6]on[/color]:     [color=#6a9955]# 发布时机           [/color]
  75.     [color=#569cd6]tags[/color]: [color=#569cd6]true[/color]       [color=#6a9955]# tags 设置为 true 表示只有在有 tag 的情况下才部署   [/color]
  76. [color=#569cd6]notifications[/color]:
  77.     [color=#569cd6]email[/color]: [color=#569cd6]false[/color][/color]



OAuth token

OAuth机制，是在不知道密码的情况下，只通过授权的token去访问特定的api。
使用token大致步骤：
接下来要去两个地方粘贴，最好先贴到记事本或着什么地方，备用。
先到Travis的项目配置页面
Name写前面的yml配置文件中引用的变量名GITHUB_OAUTH_TOKEN,value就是前面的token
接下来是Appveyor
一样的东西，填好后保存即可。
最后，给代码打上tag，提交吧。
涛哥在连续提交了50多次后。。。最终拿到了这两个徽章还有这正确的发布包。（ubuntu那个，缺少linuxdeployqt打包步骤，后面再加）
当然，你们不用像我一样提交50多次，你们可以直接用我写好的配置文件。
最后附上GitHub链接https://github.com/wentaojia2014/HelloCI


转载声明

文章出自涛哥的博客 – 点击这里查看涛哥的博客本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可进行许可, 转载请注明出处, 谢谢合作 © 涛哥


联系方式

作者涛哥
开发理念弘扬鲁班文化，传承工匠精神
博客https://wentaojia2014.github.io
知乎https://www.zhihu.com/people/wentao-jia
邮箱jared2020@163.com
微信xsd2410421
QQ759378563
请放心联系我，乐于提供咨询服务，也可洽谈有偿技术支持相关事宜。


打赏

觉得分享的内容还不错, 就请作者喝杯奶茶吧~~
涛哥是个Qml高手，著有《Qml组件化编程》《Qml特效》系列教程，见知乎专栏-Qt进阶之路：https://zhuanlan.zhihu.com/TaoQt
或微信公众号：Qt进阶之路
回复
举报
分享到 淘江湖 新浪 QQ微博 QQ空间 开心 人人 豆瓣 网易微博 百度 鲜果 白社会 飞信
离线big_mouse
禁止发言
只看该作者 2楼 发表于: 2020-04-15
回复
举报
离线uidab
论坛版主
只看该作者 1楼 发表于: 2019-04-29
图没了？
有时候为了工作直接获得答案，而我却失去了思考的乐趣！


飘啊飘，何时能安居！
回复
举报
发帖 回复
返回列表
快速回复
限100 字节
 
上一个 下一个