• 2281阅读
  • 2回复

Qt项目持续集成系列之二 -- github自动化发行 [复制链接]

上一主题 下一主题
离线dd759378563
 

只看楼主 倒序阅读 楼主  发表于: 2019-04-29

简介

本文的目标是,在github上实现Qt工程的自动化发行。
看个预览图先:
上图所示github的Release中,包含了两个macos平台的dmg包、5个windows平台的zip包以及一个ubuntu平台的包,都是自动化发行的结果。
后续会加入Android和ios包。
不懂github持续集成的读者,请先去看上一篇文章
https://wentaojia2014.github.io/2019/04/30/Qt自动化编译/
接下来将要介绍Appveyor和Travis的配置


Appveyor的配置

上一篇文章中已经介绍过,Appveyor网站提供了windows的Docker镜像,包含各种版本的visual studio和Qt,这里通过yml配置文件,来使用这些镜像。
先是通过一个矩阵来配置不同的镜像
  1. ```yml
  2. environment:
  3.   matrix:
  4.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  5.     platform: x86
  6.     qt: 5.9
  7.     releaseName: HelloCI_qt59_vs2015_x86
  8.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  9.     platform: x64
  10.     qt: 5.9
  11.     releaseName: HelloCI_qt59_vs2015_x64
  12.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  13.     platform: x64
  14.     qt: 5.9
  15.     releaseName: HelloCI_qt59_vs2017_x64
  16.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  17.     platform: x64
  18.     qt: 5.12
  19.     releaseName: HelloCI_qt512_vs2015_x64
  20.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  21.     platform: x64
  22.     qt: 5.12
  23.     releaseName: HelloCI_qt512_vs2017_x64
  24. ```


matrix之下,每一个‘-’号开头的一段描述,都代表一个镜像的配置。其中APPVEYOR_BUILD_WORKER_IMAGE是网站提供的环境变量,用来指定Docker镜像。platform、 qt以及releaseName是我自定义的变量,用来在后文中执行脚本时做区分
  1. before_build:
  2.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set msvc=msvc2015
  3.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set vs=C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC
  4.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set msvc=msvc2017
  5.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set vs=C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build
  6.   - if "%platform%"=="x86" set QTDIR=C:\Qt\%qt%\%msvc%
  7.   - if "%platform%"=="x64" set QTDIR=C:\Qt\%qt%\%msvc%_64
  8.   - set PATH=%PATH%;%QTDIR%\bin;
  9.   - if "%platform%"=="x86" set vcvarsall=%vs%\vcvarsall.bat
  10.   - if "%platform%"=="x64" set vcvarsall=%vs%\vcvarsall.bat
  11.   - if "%platform%"=="x86" call "%vcvarsall%" x86
  12.   - if "%platform%"=="x64" call "%vcvarsall%" x64


before_build脚本,就是编译之前要执行的脚本,默认使用windows的cmd语法,当然也可以使用Powershell等。我这段脚本目的是,在编译之前,先确认要使用的vs编译器和Qt所在路径。vs一般通过调用vcvarsall.bat脚本,并传入x86或x64等参数,来确定相应的编译器和链接器,如cl.exe、nmake.exe等。Qt的使用,是将QTDIR\bin设置到环境变量PATH中,以便可以找到qmake.exe。
  1. [color=#000000]build_script[/color][color=#666600]:[/color]
  2. [color=#000000][/color][color=#666600] -[/color][color=#000000] qmake[/color]
  3. [color=#666600] -[/color][color=#000000] nmake[/color]

有了正确的环境设置,接下来就是编译了,很简单的qmake make
  1. [color=#000000]after_build[/color][color=#666600]:[/color]
  2. [color=#000000][/color][color=#666600] -[/color][color=#000000] [/color][color=#000088]if[/color][color=#000000] [/color][color=#008800]"%APPVEYOR_REPO_TAG%"[/color][color=#666600]==[/color][color=#008800]"true"[/color][color=#000000] windeployqt bin\HelloCI[/color][color=#666600].[/color][color=#000000]exe [/color][color=#666600]--[/color][color=#000000]qmldir [/color][color=#666600]%[/color][color=#000000]QTDIR[/color][color=#666600]%[/color][color=#000000]\qml[/color]

编译通过后,有一个after_build的脚本执行时机,此时的环境变量和前面一样。我这段脚本目的是,在代码被打上tag的情况下,执行windeployqt命令,将依赖的Qt库都打包到一起。APPVEYOR_REPO_TAG是Docker提供的环境变量,有tag的时候这个变量的值为true。
  1. [color=#000000]artifacts[/color][color=#666600]:[/color]
  2. [color=#000000][/color][color=#666600] -[/color][color=#000000] path[/color][color=#666600]:[/color][color=#000000] binname[/color][color=#666600]:[/color][color=#000000] $[/color][color=#666600]([/color][color=#000000]releaseName[/color][color=#666600])[/color]

artifacts用来描述可以发行的代码包,这里指定了bin路径,则Docker会自动将bin路径打包为zip,zip的名字是指定的name。
  1. [color=#d4d4d4]
  2. [color=#569cd6]deploy[/color]:
  3.   [color=#569cd6]provider[/color]: [color=#ce9178]GitHub[/color]
  4.   [color=#569cd6]auth_token[/color]: [color=#ce9178]$(GITHUB_OAUTH_TOKEN)[/color]
  5.   [color=#569cd6]description[/color]: [color=#ce9178]'HelloCI Release'[/color]
  6.   [color=#569cd6]draft[/color]: [color=#569cd6]false[/color]
  7.   [color=#569cd6]prerelease[/color]: [color=#569cd6]false[/color]
  8.   [color=#569cd6]on[/color]:
  9.       [color=#569cd6]APPVEYOR_REPO_TAG[/color]: [color=#569cd6]true[/color][/color]

truedeploy用来描述要发行的目标网站。这里的provider指定为github,就可以使用github的Release功能了。当然还有很多其它的网站也可用来发行。auth_token是从github上生成的验证用的token,后面再说如何生成。为了不让别人看到具体token,这里引用了自定义的环境变量GITHUB_OAUTH_TOKEN
  1. [color=#000000]on[/color][color=#666600]:[/color]
  2. [color=#000000]  APPVEYOR_REPO_TAG[/color][color=#666600]:[/color][color=#000000] [/color][color=#000088]true[/color]

表示只有在代码被打上tag的时候,才执行deploy。这里的deploy没有指定artifacts,默认会把定义的artifacts都发行出去,这就够了。
最终的yml配置文件
appveyor.yml
  1. version: '{build}'
  2. branches:
  3.   except:
  4.     - project/travis
  5. environment:
  6.   matrix:
  7.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  8.     platform: x86
  9.     qt: 5.9
  10.     releaseName: HelloCI_qt59_vs2015_x86
  11.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  12.     platform: x64
  13.     qt: 5.9
  14.     releaseName: HelloCI_qt59_vs2015_x64
  15.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  16.     platform: x64
  17.     qt: 5.9
  18.     releaseName: HelloCI_qt59_vs2017_x64
  19.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2015
  20.     platform: x64
  21.     qt: 5.12
  22.     releaseName: HelloCI_qt512_vs2015_x64
  23.   - APPVEYOR_BUILD_WORKER_IMAGE: Visual Studio 2017
  24.     platform: x64
  25.     qt: 5.12
  26.     releaseName: HelloCI_qt512_vs2017_x64
  27. before_build:
  28.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set msvc=msvc2015
  29.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2015" set vs=C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC
  30.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set msvc=msvc2017
  31.   - if "%APPVEYOR_BUILD_WORKER_IMAGE%"=="Visual Studio 2017" set vs=C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build
  32.   - if "%platform%"=="x86" set QTDIR=C:\Qt\%qt%\%msvc%
  33.   - if "%platform%"=="x64" set QTDIR=C:\Qt\%qt%\%msvc%_64
  34.   - set PATH=%PATH%;%QTDIR%\bin;
  35.   - if "%platform%"=="x86" set vcvarsall=%vs%\vcvarsall.bat
  36.   - if "%platform%"=="x64" set vcvarsall=%vs%\vcvarsall.bat
  37.   - if "%platform%"=="x86" call "%vcvarsall%" x86
  38.   - if "%platform%"=="x64" call "%vcvarsall%" x64
  39. build_script:
  40.   - qmake
  41.   - nmake
  42. after_build:
  43.   - if "%APPVEYOR_REPO_TAG%"=="true" windeployqt bin\HelloCI.exe --qmldir %QTDIR%\qml
  44. artifacts:
  45.   - path: bin
  46.     name: $(releaseName)
  47. deploy:
  48.   provider: GitHub
  49.   auth_token: $(GITHUB_OAUTH_TOKEN)
  50.   description: 'HelloCI Release'
  51.   draft: false
  52.   prerelease: false
  53.   on:
  54.       APPVEYOR_REPO_TAG: true



Travis

Travis网站有两个,https://travis-ci.orghttps://travis-ci.com, 区别是后者可以操作github的私有仓库。
来看看travis的配置
  1. [color=#d4d4d4]
  2. [color=#569cd6]matrix[/color]:
  3.   [color=#569cd6]include[/color]:
  4.     - [color=#569cd6]os[/color]: [color=#ce9178]linux[/color]
  5.       [color=#569cd6]dist[/color]: [color=#ce9178]xenial[/color]
  6.       [color=#569cd6]env[/color]:
  7.         [color=#ce9178]targetFile=HelloCI[/color]
  8.         [color=#ce9178]releaseName=HelloCI_ubuntu_xenial_x64[/color]
  9.       [color=#569cd6]cache[/color]:
  10.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  11.         [color=#569cd6]apt[/color]: [color=#569cd6]true[/color]
  12.         [color=#569cd6]directories[/color]:
  13.             - [color=#ce9178]/opt/qt512/[/color]
  14.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  15.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode10.2[/color]
  16.       [color=#569cd6]env[/color]:
  17.         [color=#ce9178]targetFile=HelloCI[/color]
  18.         [color=#ce9178]releaseName=HelloCI_macos10-14_xcode10-2.dmg[/color]
  19.       [color=#569cd6]cache[/color]:
  20.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  21.         [color=#569cd6]directories[/color]:
  22.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color]
  23.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  24.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode9.4[/color]
  25.       [color=#569cd6]env[/color]:
  26.         [color=#ce9178]targetFile=HelloCI[/color]
  27.         [color=#ce9178]releaseName=HelloCI_macos10-13_xcode9-4.dmg[/color]
  28.       [color=#569cd6]cache[/color]:
  29.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  30.         [color=#569cd6]directories[/color]:
  31.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color][/color]

其中
  1. [color=#000000]  os[/color][color=#666600]:[/color][color=#000000] linux[/color]
  2. [color=#000000]    dist[/color][color=#666600]:[/color][color=#000000] xenial[/color]

这是ubuntu16.04的配置(目前还不支持18.04 bionic)env中自定义了一些环境变量,后面用到cache是用来缓存的,这里指定了Qt的安装路径,那么在下一次同样的Docker镜像启动时,优先使用缓存,除非没有安装或者有新版本才会去更新这个路径。这样可以节省大量的Docker运行时间哦。
  1. [color=#000000]  os[/color][color=#666600]:[/color][color=#000000] osx[/color]
  2. [color=#000000]    osx_image[/color][color=#666600]:[/color][color=#000000] xcode10[/color][color=#666600].[/color][color=#006666]2[/color]

这是macos系统的设置,osx_image是travis提供的,可在其文档中找到其它可用版本https://docs.travis-ci.com/user/reference/osx/缓存也是要有的。
osx系统通过brew安装Qt,只需要一条命令即可 brew install qt,按照brew官网https://brew.sh/的描述,目前安装的版本为5.12.2涛哥试过后,发现安装路径是/usr/local/Cellar/qt/5.12.2/
ubuntu系统安装Qt,上一篇文章也说过了,是通过launchpad源,目前已经有了最新的5.12.2和5.12.3了。
最终的travis.yml
  1. [color=#d4d4d4]
  2. [color=#6a9955]#dist: xenial[/color]
  3. [color=#6a9955]#指定语言为cpp[/color]
  4. [color=#569cd6]language[/color]: [color=#ce9178]cpp[/color]
  5. [color=#6a9955]#需要sudu权限[/color]
  6. [color=#569cd6]sudo[/color]: [color=#ce9178]required[/color]
  7. [color=#6a9955]#编译器为gcc[/color]
  8. [color=#569cd6]compiler[/color]: [color=#ce9178]gcc[/color]
  9. [color=#6a9955]#环境变量[/color]
  10. [color=#6a9955]#env: QT_BASE="512"[/color]
  11. [color=#569cd6]matrix[/color]:
  12.   [color=#569cd6]include[/color]:
  13.     - [color=#569cd6]os[/color]: [color=#ce9178]linux[/color]
  14.       [color=#569cd6]dist[/color]: [color=#ce9178]xenial[/color]
  15.       [color=#569cd6]env[/color]:
  16.         [color=#ce9178]targetFile=HelloCI[/color]
  17.         [color=#ce9178]releaseName=HelloCI_ubuntu_xenial_x64[/color]
  18.       [color=#569cd6]cache[/color]:
  19.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  20.         [color=#569cd6]apt[/color]: [color=#569cd6]true[/color]
  21.         [color=#569cd6]directories[/color]:
  22.             - [color=#ce9178]/opt/qt512/[/color]
  23.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  24.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode10.2[/color]
  25.       [color=#569cd6]env[/color]:
  26.         [color=#ce9178]targetFile=HelloCI[/color]
  27.         [color=#ce9178]releaseName=HelloCI_macos10-14_xcode10-2.dmg[/color]
  28.       [color=#569cd6]cache[/color]:
  29.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  30.         [color=#569cd6]directories[/color]:
  31.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color]
  32.     - [color=#569cd6]os[/color]: [color=#ce9178]osx[/color]
  33.       [color=#569cd6]osx_image[/color]: [color=#ce9178]xcode9.4[/color]
  34.       [color=#569cd6]env[/color]:
  35.         [color=#ce9178]targetFile=HelloCI[/color]
  36.         [color=#ce9178]releaseName=HelloCI_macos10-13_xcode9-4.dmg[/color]
  37.       [color=#569cd6]cache[/color]:
  38.         [color=#569cd6]bundler[/color]: [color=#569cd6]true[/color]
  39.         [color=#569cd6]directories[/color]:
  40.             - [color=#ce9178]/usr/local/Cellar/qt/5.12.2/[/color]
  41.   
  42. [color=#6a9955]#缓存[/color]
  43. [color=#6a9955]# 注意上面的缓存,指定qt安装路径,可以避免重复安装[/color]
  44. [color=#6a9955]#组[/color]
  45. [color=#569cd6]group[/color]: [color=#ce9178]deprecated-2019Q1[/color]
  46. [color=#6a9955]# travis默认系统为ubuntu,并提供一些基础的命令。但是没有安装Qt,需要通过ubuntu源进行安装。[/color]
  47. [color=#6a9955]# 关于ubuntu源 在这个网站上查看细节 https://launchpad.net/~beineri/+archive/ubuntu/[/color]
  48. [color=#6a9955]# 当然也可以通过qt安装包 +一些命令的方式来安装,这里以源的方式为主。[/color]
  49. [color=#6a9955]#安装前的设置[/color]
  50. [color=#6a9955]#添加qt5.12.1的源[/color]
  51. [color=#569cd6]before_install[/color]:
  52.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "osx" ]]; then brew update; brew install qt; fi[/color]
  53.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then sudo add-apt-repository ppa:beineri/opt-qt-5.12.3-xenial -y; sudo apt-get update -qq; sudo apt-get install -y libglew-dev libglfw3-dev; sudo apt-get install -y qt512-meta-minimal; fi[/color]
  54. [color=#6a9955]# 单独安装qt3d模块的示例[/color]
  55. [color=#6a9955]#    - sudo apt-get install -y qt5123d[/color]
  56. [color=#569cd6]before_script[/color]:
  57.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then source /opt/qt512/bin/qt512-env.sh; fi[/color]
  58. [color=#569cd6]script[/color]:
  59.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then source /opt/qt512/bin/qt512-env.sh; qmake ; make ; fi[/color]
  60.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "osx" ]]; then /usr/local/Cellar/qt/5.12.2/bin/qmake ; make ; fi[/color]
  61. [color=#569cd6]before_deploy[/color]:
  62.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "osx" ]]; then /usr/local/Cellar/qt/5.12.2/bin/macdeployqt bin/${targetFile}.app -qmldir=/usr/local/Cellar/qt/5.12.2/qml -verbose=1 -dmg ; mv bin/${targetFile}.dmg bin/${releaseName} ; fi[/color]
  63.     - [color=#ce9178]if [[ "$TRAVIS_OS_NAME" == "linux" ]]; then mv bin/${targetFile} bin/${releaseName} ; fi[/color]
  64. [color=#569cd6]deploy[/color]:              [color=#6a9955]# 部署[/color]
  65.   [color=#569cd6]provider[/color]: [color=#ce9178]releases[/color] [color=#6a9955]# 部署到 GitHub Release,除此之外,Travis CI 还支持发布到 fir.im、AWS、Google App Engine 等[/color]
  66.   [color=#569cd6]api_key[/color]: [color=#ce9178]$GITHUB_OAUTH_TOKEN[/color] [color=#6a9955]# 填写 GitHub 的 token (Settings -> Personal access tokens -> Generate new token)[/color]
  67.   [color=#569cd6]file[/color]: [color=#ce9178]bin/${releaseName}[/color]   [color=#6a9955]# 部署文件路径[/color]
  68.   [color=#569cd6]skip_cleanup[/color]: [color=#569cd6]true[/color]     [color=#6a9955]# 设置为 true 以跳过清理,不然 apk 文件就会被清理[/color]
  69.   [color=#569cd6]on[/color]:     [color=#6a9955]# 发布时机           [/color]
  70.     [color=#569cd6]tags[/color]: [color=#569cd6]true[/color]       [color=#6a9955]# tags 设置为 true 表示只有在有 tag 的情况下才部署   [/color]
  71. [color=#569cd6]notifications[/color]:
  72.     [color=#569cd6]email[/color]: [color=#569cd6]false[/color][/color]



OAuth token

OAuth机制,是在不知道密码的情况下,只通过授权的token去访问特定的api。
使用token大致步骤:
接下来要去两个地方粘贴,最好先贴到记事本或着什么地方,备用。
先到Travis的项目配置页面
Name写前面的yml配置文件中引用的变量名GITHUB_OAUTH_TOKEN,value就是前面的token
接下来是Appveyor
一样的东西,填好后保存即可。
最后,给代码打上tag,提交吧。
涛哥在连续提交了50多次后。。。最终拿到了这两个徽章还有这正确的发布包。(ubuntu那个,缺少linuxdeployqt打包步骤,后面再加)
当然,你们不用像我一样提交50多次,你们可以直接用我写好的配置文件。
最后附上GitHub链接https://github.com/wentaojia2014/HelloCI


转载声明

文章出自涛哥的博客 – 点击这里查看涛哥的博客本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可进行许可, 转载请注明出处, 谢谢合作 © 涛哥


联系方式


作者涛哥
开发理念弘扬鲁班文化,传承工匠精神
博客https://wentaojia2014.github.io
知乎https://www.zhihu.com/people/wentao-jia
邮箱jared2020@163.com
微信xsd2410421
QQ759378563

请放心联系我,乐于提供咨询服务,也可洽谈有偿技术支持相关事宜。


打赏


觉得分享的内容还不错, 就请作者喝杯奶茶吧~~


涛哥是个Qml高手,著有《Qml组件化编程》《Qml特效》系列教程,见知乎专栏-Qt进阶之路:https://zhuanlan.zhihu.com/TaoQt
或微信公众号:Qt进阶之路
离线uidab

只看该作者 1楼 发表于: 2019-04-29
图没了?
有时候为了工作直接获得答案,而我却失去了思考的乐趣!


飘啊飘,何时能安居!
离线big_mouse

只看该作者 2楼 发表于: 2020-04-15
快速回复
限100 字节
 
上一个 下一个