使用gitlab runner进行CI（三）：使用sonarqube做c++的静态检查

2021 年 10 月 6 日
筆記
C++, CI, gitlab

1. gitlab-ci.yml的配置
- 1.1 几个基本概念
- 1.2 使用CI进行代码检查demo
2. Sonarqube安装和配置
3. Gitlab-CI配置
4. 进阶配置
结语

前两次我们讲了如何配置gitlab runner（坑挖了挺久，因为是挺久前弄的，后来交给其他人维护了···）。本节主要讲gitlab-ci的一些基本概念，并通过配置使用sonarqube进行静态检查来进行实践。

1. gitlab-ci.yml的配置

gitlab ci通过项目内的.gitlab-ci.yml进行配置。语言是YAML。

1.1 几个基本概念

pipeline: 流水线，也就是整个CI检查的过程
job: 工作项，可以取任意名字，可以建立任意个工作项，工作项是流水线的一个过程。
stage: 每个工作项可以属于一个stage，类似于分组
script: script是工作项中执行具体检查的shell 命令
before_script: 所有工作项执行前会执行的命令，一般用于配置环境。

example:

before_script:
##设置环境变量
  - export PATH=$PATH 

## 定义有哪些stages 
stages:
  - analysis
  - build
  - test
  - deploy

##job名称
cppcheck:
  stage: analysis
  ##具体命令
  script: 
   - source ~/.bashrc
   - echo hello_ci
  tags:
  ## 执行此项job的runner，设置见本系列第二节
    - cppcheck

1.2 使用CI进行代码检查demo

1.建立一个测试项目，并为其设置runner(参考使用gitlab runner 进行CI（二）：gitlab runner的安装与配置)
2.创建.gitlab-ci.yml文件，并将上文example内容拷贝至该文件
3.提交修改
此时，在项目的CI/CD-》Pipelines页面（或Job），我们就可以看到pipeline的运行情况：

其中Status指示是否成功，点击Stages可进入相应Stage运行的详细情况：

可以看到是依次执行了before_script和job中的script命令。并最终成功了。

2. Sonarqube安装和配置

SonarQube是一种自动代码审查工具，用于检测代码中的静态错误，漏洞以及代码异常（如命名规范、代码重复等）。支持C++、Java、Python等多种语言，能够方便的和git、Jenkins、Gitlab-runner等集成，可以方便的作为代码PR前的前置条件。

2.1 Sonarqube安装

PS: 安装平台为Ubuntu
为了能使用后面需要用到的C++扫描插件，我们安装7.6版本（这个插件现在支持更高版本的了，还没试过）：
//binaries.sonarsource.com/Distribution/sonarqube/sonarqube-7.6.zip
解压即可，假设我们解压的路径为~/sonarqube。

2.2 数据库配置

我这边暂时使用mysql,不过sonarqube最新的版本已经放弃了mysql的支持，可以使用其他的数据库。

sudo apt update  #更新软件源
sudo apt install mysql-server  #安装mysql

修改sonarqube的配置(~/sonarqube/conf/sonar.properties)：
其中jdbc.username和jdbc.password都是我们自己的mysql用户名和密码

# User credentials.
# Permissions to create tables, indices and triggers must be granted to JDBC user.
# The schema must be created first.
sonar.jdbc.username=root
sonar.jdbc.password=123456

#----- Embedded Database (default)
# H2 embedded database server listening port, defaults to 9092
#sonar.embeddedDatabase.port=9092

#----- DEPRECATED 
#----- MySQL >=5.6 && <8.0
# Support of MySQL is dropped in Data Center Editions and deprecated in all other editions
# Only InnoDB storage engine is supported (not myISAM).
# Only the bundled driver is supported. It can not be changed.
sonar.jdbc.url=jdbc:mysql://localhost:3306/sonar?user=root&password=123456&useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false

2.3 sonar-scanner安装

sonar-scanner是在没有指定scanner时的默认scanner.
//binaries.sonarsource.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-4.2.0.1873-linux.zip
下载解压即可

2.4 sonar-cxx插件安装

sonar-cxx是开源的静态检测C++的插件，
根据 //github.com/SonarOpenCommunity/sonar-cxx/wiki/Compatibility-Matrix版本对应关系，下载//github.com/SonarOpenCommunity/sonar-cxx/releases对应的插件版本到~/sonarqube/extensions/plugins下即可

2.4 启动

cd ~/sonarqube/bin/linux-x86-64
./sonar.sh

启动后登陆 //ip:9000可验证是否启动成功，默认密码是admin/admin

2.5 gitlab插件安装

7.6版本的需要安装gitlab插件来和gitlab联动，直接在2.4中的页面安装即可：

2.6 创建项目

最终得到：

主要是为了获得这个login的token。

3. Gitlab-CI配置

在我们要进行检查的项目下，创建.gitlab-ci.yaml：
其他项目替换projectKey,和login的token即可

before_script:
##设置环境变量
  - export PATH=$PATH 

## 定义有哪些stages 
stages:
  - analysis
  - build
  - test
  - deploy
  
sonarcheck:
  except:
    - schedules
  ### 指定只在PR、master和创建tag的时候运行    
  only:
    - merge_requests
    - master
    - tags
  stage: analysis
  script:
   - source ~/.bashrc
   - export PATH=/home/uniubi/software/sonar-scanner-4.6.0.2311-linux/bin:$PATH ### sonar-scanner的路径
   - sonar-scanner -Dsonar.projectKey=demo -Dsonar.sources=. -Dsonar.host.url=//XXX:9000 -Dsonar.login=b7db4dc570ab507c272557c2d0cec6487dbcc8a9 -Dsonar.gitlab.commit_sha=$CI_BUILD_REF -Dsonar.gitlab.ref_name=$CI_BUILD_REF_NAME -Dsonar.gitlab.project_id=$CI_PROJECT_PATH -Dsonar.language=c++ -Dsonar.sourceEncoding=UTF-8 -Dsonar.gitlab.max_blocker_issues_gate=-1 -Dsonar.gitlab.max_critical_issues_gate=-1 -Dsonar.gitlab.query_max_retry=50 -Dsonar.gitlab.query_wait=1000
  ###允许失败，可根据自己项目需要设置 
  allow_failure: true
  ###对应gitlab-runner的tags
  tags:
    - cppcheck

在发起PR后，我们就可以看到：

点击stage可以看到sonarqube的打印：

登陆sonarqube的web界面，可以看到详细的报告：

4. 进阶配置

4.1 规则配置

完整的规则很多，不一定每一条都适用于我们的项目，我们可以禁用和启用一些规则来形成适合自己的规则：

4.2 阈值设置

阈值是用来判定静态检查是否失败的设置，比如重复度。

4.3 设置自动将扫描结果以评论形式写到gitlab

一个比较有用的功能是，扫描完成后，以评论形式发送到gitlab的Merge request, 有助于帮助进行Code review。
首先我们可以创建一个专门用于发送这类消息的gitlab账号，这样以免和我们自己发的评论弄混。当然这个账号需要有这个项目的评论权限。
在创建好账号后，通过该账号创建Access Token：

注意保存好这个token
登陆sonarqube页面，设置gitlab：

经过这样得设置，我们再触发这个静态检查，就能看到结果以评论的形式展现了,发起者就是我们上面建立的账号：

结语

通过sonarqube和gitlab联动，可以自动的帮我们完成一些静态检查，规避常见的漏洞，也能减少代码重复率。

Tags: C++ CI gitlab