群晖下 gitea+drone+harbor实现CI/CD 发布到云服务器

2022 年 5 月 19 日
筆記
.NET6, docker, Drone, Gitea, harbor, 群晖

常用命令

sudo -i然后输入密码登录root账户（群晖默认只能使用admin账号登陆）

vim xxx编辑（编辑是进去之后按i，退出并保存是按esc，然后:wq!再回车）

mkdir xx创建文件夹

准备

1. 群晖一般默认安装docker

        我们不需要进行安装，如果没有安装，则去套件中心进行安装即可

2. 域名

        这个不做详细赘述 比如，此文中域名是www.mydomain.com

3. 文件夹权限

        在群晖的volume2的docker文件夹下创建/volume2/docker/gitea/data、/volume2/docker/gitea/data、/volume2/docker/harbor/common/config，并赋予Everyone权限

4. root权限

         drone的deploy步骤需要root权限来进行docker发布，所以需要群晖的root也开一下，但是群晖默认关闭root

ssh中sudo -i进入root权限
vim /etc/ssh/sshd_config
将#PermitRootLogin 这一行去掉注释，修改为PermitRootLogin yes
保存退出，然后执行synouser --setpw root xxxxxx  （xxxxxx就是你的root密码）
reboot重启群晖即可

安装PostgreSQL

执行下面的语句，安装postgres数据库，安装成功之后，用户名是postgres，密码是postgrespw，端口号是14332，初始数据库是postgres
docker run --name postgres -e POSTGRES_PASSWORD=postgrespw -v /volume2/docker/postgres/data:/var/lib/postgresql/data -d -p 14332:5432 postgres
执行成功之后我们可以使用导航猫（navicat）连接试一下，连接成功之后添加一个gitea数据库

安装gitea

执行下面的语句，安装gitea
docker run -d --name=gitea -p 10022:22 -p 13000:3000 -v /volume2/docker/gitea/data:/data gitea/gitea

安装成功之后进入//www.mydomain.com:13000,此时是一个gitea初始化的界面设置数据库连接是postgresql，数据库名称是gitea；修改站点名称，服务器域名www.mydomain.com,http端口3000，基础URL：//www.mydomain.com:13000/ , 管理员账号密码填写gitea账号密码(比如账号是myusername)，邮箱写一个然后点击安装
安装成功之后我们将进入//www.mydomain.com:13000，输入账号密码进入，新建一个仓库，这个仓库可以是从其他网站仓库地址拉过来的，拉取过来的仓库只有只读权限，我们需要将仓库更改为普通仓库（在仓库设置=>危险操作区=>转移仓库所有权），否则会造成无法提交的问题（gitea mirror repository is read-only）

下一步，进行drone设置，此时我们的drone未安装，但是我们将14000端口分配给它使用，也就是//www.mydomain.com:14000
点击头像（右上角）=>设置=>应用=>创建新的 OAuth2 应用程序，应用名称填写drone，重定向 URI填写//www.mydomain.com:14000/login，点击创建应用，记录一下client-id、client-secret

安装drone

在安装之前，我们可以先执行一下
openssl rand -hex 16来获取一个共享的key，这个key值我们下面将使用到（当然也可以使用其他方法来随机获取一个加密程度更高的key）

安装drone server

docker run \
  --volume=/var/lib/drone:/data \
  --env=DRONE_GITEA_SERVER=//www.mydomain.com:13000 \
  --env=DRONE_GITEA_CLIENT_ID=client-id \
  --env=DRONE_GITEA_CLIENT_SECRET=client-secret \
  --env=DRONE_RPC_SECRET=共享的key \
  --env=DRONE_SERVER_HOST=www.mydomain.com:14000 \
  --env=DRONE_DATABASE_DRIVER=postgres \
  --env=DRONE_DATABASE_DATASOURCE=postgres://postgres:[email protected]:14332/postgres?sslmode=disable \
  --env=DRONE_SERVER_PROTO=http \
  --publish=14000:80 \
  --publish=14443:443 \
  --restart=always \
  --detach=true \
  --name=drone \
  --env=DRONE_USER_CREATE=username:myusername,admin:true \
  drone/drone:2

安装drone-runner

docker run --detach \
  --volume=/var/run/docker.sock:/var/run/docker.sock \
  --env=DRONE_RPC_PROTO=http \
  --env=DRONE_RPC_HOST=www.mydomain.com:14000 \
  --env=DRONE_RPC_SECRET=共享的key \
  --env=DRONE_RUNNER_CAPACITY=2 \
  --env=DRONE_RUNNER_NAME=test-runner \
  --env=DRONE_AGENTS_ENABLED=true \
  --publish=14300:3000 \
  --restart=always \
  --name=runner \
  drone/drone-runner-docker:1

安装成功之后，进入//www.mydomain.com:14000,应该可以看到刚才我们在gitea创建的仓库了

在此时的gitea里面，我们在这个项目的设置=>Web 钩子里面能看到一个网址连接，这个网址连接就指向的是drone

点击仓库进去，在settings里面打开Trusted

然后在左下角的setting里面添加用户test-runner（对应drone-runner安装里面的DRONE_RUNNER_NAME）

此时，我们的gitea和drone已经OK了，我们来安装一下harbor

安装harbor

1. 安装过程

参考使用Harbor搭建Docker私有镜像仓库，去[goharbor/harbor/releases (//github.com/goharbor/harbor/releases)下载一下最新版的harbor-offline-installer-vx.x.x.tgz，建议首先

cd /volume2/docker
wget //github.com/goharbor/harbor/releases/download/v1.10.11/harbor-offline-installer-v1.10.11.tgz
tar -zxvf harbor-offline-installer-v1.10.11.tgz
cd harbor
mkdir common
cd common
mkdir config
cd /volume2/docker/harbor
vim harbor.yml  //修改一下hostname和port，比如hostname：www.mydomain.com ， port：19080, 然后保存退出
sudo ./install.sh //最后会输出`Harbor has been installed  and started successfully`，说明安装成功

我们进入//www.mydomain.com:19080，然后输入账号admin，密码Harbor12345，进入后去更改一下密码（！！！注意，此时的密码不能有特殊符号，否则不会保存，更改harbor.yml时，里面的所有密码最好不要随意更改）
然后去系统设置=>用户管理新增一个用户（用户名：myharborname,密码：myharborpw），便于一会儿进行docker的操作
同时点击项目=>library=>成员=>添加用户，将myharborname添加进来，权限设置成项目管理员（否则有可能出现publish阶段的denied: requested access to the resource is denied问题，该问题也可以通过docker login www.mydomain.com:19080登陆一下来尝试解决）

2. 问题

如果出现了harbor-db容器经常重启的问题，可以通过docker logs --tail="100" harbor-db //查看最近100行日志，如果日志是could not write lock file "postmaster.pid": No space left on device或者通过cat /var/log/harbor/postgresql.log | tail -20查出来的日志包含could not close temporary statistics file "pg_stat_tmp/db_12406.tmp": No space left on device，那说明docker提交太频繁导致内存不足，

cat /volume2/docker/harbor/docker-compose.yml --查看一下postgresql的映射路径，发现是/data/database
cd /data/database
rm -rf /data/database
cd /data
mkdir database
cd /volume2/docker/harbor
docker-compose down -v --关闭所有的harbor容器
cd /volume2/docker/harbor/common/config
rm -rf *
cd /volume2/docker/harbor
sudo ./install.sh --重新安装一下，密码、用户等需要重新添加一次

如果出现了//www.mydomain.com:19080登陆报错500，那么一般去重启一下harbor的nginx容器即可

CI和CD

我们再去drone中刚才的仓库中setting=>Secret新增两个Secret
分别是：
docker_username 值：myharborname ； docker_password 值：myharborpw

之前的仓库我们拉取到本地，推荐使用Sourcetree，拉取之后在仓库的根目录下面创建两个文件.drone.yml和Dockerfile
我这里使用的是.net 6，所有Dockerfile内容：

FROM mcr.microsoft.com/dotnet/aspnet:6.0
COPY . .
WORKDIR /app
EXPOSE 29029/tcp
ENTRYPOINT ["dotnet", "k8s-netcore-demo.dll"]

.drone.yml的内容：

kind: pipeline
type: docker
name: deployment

steps:
- name: ls
  image: alpine
  commands:
  - ls -la
  - ls -la Dockerfile  --查看当前文件夹是否包含了Dockerfile
- name: build
  image: mcr.microsoft.com/dotnet/sdk:6.0
  commands:
  - dotnet restore
  - dotnet build -c Release -o /drone/src_temp/k8s-netcore-demo/ --no-restore  --build之后的文件输出到/drone/src_temp/k8s-netcore-demo/目录中，因为项目文件默认在/drone/src/目录，而build默认输出也是/drone/src/，我们后面发布到docker里面只需要发布build的文件即可，所以先输出到临时目录
  - mv /drone/src/Dockerfile /drone/src_temp/k8s-netcore-demo/ --将项目文件目录中的Dockerfile也移动到临时目录
  - rm -rf *   --删除项目文件/drone/src/下面的所有文件
  - mv /drone/src_temp/k8s-netcore-demo/* /drone/src  --将临时目录的文件移动到drone执行的默认目录中
  - ls -la  --查看最后的/drone/src/下文件，可以验证一下是不是build之后+Dockerfile文件
  - pwd  --输出当前文件夹路径
  - echo 项目生成成功
- name: publish 2 harbor
  image: plugins/docker
  settings: 
    dockerfile: Dockerfile
    tags: latest
    insecure: true
    registry: www.mydomain.com:19080
    repo: www.mydomain.com:19080/library/k8s-netcore-demo
    storage_driver: vfs
    username: 
      from_secret: docker_username
    password: 
      from_secret: docker_password
- name: deploy
  image: appleboy/drone-ssh
  pull: true
  settings:
    host: 云服务器IP
    port: 22
    username: root
    password: root密码
    command_timeout: 2m
    script: 
      - source /etc/profile
      - ls -la
      - docker info
      - echo $(docker ps -aqf "name=k8s-netcore-demo")
      - docker stop $(docker ps -aqf "name=k8s-netcore-demo")
      - docker container rm k8s-netcore-demo
      - docker rmi k8s-netcore-demo
      - echo 查看是否成功删除k8s-netcore-demo
      - docker ps -a
      - echo 从harbor拉取docker镜像
      - sudo docker container rm xxxxxx/k8s-netcore-demo
      - sudo docker pull www.mydomain.com:19080/library/k8s-netcore-demo:latest
      - sudo docker tag www.mydomain.com:19080/library/k8s-netcore-demo:latest xxxxxx/k8s-netcore-demo:latest
      - sudo docker run --name k8s-netcore-demo -p 29029:80 xxxxxx/k8s-netcore-demo
      - /usr/local/bin/docker system prune -f
      - echo docker容器启动成功

这里简单解释一下

image: mcr.microsoft.com/dotnet/aspnet:6.0，原来的Gogs + Drone 实现CI/CD（CD）中image是microsoft/dotnet，但是实际会出现错误（Error response from daemon: pull access denied for microsoft/dotnet, repository does not exist or may require ‘docker login’: denied: requested access to the resource is denied），从Unable to build pipeline: pull access denied for microsoft/dotnet, repository does not exist or may require ‘docker login’: denied: requested access中找到问题，是因为微软把docker库迁走了，这个仓库没有对应的dotnet镜像了。。。所以我们要根据自己的项目版本自己去更改，不要使用mcr.microsoft.com/dotnet/aspnet:6.0，要使用sdk
dockerfile: Dockerfile这里我没有使用drone-ci-demo/Dockerfile，因为Dockerfile其实是在根目录下，可以查看name: ls的输出，查阅问题链接unable to evaluate symlinks in Dockerfile path: lstat /drone/src/Dockerfile: no such file or directory
增加storage_driver: vfs，解决链接Plugins/Docker on Synology DSM
因为群晖默认没有开root，所以要按照准备工作第三步进行操作，打开root，如果使用admin账号，则会出现权限问题，是因为admin不能在ssh中调用docker和其他script指令（第一次尝试我是按照部署到群晖执行的（群晖的dotnet SDK安装之后软连接好像有问题，无法执行），所以有上面的一句话，如果发布到云服务器，可以给其他账户开权限，这样就不必使用root账户了）

其他

1. 群晖与其他linux的不同

   #### 1. docker的daemon.json地址
          不是`/etc/docker/daemon.json`,而是`/var/packages/Docker/etc/dockerd.json`
   #### 2. 常用命令不是`systemctl`或者`service`
          常用命令不是`systemctl`或者`service`，而是`synoservice`，前面加一个`syno`,可以通过`synoservicecfg --list`查看群晖下运行的所有服务，其中套件中心的服务前面需要加`pkgctl-`作为前缀，例如`synoservice –restart pkgctl-Docker`

2. 云服务器安装dotnet，自己可以去查阅微软的文档在 Linux 发行版上安装 .NET

参考链接

//discourse.drone.io/
//plugins.drone.io/plugins/docker
//65535.pub/2020/06/01/gitea-drone-群晖搭建/
//www.cnblogs.com/fallTakeMan/p/11944042.html
//www.cnblogs.com/fallTakeMan/p/11866584.html
//www.cnblogs.com/fallTakeMan/p/11875846.html
//www.hafuhafu.cn/267/
//www.cnblogs.com/manastudent/p/15938616.html
//www.msnao.com/2019/04/26/568.html

Tags: .NET6 docker Drone Gitea harbor 群晖