概述
量化和监控对现在的开发运维工作的重要性是毋庸置疑的。在大肆鼓吹 DevOps 的今天,一体化的数据采集和可视化展示就尤为重要了。
为了能在同一视图下对 Jenkins 和 Gitlab 的操作进行监控,本来写了一些数据采集的脚本,后发现这两个系统都有实现向 InfluxDB 发送指标数据的能力,虽说结构和数据的细致程度可能不及定制脚本,但懒人方案始终是更快的解决办法。
非常对不起各位的是,下面的内容主要是堆代码了。
环境准备
Docker
为方便部署,这里采用 Docker 作为执行环境,过程中需要下载一些镜像,所以这里可能要配置代理或者其他途径来获得镜像文件并导入。
这里假设宿主机 IP 为 10.211.55.5
网络
因为几个组件之间互相需要访问,因此我们首先用如下命令创建一个虚拟网络:
docker network create devops
InfluxDB
启动
首先启动我们的 InfluxDB,因为 GitLab 只能连接 InfluxDB 的 udp 端口,而官方版本的镜像并未提供这一功能的方便设置,所以这里采用了一个第三方镜像。
这也是 DockerHub 上的常态 —— 嫡出被庶出灭了。
#!/bin/sh
docker run -d --name=influxdb
--restart=always
--network=devops
-v /var/volume/influxdb:/data
-p 20002:8083
-p 20003:8086
-p 20004:8089/udp
-e UDP_PORT=8089
-e UDP_DB=gitlab
appcelerator/influxdb
稍微做一下解释:
- 使用了上文创建的虚拟网络
- 镜像为 appcelerator/influxdb
- 宿主机上的
/var/volume/influxdb
目录被加载到容器的/data
目录,用于数据存储的持久化。 - 开放了三个端口:
- 8083:管理界面,可用浏览器访问
- 8086:HTTP API
- 8089:UDP 端口
- UDP 端口对应的数据库名为 gitlab
初始化
镜像成功启动之后,就可以使用浏览器打开 http://10.211.55.5:20002
,用户名密码缺省为 admin
,主机和端口分别为 10.211.55.5
和 20003
,这些填写结束后,就可以对 influxdb 进行管理了。
分别为 gitlab 和 jenkins 创建数据库:
CREATE DATABASE "gitlab"
CREATE DATABASE "jenkins"
Gitlab
启动
类似的,我们用如下脚本启动 Gitlab:
#!/bin/sh
docker run -d --name=gitlab
--restart=always
--network=devops
-v /var/volume/gitlab/data:/var/opt/gitlab
-v /var/volume/gitlab/conf:/etc/gitlab
-v /var/volume/gitlab/log:/var/log/gitlab
-p 21001:80
gitlab/gitlab-ce
跟前面的 InfluxDB 类似,或者说更加简单,连环境变量也不需要了。映射端口为 21001,加入同一个网络。
配置
浏览器登录页面之后,进入 URL: http://10.211.55.5:21001/admin/application_settings
,对 Gitlab 进行设置。
在 Metrics 一节,会看到 InfluxDB 的配置信息,选中 Enable 之后,只需要填写主机和 UDP 端口即可,因为有虚拟网络的配置,这里主机我们直接填写 influxdb,端口就是 8089 了。
变更配置后,利用 docker kill/rm
命令停止 gitlab,并重新启动。
验证
接下来我们可以选择一个项目进行 commit/push 操作,然后进入前面提到的 InfluxDB 控制台。
页面右上角的数据库选择 gitlab
,在查询输入框中输入 SHOW MEASUREMENTS
并执行,会看到 gitlab 在这一数据库中建立了各个数据表。
继续输入 select * from events
,会看到我们刚刚进行的提交记录。
Jenkins
启动
这里用了我自己的 Jenkins 镜像,完成的还是映射端口、挂接存储的任务。
#!/bin/sh
docker run -d --name=jenkins
--restart=always
--network=devops
-v /var/volume/jenkins/data:/data/jenkins
-v /var/volume/jenkins/maven:/data/maven
-v /var/volume/jenkins/sonar:/data/sonar
-v /var/volume/jenkins/kube:/data/kube
-v /var/volume/jenkins/robot:/data/robot
-p 21003:8080
dustise/jenkins
配置
启动之后访问http://10.211.55.5:21003
,对 Jenkins 进行配置。
http://10.211.55.5:21003/pluginManager/available
在这一界面查找 InfluxDB
插件,进行安装启用。
InfluxDB 插件启用之后,就可以在 http://10.211.55.5:21003/configure
找到其配置内容,这里也就是设置一个 InfluxDB 连接到我们之前启动的数据库。
点击 New InfluxDB Target
按钮,在弹出的输入项目中,URL 填写为 http://influxdb:8086
,用户名密码同上,数据库为 jenkins
。
retentionPolicy
一项可以清空。
exposeExceptions
这一项目表示,向 InfluxDB 汇报数据的任务如果失败,是否标记所属 Build 过程为失败。
验证
首先我们创建一个新的 FreeStyle 项目,内容很简单,执行一个 echo "Hello world"
。
在构建后步骤中,可以看到 Post Build Actions
新增了 Publish build data to InfluDB
的动作。
添加这一动作之后,选择我们刚才建立的 InfluxDB Target。
Job 创建完成,就可以开始 Build 了。
Build 成功之后,我们可以在 InfluxDB 控制台上,切换到 Jenkins 数据库,执行 SHOW MEASUREMENTS
,可以看到 Jenkins 创建的数据表。运行 SELECT * FROM jenkins_data
进行查询,就会看到我们刚才的 Build 数据。
Robot 等插件也会将结果插入 InfluxDB
展示
有了这些数据,我们就可以以项目为单位,利用 Grafana 或者其他可视化工具,对结果进行叠加和展示了。
文章来源于互联网:为 Gitlab 和 Jenkins 添加 InfluxDB 支持