GlusterFS 是个开源的分布式文件系统，而 Heketi 在其上提供了 REST 形式的 API，二者协同为 Kubernetes 提供了存储卷的自动供给能力。
一般对这个系统的介绍，都是基于 Docker 的容器内完成的，个人爱好原因，还不太习惯把这个事情放到集群里面，所以介绍一下用 Yum 方式的安装过程。
我们使用三台服务器作为存储集群，操作系统为 CentOS 7。另外假设每台 Gluster FS 服务器挂在有名为 /dev/sdc 的裸设备，安装过程需要有互联网连接。
- Heketi 服务器：10.211.55.31
- Gluster 服务器：
- 10.211.55.31
- 10.211.55.32
- 10.211.55.33
Heketi 的安装和初始设置
这个很简单，CentOS 的 EPEL Repository 中就提供了他的安装包。
yum install -y heketi heketi-client
安装之后，会生成 Heketi 的 Service，建立 /etc/heketi，并在其中生成一个叫 heketi.json 的配置文件。这里提供一个样本：
{
"port": "7070",
"use_auth": false,
"jwt": {
"admin": {
"key": "My Secret"
},
"user": {
"key": "My Secret"
}
},
"glusterfs": {
"executor": "ssh",
"sshexec": {
"keyfile": "/etc/heketi/heketi_key",
"user": "root",
"port": "22",
"fstab": "/etc/fstab"
},
"executor": "ssh",
"db": "/var/lib/heketi/heketi.db",
"loglevel": "debug"
}
}
这个简单的配置文件说明：
- 在 7070 提供服务。
- 数据库保存在
/var/lib/heketi/heketi.db - 关闭认证
- 利用 ssh 和 GlusterFS 集群成员进行通信
- ssh 证书保存在 /etc/heketi/heketi_key
既然提到证书，就用 ssh-keygen 来生成一套：
ssh-keygen -t rsa -q -f /etc/heketi/heketi_key -N ''
后面将会使用这套证书来完成对 GlusterFS 的控制。
注意，这里要保证上面提到的数据库、配置以及证书文件，一定要确认 Heketi 用户有权进行访问。
GlusterFS 安装
- 启用仓库：
yum install -y centos-release-gluster - 安装软件：
yum install -y glusterfs-server - 启用服务：
systemctl enable glusterfs-server - 启动服务：
systemctl start glusterfs-server
注意这里要把上个步骤生成的公钥（heketi_key.pub）加入到本机的信任列表中，例如
cat /tmp/heketi_key.pub >> /root/.ssh/authorized_key
集群初始化
Heketi 对存储的拓扑结构是这样的：
- Topology
- Cluster a
- Node a1
- Device a11
- Device a12
- Node a2
- Cluster b
所以初始化过程就按照从上到下的方式来进行：
建立集群
heketi-cli create cluster
创建成功后，会显示一个集群 ID。
加入 Node
heketi-cli node add --cluster=[clusterid]
--management-host-name=[node-host]
--storage-host-name=[node-host]
--zone=1
运行成功会显示新加入的 Node 的 Node ID。
Add Node 过程失败可能需要查看一下防火墙
加入 Device
heketi device add
--name=/dev/sdc
--host=[host-id]
自动一点
下面的脚本会把运行参数中指定的第一参数作为主机地址，第二参数作为设备名称加入第一个集群
#!/bin/sh
export HEKETI_CLI_SERVER=http://127.0.0.1:7070
CLUSTER_ID=`heketi-cli cluster list | tail -n 1 | xargs `
CLUSTER="--cluster=$CLUSTER_ID"
HOST="--management-host-name=$1 --storage-host-name=$1"
ZONE="--zone=1"
NODE_ID=`heketi-cli node add $CLUSTER $HOST $ZONE | grep -v -i "Cluster" | grep -i "id" | cut -d : -f 2 | xargs`
heketi-cli device add --name=$2 --node=$NODE_ID
命令需要用 ‘-s’ 开关指定操作的 Heketi 服务地址。
可以用环境变量来简化一下： export HEKETI_CLI_SERVER=“http://127.0.0.1:7070″。
Topology
利用 heketi-cli topology info，会输出当前的集群结构。而且也可以用 JSON 格式导入和导出整个 Topology。下面的例子供参考：
{
"volumes": [],
"nodes": [{
"zone": 1,
"hostnames": {
"manage": ["10.211.55.19"],
"storage": ["10.211.55.19"]
},
"cluster": "f6e6de7dc99ca3ed627e2ab3ae68f9ac",
"id": "95d3d4fec82be4d2a55ae0aa17344af5",
"state": "online",
"devices": [{
"name": "/dev/sdc",
"storage": {
"total": 33419264,
"free": 33419264,
"used": 0
},
"id": "e4e1b97d38ed5ae70323458c1b8e57b5",
"state": "online",
"bricks": []
}]
}, {
"zone": 1,
"hostnames": {
"manage": ["10.211.55.21"],
"storage": ["10.211.55.21"]
},
"cluster": "f6e6de7dc99ca3ed627e2ab3ae68f9ac",
"id": "ab36d04dbface40904a05c33f3fd9800",
"state": "online",
"devices": [{
"name": "/dev/sdc",
"storage": {
"total": 33419264,
"free": 33419264,
"used": 0
},
"id": "a33dee6fd8355c6aa9ff5e2783ecef49",
"state": "online",
"bricks": []
}]
}, {
"zone": 1,
"hostnames": {
"manage": ["10.211.55.20"],
"storage": ["10.211.55.20"]
},
"cluster": "f6e6de7dc99ca3ed627e2ab3ae68f9ac",
"id": "bfd478cb0a0a562386c06967fb2b31bc",
"state": "online",
"devices": [{
"name": "/dev/sdc",
"storage": {
"total": 33419264,
"free": 33419264,
"used": 0
},
"id": "24c5a97ccad5b3fc35977bc7419c27ee",
"state": "online",
"bricks": []
}]
}],
"id": "f6e6de7dc99ca3ed627e2ab3ae68f9ac"
}]
}
文章来源于互联网:GlusterFS + Heketi 入门（非容器）
