Helm Chart在云拨测中的应用

背景

云拨测由于业务特性在国内和国外多个机房维护了大量的拨测节点,这些拨测节点以边缘节点(腾讯云ECM节点)的方式加入到TKE边缘集群进行统一管理与调度,拨测Agent(拨测执行器)以Pod的形式跑在边缘节点服务器上。由于拨测节点具有地域与运营商属性,因此拨测Agent在发布时Pod必须创建在对应的地域和运营商节点上,比如广州电信的拨测Agent需要跑在广州电信的拨测节点上。与此同时,由于发布的地域又比较多,因此云拨测使用Helm来做发布的编排与管理。

1. 为什么选择Helm

Helm是K8S包管理工具。我们知道K8S的资源都能描述成一个yaml文件,通过yaml文件可以定义Service、ConfigMap、Deployment、Ingress等。有了这些yaml文件后通过与Kube API Server进行交互,比如使用kubectl apply这些yaml文件,就能在K8S上创建我们需要的资源。

但这里的yaml文件是零散的,缺乏一个版本管理。其次,我们创建一个K8S微服务,可能要apply多次,甚至资源的创建可能是有先后依赖顺序的。比如一个微服务配置放到ConfigMap中,那么需要先创建ConfigMap,然后才能创建Deployment,否则Pod可能起不来。除此之外,如果发布出了问题,这种手工式的操作回退也是个麻烦。

Helm恰好适合解决这些问题,它的包管理方式称之为chart,chart可以认为是yaml文件的集合。当使用Helm来创建K8S资源时,它会根据这些yaml文件的依赖关系先后创建资源。同时每一次发布都会维护一个版本号(版本信息写入到K8S集群的Secret中),因此在出现问题时可以很方便回退。

但笔者使用最多的是Helm的模板变量功能,它支持在yaml文件里定义变量,然后通过维护一个values.yaml文件,用于对变量值的替换。甚至还可以通过Helm命令--set的方式传入参数修改yaml文件变量的值。这个功能十分有用,像云拨测的节点比较多,节点上的拨测Agent需要打入地域和运营商环境变量,那么在发布时我们通过--set的方式来传参修改,最终只需要维护一份yaml文件却能适配所有的节点。

使用values.yaml与使用helm命令替换变量值

2. 拨测节点管理与初始化

为了方便使用Helm来做发布,我们需要对拨测节点进行管理和初始化工作。

2.1 节点编码

每个云拨测节点都会分配一个地域和运营商编码,两者组合能确定一种类型的节点,我们称之为节点编码。节点编码由大洲、国家、城市、运营商编码组合而成,以广州联通的节点为例:

节点编码

大洲编码占一位,紧接着是国家编码,占三位,后面是城市编码占三位,大洲、国家、城市编码组合构成地域编码,运营商编码也占用三位。

2.3 Label标签与nodeSelector调度

2.因为拨测Agent在发布时需要调度到同地域同运营商的节点上,因此这里使用K8S的nodeSelector调度能力,需要给拨测节点打上地域和运营商属性标签

节点Label

同时在拨测Agent Pod的yaml文件里也加上nodeSelector调度配置,Label标签跟节点标签一致,那么K8S就能根据这里的Label Match把Pod调度到对应的节点上。

基于nodeSelector调度

2.3 初始化容器的使用

在使用Helm发布的过程中,我们还配合使用K8S的初始化容器(init container)来完成Pod的初始化工作。这里一个场景是拨测Agent需要获取所在节点的外网IP,但Helm部署时根据nodeSelector标签调度,只能调度到一组相同的节点(比如广州联通),到不了具体的节点,因此这里使用初始化容器来完成最后的初始化工作。

初始化容器会比业务Pod先启动,启动后通过kube API从所在节点Label获取到外网IP,然后写入一个文件,该文件也会被Agent Pod所挂载,Agent Pod起来后从该文件读取外网IP Label,再注入到自身的环境变量中,进而完成了自身的初始化。

init container

3. 与流水线整合

以上这些做完后我们把Helm发布整合到了Coding流水线上,只需要选择需要发布的城市(支持多选)和运营商,就能把拨测Agent发布到对应的节点上。

coding流水线

流水线运行时,会执行我们定义的脚本,脚本会从我们的节点库表获取需要发布地域的节点编码,通过--set的方式传入参数至Helm命令,Helm执行时会通过变量替换的方式修改Helm chart的yaml文件。这里我们主要是修改Pod yaml文件里的Label和nodeSelector,最终K8S会把Pod调度到对应的节点上。之后Agent Pod起来,在这之前,初始化容器已完成初始化,整体发布流程结束。

Helm命令

发布流水线