【腾讯云 Finops Crane 集训营】安装使用及EHPA弹性演示

随着时间的推移,降本增效成为了企业界和组织中的一个新口号。在2023年,这个口号进一步获得了广泛的认可和重要性,成为了许多组织在业务运营中的关键目标。在2023年,许多组织开始将降本增效作为战略性目标,并将其融入到整个组织的文化和运营流程中。这需要组织内部的各个部门和团队共同努力,从高层管理层到基层员工,都需要意识到降本增效的重要性,并为之努力。 降本增效的方法多种多样,其中一个关键领域是技术和数字化转型。组织通过采用新技术、数字化工具和自动化流程来改进业务流程和运营效率。例如,采用先进的数据分析和人工智能技术,组织可以更好地理解和优化成本结构,找到潜在的成本节约机会。同时,云计算和容器化技术如Kubernetes等的应用,也为降本增效提供了新的机会,通过资源优化和自动化管理来降低成本并提高效率。 那么今天就为大家介绍Crane

什么是Crane?

Crane 是一个基于 FinOps 的云资源分析与成本优化平台。它的愿景是在保证客户应用运行质量的前提下实现极致的降本。

Crane 的整体架构如下:

架构

Craned

Craned 是 Crane 的最核心组件,它管理了 CRDs 的生命周期以及API。Craned 通过 Deployment 方式部署且由两个容器组成:

  • Craned: 运行了 Operators 用来管理 CRDs,向 Dashboard 提供了 WebApi,Predictors 提供了 TimeSeries API
  • Dashboard: 基于 TDesign’s Starter 脚手架研发的前端项目,提供了易于上手的产品功能

Fadvisor

Fadvisor 提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统,比如 Prometheus。Fadvisor 通过 Cloud Provider 支持了多云计费的 API。

Metric Adapter

Metric Adapter 实现了一个 Custom Metric Apiserver. Metric Adapter 读取 CRDs 信息并提供基于 Custom/External Metric API 的 HPA Metric 的数据。

Crane Agent

Crane Agent 通过 DaemonSet 部署在集群的节点上。

Crane的主要功能

成本可视化和优化评估

  • 提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统,比如 Prometheus。 多维度的成本洞察,优化评估。通过 Cloud Provider 支持多云计费。 推荐框架
  • 提供了一个可扩展的推荐框架以支持多种云资源的分析,内置了多种推荐器:资源推荐,副本推荐,HPA 推荐,闲置资源推荐。

基于预测的水平弹性器

EffectiveHorizontalPodAutoscaler 支持了预测驱动的弹性。它基于社区 HPA 做底层的弹性控制,支持更丰富的弹性触发策略(预测,观测,周期),让弹性更加高效,并保障了服务的质量。

负载感知的调度器

动态调度器根据实际的节点利用率构建了一个简单但高效的模型,并过滤掉那些负载高的节点来平衡集群。

拓扑感知的调度器

Crane Scheduler与Crane Agent配合工作,支持更为精细化的资源拓扑感知调度和多种绑核策略,可解决复杂场景下“吵闹的邻居问题",使得资源得到更合理高效的利用。

基于 QOS 的混部

QOS相关能力保证了运行在 Kubernetes 上的 Pod 的稳定性。具有多维指标条件下的干扰检测和主动回避能力,支持精确操作和自定义指标接入;具有预测算法增强的弹性资源超卖能力,复用和限制集群内的空闲资源;具备增强的旁路cpuset管理能力,在绑核的同时提升资源利用效率。

快速体验:

Crane Dashboard 在线 Demo: http://dashboard.gocrane.io/

安装及使用

单机简易版(kind)

官方训练营的实验手册访问地址: https://www.aliyundrive.com/s/kn1bWt3ECah 本地用压缩包: 链接:https://pan.baidu.com/s/1KxtJlfvCSO0OynFKVUTdrA?pwd=7ec0 提取码:7ec0

官方为大家提供了一个实验手册,采用的是Kind部署的单节点,方便大家快速的跑通实验,仅需一条命令即可

运行本地的 Kind 集群和 Crane 组件 以下命令将安装 Crane 以及其依赖 (Prometheus/Grafana).

代码语言:javascript
复制
curl -sf https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh | sh -

export KUBECONFIG=${HOME}/.kube/config_crane
kubectl get deploy -n crane-system

kubectl -n crane-system port-forward service/craned --address 0.0.0.0 9090:9090

自定义集群

建议使用kubernetes v1.25以前的版本,在安装手册上有明确的提示

在这里插入图片描述

修改脚本

代码语言:javascript
复制
wget https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh

修改crane_kubeconfig变量为,原本是 config_crane

CRANE_KUBECONFIG="${HOME}/.kube/config"

注释掉68 69的kind命令

在这里插入图片描述

然后再直接运行脚本即可,最终呈现效果如图

在这里插入图片描述

端口映射

代码语言:javascript
复制
kubectl -n crane-system port-forward service/craned --address 0.0.0.0 9090:9090
在这里插入图片描述

EHPA智能弹性

EffectiveHorizontalPodAutoscaler(简称 EHPA)是 Crane 提供的弹性伸缩产品,它基于社区 HPA 做底层的弹性控制,支持更丰富的弹性触发策略(预测,观测,周期),让弹性更加高效,并保障了服务的质量。

  • 提前扩容,保证服务质量:通过算法预测未来的流量洪峰提前扩容,避免扩容不及时导致的雪崩和服务稳定性故障。
  • 减少无效缩容:通过预测未来可减少不必要的缩容,稳定工作负载的资源使用率,消除突刺误判。
  • 支持 Cron 配置:支持 Cron-based 弹性配置,应对大促等异常流量洪峰。
  • 兼容社区:使用社区 HPA 作为弹性控制的执行层,能力完全兼容社区。

案例演示

该案例是官方提供的一个演示案例,展示的是随着请求增加,CPU负载会逐渐增高,通过EHPA,会自动扩容,增加或减少Pod,保持弹性和高效以及服务质量

安装Metrics Server

代码语言:javascript
复制
kubectl apply -f installation/components.yaml
kubectl get pod -n kube-system

创建测试应用

用以下命令启动一个 Deployment 用 hpa-example 镜像运行一个容器, 然后将其暴露为一个 服务(Service):

代码语言:javascript
复制
kubectl apply -f https://raw.githubusercontent.com/gocrane/crane/main/examples/autoscaling/php-apache.yaml
kubectl apply -f https://raw.githubusercontent.com/gocrane/crane/main/examples/analytics/nginx-deployment.yaml

创建 EffectiveHPA

代码语言:javascript
复制
kubectl apply -f https://raw.githubusercontent.com/gocrane/crane/main/examples/autoscaling/effective-hpa.yaml

运行以下命令查看 EffectiveHPA 的当前状态:

代码语言:javascript
复制
kubectl get ehpa
在这里插入图片描述

生成负载

代码语言:javascript
复制
kubectl run -i --tty load-generator --rm --image=busybox:1.28 --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"
在这里插入图片描述

观察ehpa

代码语言:javascript
复制
kubectl get hpa ehpa-php-apache --watch

通过下图可以看到,当流量负载上来的时候,Ehpa会自动扩容,以降低目标值负载,在流量停止的时候,会自动缩容,以降低到MinPods,实现整个服务的弹性和高效以及高可用

在这里插入图片描述

总结

作为一个k8s的初学者,很巧的赶上了这次的活动,通过这次活动有幸了解到了crane,大致清楚了crane的功能及其特性,同时增本增效的确是一个很重要的点,通过Crane仪表盘,用户可以很清晰的看到整个kubernetes集群的使用情况以及成本,还可以通过平台推荐的规则进行管理,从而实现降本的需求。同时我也使用了Steampipe.io,其成本查询和gocrane中的Fadvisor有一点相似,不过从最终目标来看,Fadvisor似乎更有优势,Comparator 是云原生多云比价器,能够自动识别平台的工作负载类型,划分为 serverless 和 serverful 工作负载,并生成推荐资源规格,最后给出合理的迁移策略和成本费用优化。

关于腾讯云 Finops Crane 集训营: Finops Crane集训营主要面向广大开发者,旨在提升开发者在容器部署、K8s层面的动手实践能力,同时吸纳Crane开源项目贡献者,鼓励开发者提交issue、bug反馈等,并搭载线上直播、动手实验组队、有奖征文等系列技术活动。既能让开发者通过活动对 Finops Crane 开源项目有深入了解,同时也能帮助广大开发者在云原生技能上有实质性收获。 为奖励开发者,我们特别设立了积分获取任务和对应的积分兑换礼品。

活动介绍送门:https://marketing.csdn.net/p/038ae30af2357473fc5431b63e4e1a78

开源项目: https://github.com/gocrane/crane