监控精度提升至 90%,海量云计算平台资源自动监控系统设计

本文转载自 张明明, 刘丹, 吴嘉生,等. 海量云计算平台资源自动监控系统设计[J]. 电子设计工程, 2019, 27(23):144-147.

作者单位:国网江苏省电力有限公司信息通信分公司,国网信息通信产业集团有限公司。

为全面扩充资源监控精度水平,提升平台自身的监控时效能力,设计海量云计算平台下的资源自动监控系统。在 Zabbix 监控架构中,高效连结平台资源拓扑模块、资源态势自动监控模块两个执行设备,完成自动监控系统的硬件运行环境搭建。

在此基础上,通过统一海量资源异构接口规范的方式,对监控资源的数据层进行访问,并以此达到完善自动监控状态机制的目的,实现自动监控系统的软件运行环境搭建。结合软、硬件组织结构,完成海量云计算平台资源自动监控系统 设计。

相同环境下的对比实验结果表明,与普通监控系统相比,资源监控精度可提升至 90%左右, 平台监控时效水平提升明显。

01

背景和选型

资源监控是一种抽象的平台调度权衡策略,可以在确保高效性的前提下,整合服务器中的已占用数据资源,再根据相关执行设备的节点参照标准,为其分配最适宜的资源监管任务。

典型的资源监控系统由前端监视、后端存储、传输运行、控制显示五种 基础设备共同组成,其中后端设备作为监控指令的 直接执行者,可以进一步为中心资源分配或各级执 行组织提供信息连接节点。且前、后端设备可以通过光纤、电缆、微波等多种方式进行连接,不必拘泥于单一的信息传输设备。

在 云 平 台 基 础 上 ,传 统 资 源 监 控 系 统 整 合 Spring、Mybatis、SpringMVC 三大开发框架,并在前端 平台中增设 ECharts 组织,已达到对监控资源进行可 视化调整展示的目的。但这种方法局限了数据节点的交互能力水平,极不利于完善资源调度关系的建立。

为解决上述问题,在Zabbix 框架、资源异构接口等软、硬件设备的支持下,搭建一种海量云计算平台下的新型资源自动监控系统,并在后续实验过程中,通过数据整合、对比的方式,突出普通系统、新型系统的实用差异性所在。

02

系统硬件设计

Zabbix监控架构搭建

Zabbix架构是新型资源监控系统的硬件主体结构,采用Client/Server的组织分布形式,可以同时保持Client Proxy/Server形态与Client/Node/Server形态的应用优势。Client/Server架构包含2个ZabbixServer服务器和2个ZabbixAgent服务器,在同一执行时间段内,只能对同一组资源数据进行监控处理,通过安装在客户端的Agent主机获取待监测的数据资源。

Client/Proxy/Server 架构可对 Agent 主机中的监 控资源进行收集处理,并将其存储与系统数据库中, 再以固定的监控时间间隔发送至 Zabbix 服务器中。在 该 框 架 结 构 中 ,所 有 执 行 端 服 务 器 均 为 Zabbix Agent 设备,Proxy 作为代理传输组织能够充分降低 Zabbix 服务器的资源负载压力,并以此实现系统的集中监控目的。

监控平台资源拓扑模块设计

云监控平台海量资源拓扑模块可以按照客户端的实际处理需求,扩大或缩减接入系统核心计算机的待监控资源总量,并以监控管理员的身份对各级 连接节点进行拓扑结构分析。在平台拓扑模块中, 待监控的资源数据均以图例形式进行排列,并且可 以随着资源集群的增删变化形式,来满足系统环境内的拓扑监控需求。

从整体角度来看,监控平台 资源拓扑模块以展列监控信息作为目标,在虚拟布 设机的促进下,分布或终结所有监控指令,并力求对 核心计算机的监控命令进行严格拓扑把控。

资源态势自动监控模块设计

资源态势自动监控模块包含虚拟机、物理机等 多项物理监控运行设备,可在任务层、功能层两方面 实现资源态势的监控指标获取操作。物理机是云计 算监控平台的重要组成单元,可以生成与资源监控 态势相关的占用率指标,并根据该数值与资源占用 率阂值间的具体物理差,判断当前资源节点是否处 于被监控状态。

处于异常连接状态的虚拟机结构,会对物理机资源监控节点产生较强的阻碍作用, 当数据库不足以支撑这种系统运行现状时,虚拟机即可解除异常连接状态,这也是新型系统中数据 能够快速达到监控占用上限的主要原因。具体监控 模块结构如图所示。

资源态势自动监控模块结构图

03

系统软件设计

海量资源的异构监控接口规范统一

在云计算平台中,海量资源存在大量的异构形式,且每种异构体只对应单一的属性接口。为从根本上实现系统的统一监控需求,必须以汇编语言作为工具,对不同资源异构体进行抽象分析,并从其中选择同时满足最多接口属性要求的规则,作为所有接口的准行条件,该过程即为海量资源的异构接口规范统一。

监控资源的数据层访问

监控数据层是生成系统监控指令的直接组织结构,在确保相关执行设备具备良好监控连接能力的前提下,该层次结构可对云计算平台中的海量资源进行连接处理。而监控资源数据层访问,则是在保存信息自身持久化能力的基础上,依靠监控程序连接指令对资源数据包进行的记录定义操作。

为了使 数据层访问操作具备更强的执行效果,当待监控资 源数量达到稳定时,RPC 指令根据系统的监控数据 负载上限判定数据库是否具备足够的资源承载能力。当判断结果为是时,系统核心计算机可直接对监控资源的数据层提出访问请求;当判断结果为否时,数据层的 Service 组件首先分离出监控资源的不合理成分,再将剩余资源按照系统监控抓取顺序排列,再重复上述操作,直至完成所有待监控资源的访问连接操作。具体访问操作流程如图所示。

监控资源数据层访问流程图

04

实验结论

通过资源监控精度对比、平台监控时效性对比,发现在云计算平台的支持下,海量资源自动监控系统以扩充资源监控精度、提升平台监控时效性水平为目标,在多项软、硬件执行设备的支持下,将系统 自身的运行能力调试至最佳状态。

从实用结果的角 度来看,新型系统与普通系统相比,不需对相关应用 参数进行严格限制,最大程度上提升了系统的运行自由度,使良性利用思想得到了最大化发挥。