一、背景
随着越来越多的传统业务云化和云端业务发展,数据上云和云端数据处理领域的需求爆发式增长。腾讯云存储网关CSG提供一键部署开箱即用的便捷模式,深度结合COS对象存储生态,为用户提供方便快捷的数据上云通道,有效满足业务数据备份、数据上云和云上数据处理的需求。
腾讯云存储网关CSG提供文件语义到对象存储语义的转换,依托COS对象存储的海量存储能力,使用户通过本地文件协议即可读写云端COS数据,无需对现有业务做任何侵入式开发,即可使业务获得接近无限容量的文件系统使用能力,借助CSG热数据缓存能力,业务数据上云后业务侧还能够高效对COS里的业务数据进行后续加工处理。
二、业务场景
下文将以视频转码分发业务场景为例,带您了解CSG在该场景的应用。
业务侧生产出原始视频流H264文件,通过CSG将H264文件素材同步到COS,同步后再将H264文件作为输入继续转码成TS视频文件,最终将TS文件的COS访问链接发布到客户端侧,供各类客户端访问。
业务架构示意图:
1、依据业务规模部署存储网关CSG,通过腾讯云存储网关控制台一键部署或者通过腾讯云COS控制台一键部署。
- CSG控制台一键部署网关
- COS控制台一键部署网关
2、业务服务器中挂载CSG文件系统。
- 使用下列命令实现 NFS v4.0 挂载
sudo mount -t nfs -o vers=4 <挂载点IP>:/share/nfs/<文件系统名称即bucket名称> <待挂载目标目录>
3、业务上传原始h264视频文件到CSG文件系统素材目录。
4、业务通过CSG文件系统,直接对素材目录中的文件执行转码操作,输出新文件到转码输出目录。通过CSG执行转码操作和本地磁盘执行转码操作在默认情况下性能接近,当使用自定义SSD机型的CSG时,将获得比本地普通磁盘更高的IO性能,单台CSG吞吐量可达1GB/s。
5、原始素材和转码后的文件均通过CSG同步到COS存储桶,实现素材和输出文件同步到云端COS。
6、通过SCF云函数感知COS存储桶转码目录路径中的对象创建事件,将对象创建事件发布到业务指定CMQ消息队列。
- SCF云函数示例
7、业务服务通过业务指定CMQ消息队列进行消费,获取转码文件已成功上传到COS的事件信息,将对应文件的COS加速域名发布到客户端服务,使客户端能够通过COS加速域名下载浏览最终文件。
三、结语
存储网关CSG依托COS对象存储生态,为业务提供接近无限容量文件系统的使用能力。
通过存储网关的热数据缓存能力,业务能够对流程中前一步上传的文件进行高效加工处理,直接在CSG生产出后续业务流程所需的数据,并通过CSG将这些数据自动同步至COS。
整个数据上云和数据处理过程,均通过本地文件系统接口来操作,无需业务做侵入式改造,即可使业务数据上云并对数据进行加工处理,并可直接在云端生产出最终结果数据,结合后续SCF云函数和CMQ消息队列的腾讯云平台能力,可轻松和业务服务联动将云端COS数据链接分发至用户业务客户端。