MRS

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。

针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机

产品架构

主要功能: MRS架构包括了基础设施和大数据处理流程各个阶段的能力。

1. 基础设施     MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。     虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。     云硬盘(EVS)提供高可靠、高性能的存储。     弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。

2. 数据集成     数据集成层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消息队列),支持各种数据源导入数据到大数据集群中。

3. 数据存储     MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。

    HDFS是大数据上通用的分布式文件系统。     OBS是对象存储服务,具有高可用低成本的特点。     HBase支持带索引的数据存储,适合高性能基于索引查询的场景。

4. 数据计算     MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spark(内存计算)、SparkStreaming(微批流计算)、Storm(流计算)、Flink(流计算),满足多种大数据应用场景,将数据进行结构和逻辑的转换,转化成满足业务目标的数据模型。

5. 数据分析     基于预设的数据模型,使用易用SQL的数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Presto交互式查询引擎。

6. 数据呈现调度     用于数据分析结果的呈现,并与数据湖工厂(DLF)集成,提供一站式的大数据协同开发平台,帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务,可以极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

7. 集群管理     以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。

    MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、配置、补丁升级等一站式运维能力。

产品优势 MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑。历经行业数万节点部署量的考验,提供多级用户SLA保障。

MRS具有如下优势: 1. 高性能     MRS支持自研的CarbonData存储技术。CarbonData是一种高性能大数据存储方案,以一份数据同时支持多种应用场景,并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应。同时MRS支持自研增强型调度器Superior,突破单集群规模瓶颈,单集群调度能力超10000节点。

2. 低成本     基于多样化的云基础设施,提供了丰富的计算、存储设施的选择,同时计算存储分离,提供了低成本海量数据存储方案。MRS可以按业务峰谷,自动弹性伸缩,帮助客户节省大数据平台闲时资源。MRS集群可以用时再创建、用时再扩容,用完就可以销毁、缩容,确保成本最优。

3. 高安全     MRS服务支持Kerberos安全认证,实现了基于角色的安全控制及完善的审计功能。MRS支持在华为云的公共资源区,资源专属区、客户机房的HCS Online上为客户不同物理隔离方式的一站式大数据平台。集群内支持逻辑多租,通过权限隔离,对集群的计算、存储、表格等资源按租户划分。

4. 易运维     MRS提供可视化大数据集群管理平台,提高运维效率。并支持滚动补丁升级,可视化补丁发布信息,一键式补丁安装,无需人工干预,不停业务,保障用户集群长期稳定。

5. 高可靠     MRS服务支持全节点高可用,实时短信/邮件通知。

应用场景
    大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。

1. 海量数据分析场景
    海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL处理形成模型化数据,以便提供给各个业务模块进行分析梳理,这类业务通常有以下特点:

    对执行实时性要求不高,作业执行时间在数十分钟到小时级别。
    数据量巨大。
    数据来源和格式多种多样。
    数据处理通常由多个任务构成,对资源需要进行详细规划。
    例如在环保行业中,可以将天气数据存储在OBS,定期转储到HDFS中进行批量分析,在1小时内MRS可以完成10T的天气数据分析。

图1 环保行业海量数据分析场景

该场景下MRS的优势如下所示。

    低成本:利用OBS实现低成本存储。
    海量数据分析:利用Hive实现TB/PB级的数据分析。
    可视化的导入导出工具:通过可视化导入导出工具Loader,将数据导出到DWS,完成BI分析。

2. 海量数据存储场景
    用户拥有大量结构化数据后,通常需要提供基于索引的准实时查询能力,如车联网场景下,根据汽车编号查询汽车维护信息,存储时,汽车信息会基于汽车编号进行索引,以实现该场景下的秒级响应。通常这类数据量比较庞大,用户可能保存1至3年的数据。

    例如在车联网行业,某车企将数据储存在HBase中,以支持PB级别的数据存储和毫秒级的数据详单查询。

    图2 车联网行业海量数据存储场景

该场景下MRS的优势如下所示。

    实时:利用Kafka实现海量汽车的消息实时接入。
    海量数据存储:利用HBase实现海量数据存储,并实现毫秒级数据查询。
    分布式数据查询:利用Spark实现海量数据的分析查询。

3. 实时数据处理
    实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景,在数据输入系统的过程中,对数据进行处理。

    例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。

图3 梯联网行业低时延流式处理场景

该场景下MRS的优势如下所示。

    实时数据采集:利用Flume实现实时数据采集,并提供丰富的采集和存储连接方式。
    海量的数据源接入:利用Kafka实现万级别的电梯数据的实时接入。