基于腾讯云EMR中的Hbase开发对接流程应用概述

HBase简介

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。

HBase使用场景有如下几个特点:

  • 处理海量数据(TB或PB级别以上)。
  • 具有高吞吐量
  • 在海量数据中实现高效的随机读取。
  • 具有很好的伸缩能力。
  • 能够同时处理结构化和非结构化的数据。
  • 不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation,又称独立性)、持久性(Durability)。
  • HBase中的表具有如下特点:
    • 大:一个表可以有上亿行,上百万列。
    • 面向列:面向列(族)的存储和权限控制,列(族)独立检索。
    • 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。

准备项

说明

操作系统

Windows系统,推荐Windows 7及以上版本。

安装JDK

开发环境的基本配置。版本要求:1.8及以上。

安装和配置Eclipse

用于开发HBase应用程序的工具。

安装Maven

用于编译样例工程。

网络

确保客户端与HBase服务主机在网络上互通。

  • 选择Windows开发环境下,安装Eclipse,安装JDK。

请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本,并安装JUnit插件。

代码语言:javascript
复制
说明:
若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。
若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
准备一个应用程序运行测试的Linux环境。
准备运行调测环境
  1. 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。
    • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
    • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
    • 弹性云服务器的网卡需要与MRS集群在同一个网段中。
  2. 申请弹性IP,绑定新申请的ECS的IP,并配置安全组出入规则。
  3. 下载客户端程序
  4. 登录存放下载的客户端的节点,再安装客户端。
代码语言:javascript
复制
执行以下命令解压客户端包:cd /opt
tar -xvf /opt/MRS_Services_Client.tar
执行以下命令校验安装文件包:sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256MRS_Services_ClientConfig.tar:OK

执行以下命令解压安装文件包:tar -xvf /opt/MRS_Services_ClientConfig.tar
执行如下命令安装客户端到指定目录(绝对路径),例如“/opt/client”。目录会自动创建。cd /opt/MRS_Services_ClientConfig
sh install.sh /opt/client
Components client installation is complete.