教程|如何创建 CDP 私有云基础开发集群

发布于

介绍

本教程将带您完成 CDP Private Cloud Base（试用版）的安装。我们将使用 AWS 作为基础设施即服务 (IaaS) 来创建所需的底层基础设施。

在撰写本文时，CDP Private Cloud Base 是使用Cloudera Manager 7.4.4和Cloudera Runtime 7.1.7构建的 。

先决条件

  • 拥有对 AWS 账户的管理访问权限
  • 安装和配置AWS CLI
  • 安装了jq，一个用于解析 JSON 的命令行工具。有关安装的帮助，请参阅stedolan.github.io。

下载资产

获取本教程的资产有两 (2) 个选项：

  1. 下载 ZIP 文件

它仅包含本教程中使用的必要文件。解压缩 tutorial-files.zip 并记住它的位置。

  1. 克隆我们的 GitHub 存储库

它提供了本教程和其他教程中使用的资产；按教程标题组织。

创建基础设施

在下载资产部分，提供了 bash 脚本create-iaas.sh。此脚本有助于创建使用 AWS 作为云服务提供商安装 CDP Private Cloud Base（试用版）所需的基础设施和要求。

无需编辑或修改脚本。

重要提示：记下脚本输出、概要和操作项目部分。它提供有关创建的基础架构和您必须采取的必要操作项的信息。

在本地计算机的命令行上，发出以下命令：

代码语言：javascript
复制
./create-iaas.sh

映射 IP 地址

根据脚本创建的基础结构，您的主机文件需要更新以将 IP 地址映射到主机名。

从脚本输出中，选择并复制下面的文本1. APPEND TO HOST FILE:并将其附加到您的主机文件。

注意：您必须具有管理员/sudo 权限才能修改主机文件。

主机文件位置取决于您的操作系统：

  • Mac： /private/etc/hosts
  • Linux： /etc/hosts
  • Windows：c:\Windows\System32\drivers\etc\hosts

在每个节点上运行命令

如脚本输出中所述，在ACTION ITEMS 下，在每个节点上运行指定的命令。

注意：我们特意最后更新主节点；不退出终端。我们需要在下一步中运行更多命令。

更新原因：

  • 如开始试用安装之前所述，我们需要禁用 SELinux。
  • 减少vm.swappiness 的值可以通过在内存中保留更多页面来提高性能。

下载试用版

让我们从Cloudera 下载站点下载CDP Private Cloud Base 的试用版：

  1. 选择CDP 私有云，免费试用。
  2. 选择CDP 私有云基地，立即试用
  3. 选择试用版 CDP 私有云，立即试用
  4. 按照页面上提供的试用安装说明进行操作。

注意：在上一步中，我们故意让主节点的ssh连接保持打开状态。这是我们将运行 Cloudera Manager 安装程序cloudera-manager-installer.bin 的地方。

安装 Cloudera Manager Server

如前所述，让我们在主节点上运行 Cloudera Manager 安装程序cloudera-manager-installer.bin。

阅读Cloudera Manager README 后，单击Next。

阅读 Cloudera 标准许可协议后，单击下一步。

如果您同意许可协议，请单击是接受许可。

安装 Cloudera Manager Server 需要几分钟时间。

完成后，系统会要求您将浏览器指向提供的 URL 并使用提供的凭据登录。

注意：在映射 IP 地址部分，您修改了主机文件。

选择确定关闭窗口。

选择确定退出 Cloudera Manager 安装程序。

在主节点的命令行中键入exit以关闭 ssh 连接。

安装集群

现在您已将 Web 浏览器打开到http://cdptrial:7180并登录到 Cloudera Manager，让我们配置 Cloudera Manager。

当要求提供许可文件时，选择试用 Cloudera 数据平台 60 天，接受条款和条件并选择继续。

阅读欢迎信息后，选择继续。

注意：由于我们正在安装试用版，因此可以忽略收到的有关 AutoTLS 和 KDC 的警告。

集群基础信息

为您的集群选择一个名称 - 我们将使用默认名称 Cluster 1.

选择继续

指定主机

在主机名字段中输入集群主机名或 IP 地址。

IP 地址CDP Hosts在create-iaas.sh脚本输出中提供。

确保SSH 端口为22，选择“搜索”，然后选择“继续”。

重要提示：确保所有主机名都已成功扫描并选择所有 IP 地址。

选择存储库

  1. 选择Cloudera Repository作为存储库位置。
  2. 选择使用Parcel（推荐）
  3. 点击Parcel Repositories & Network Settings修改设置
    1. 通过单击 Parcel URL 旁边的删除以下URL：
代码语言：javascript
复制
https://archive.cloudera.com/p/cdh7/{latest_supported}/parcels/
https://archive.cloudera.com/p/cdh6/{latest_supported}/parcels/
https://archive.cloudera.com/ p/cdh5/parcels/latest
https://archive.cloudera.com/accumulo-c5/parcels/latest/
https://archive.cloudera.com/accumulo6/6.1/parcels/
https://archive.cloudera.com /Kafka/Parcel/latest/
  1. 选择继续

选择JDK

  1. 选择安装 Cloudera 提供的 OpenJDK 版本
  2. 点击继续

输入登录凭据

  1. 选择另一个用户，centos
  2. 选择所有主机接受相同的私钥
  3. 选择选择文件并提供cdp-trial-key.pem 的位置。例如，~/.ssh/cdp-trial-key.pem。
  4. 选择继续

安装Agent

Cloudera Manager 代理将安装在所有节点上 - 这将需要几分钟时间。

安装Parcel

Parcels 将安装在所有节点上 - 这需要一些时间。

检查集群

在继续之前，让我们检查集群并解决所有问题。

  1. 选择检查网络性能
  2. 选择检查主机

注意：您可能会收到警告，启用透明大页面压缩，可以忽略。但是，在继续之前，应解决所有其他问题。

  1. 选择我了解不运行检查的风险或检测到的问题，让我继续进行集群设置。
  2. 选择继续

配置集群

选择服务

您可以选择安装哪些服务。

选择数据工程并点击继续。

分配角色

Cloudera Manager 预先分配了这些角色。点击继续。

注意：如果未分配 Kafka 代理角色，请将其分配给角色数最少的主机。

设置数据库

此步骤配置和测试数据库连接。

确保选择使用嵌入式数据库。

注意：您可能会收到一条警告，指出不支持在生产环境中使用 PostgreSQL 数据库。由于我们使用的是试用版，因此可以忽略此警告。

向下滚动到页面底部并选择Test Connection。所有经过测试的连接都应该成功。

点击继续。

输入所需参数

为每个密码选择一个安全密码并记下。

选择继续

查看更改

查看配置属性 - 它们应该都是正确的。

选择继续

命令详情

安装和配置附加服务 - 这将需要一些时间..

注意：如果遇到错误，请选择Resume重试。这可能是并行运行步骤时的计时问题。

选择继续

集群摘要

您的 Cloudera Data Platform (CDP) Private Cloud Base（试用版）集群已安装、配置并准备好使用。

单击完成

在Cloudera Manager 主页屏幕应该是这样的：

总结

恭喜您完成本教程。

您已成功安装 Cloudera Data Platform Private Cloud Base（试用版）。

进一步阅读

视频

  • 混合云视频采集
  • 所有CDP视频合集

博客

  • CDP私有云博客合集
  • 混合云博客合集

其他

  • CDP 用户页面- 其他 CDP 资源，包括视频、教程、博客和活动
  • 有一个问题？加入Cloudera 社区
  • CDP 私有云文档
  • CDP 私有云产品页面

附录 A：卸载集群

当您准备好终止用于 Cloudera Data Platform Private Cloud Base（试用版）的基础设施时，使用您计算机的命令行，发出以下命令。它在下载资产中提供。

代码语言：javascript
复制
./cleanup-iaas.sh
#tcp/ip#parcel#php