CDP私有云基础版7.1.6版本概要

Cloudera于2021年3月宣布发布Cloudera Data Platform(CDP)私有云(PvC)基本版本7.1.6和Cloudera Manager版本7.3.1。这些版本引入了从HDP 3到CDP私有云基础版的直接升级路径,同时添加了许多增强功能以简化从CDH 5和HDP 2的升级和迁移路径,并汇总了先前版本中的所有先前维护增强功能。

新功能的完整列表如下:

升级增强

  • HDP 3升级
    • HDP 3客户现在可以将其HDP 3.1.5集群直接升级到CDP私有云基础版。此处提供了升级过程的完整详细信息 。
    • 已发布新版本的AM2CM工具(1.2.0)以支持HDP3到CDP的升级。
  • 文档化的回滚过程
    • 回滚过程可用于支持从CDH5到CDP 7.1.6的升级
    • 回滚过程可用于支持从HDP 2到CDP 7.1.6的升级。
  • Accumulo支持
    • CDP私有云基础版现在支持基于Accumulo 2.0的由Apache Accumulo增强的操作数据库(OpDB)。
    • Accumulo 2.0是第一个支持语义版本用于管理和一致性的版本,批量导入API缩短了数据上传时间,简化了脚本以简化管理并改善了用户体验,如表摘要和专用的扫描支持。
    • 现在,这使得使用Accumulo升级到CDP私有云基础版的CDH 5、HDP 2和HDP 3客户成为可能。更多细节 在这里
  • CDH 5升级增强
    • YARN FS2CS工具针对调度器迁移的增强功能为从CDH 5.13-5.16升级或迁移的客户提供了更好的调度器过渡,具有改进的放置规则,新的放置规则评估引擎和新的权重模式,可通过灵活的自动队列创建功能进行容量分配容量调度程序。
  • YARN升级增强
    • YARN和YARN队列管理器现在支持动态和自动子队列创建。
    • YARN队列管理器现在支持分区和节点标签**-**客户现在可以将集群划分为子集群,并使用标签对节点进行分类。这允许将作业部署为在具有特定特征的节点上运行。另外,队列管理器UI现在可以用于管理YARN分区。
    • YARN队列的增强放置规则**-**为了解决以前的局限性,引入了一个新的放置规则评估引擎,该引擎支持新的基于JSON的放置规则格式。
    • 现在,可以使用新的Queue Manager UI增强功能轻松创建放置规则。
    • 为YARN资源分配引入了一种称为权重模式的新功能,它提供了更多的灵活性,并且更容易从公平的调度程序配置中进行迁移。

平台支持增强

  • 新的操作系统版本
    • CDP私有云基础版现在支持针对Intel x86和IBM PPC硬件的RHEL / CENTOS 7.9。
  • 新的数据库版本
    • CDP私有云基础版现在支持MySQL8和Postgres12。
  1. 常规功能增强
  • Cloudera Manager增强功能(版本7.3.1)
    • 现在,可以将Ranger审核配置为使用本地文件系统而不是HDFS进行存储,从而使包括Kafka和NiFi在内的更广泛的集群类型能够在具有完全安全性和治理功能的情况下运行,而不会增加HDFS的资源/管理开销。
    • 对流组件的自定义Kerberos主体支持:SRM、SMM、Cruise Control、Kafka Connect和Schema Registry。这为更广泛的集群类型启用了灵活的、外部管理的kerberos身份。
    • (退役)服役步骤可以定义为CSD服务的一部分,当使用诸如Kafka、Ozone和任何第三方软件的服务时,可以实现更加无缝的集群向上/向下扩展和维护工作流。
    • 服务和角色指标收集支持收集枚举的文本值。
  • 事务支持
    • 现在可以使用ANSI SQL语义支持跨行和表的复杂分布式事务,MySQL或PostgreSQL用户非常熟悉。有关 详细信息和基准测试结果,请参 见此博客
  • 数据仓库增强
    • 在Impala中实现并重新启用与ROLE相关的语句,从而允许管理员向ROLES授予特权,并将ROLES分配给GROUPS,从而提供强大的权限控制。有关 详细信息,请参见 文档
    • Hive Warehouse Connector简化提供了一种通用配置来指定操作模式(Spark Direct Reader或JDBC)。通过spark.sql(“ <query>”),它的使用是完全透明的。为了向后兼容,仍支持早期版本中使用的配置,但最终将不建议使用。有关详细信息,请参见通过HWC读取数据
    • 添加了对Impyla客户端的支持,该客户端使开发人员可以在Python程序中将SQL查询提交到Impala。有关 详细信息,请参见 文档
    • Kudu支持INSERT_IGNORE、UPDATE_IGNORE和DELETE_IGNORE操作,从而简化了客户端应用程序并提高了接收性能。
    • Kudu的集群重新启动和重新平衡更快。
  • 对象存储增强
    • Ozone的增强功能以支持Kafka Connect、Atlas和Nifi接收器。客户现在可以使用Kafka连接器无需任何修改即可写入Ozone。Nifi接收器使Nifi可以将Ozone用作安全CDP集群中的存储。Atlas集成为Ozone中的数据存储提供了沿袭和数据治理功能。
    • Ozone的垃圾桶支持现在提供了恢复可能意外删除的密钥的功能。因此,客户可以使用此功能来恢复可能已被意外删除的数据。
    • Ozone 的Multiraft协议支持提高了写入数据管道的速度,从而将写入性能提高了30%。
  • 授权和审核增强
    • Ranger审核筛选器(技术预览)-使用ranger repo配置中的JSON定义的筛选器,管理员可以限制访问时捕获哪些审核事件。这对于使审核日志与已经进行更高级别审核的服务用户保持相关性特别有用。例如,可以创建审核过滤器以排除服务用户的活动(例如,来自Hive的METADATA_OPERATION)以减少审核量并使相关的最终用户审核事件易于管理。
    • Ranger审核访问改进-使列可调整大小,并允许用户选择他们想要查看的列。
    • 改进了Hive-HDFS ACL同步的性能。

产品文档增强

docs网站现在在大多数页面的右下角提供了一个“反馈”选项卡,供读者评论。读者被问到“我们如何改善?” 并请他们告诉我们他们喜欢什么,我们如何改善内容和内容交付,以及他们遇到什么问题。反馈意见直接传递给内容开发团队以快速采取行动。

  1. 其他资源
  • Package详情
  • Parcel详情
  • Cloudera Manager发行说明
  • Cloudera Runtime发行说明
  • CDP PvC基本概述

原文链接:https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202103-716.html