连夺双奖,腾讯云大数据云原生究竟凭什么?

300+参评项目,100+入围项目,10000+开发者公开票选,20+专家评审,10+主编团打分,历经数月打磨,由 InfoQ 发起组织的【 2020 中国技术力量年度榜单评选】结果揭晓:

腾讯云大数据云原生技术脱颖而出,荣获

2020年度十大云原生创新技术

早前,在2020年7月可信云大会上

腾讯云大数据云原生已荣获评年度技术最佳实践

那么腾讯云大数据云原生究竟凭什么能连续拿走两座大奖呢?

大数据云原生作为当前行业内热门的钻研话题,未来发展前景及趋势均不可小觑。各大云厂商、大型互联网企业都在尝试,希望通过云原生技术,统一大数据业务和在线业务的管理,通过在线和离线资源的混合部署提升资源使用率。以达到降低成本的目的。

腾讯云容器与大数据团队,联合推出了独创的云原生大数据方案——腾讯大数据云原生与在离线混合部署方案

创新技术已落地服务内外部多家客户

该项技术创新性地将大数据应用横向扩展于容器集群中,并根据大数据集群实时负载,支持大数据应用在容器集群中的动态扩缩容,解决了大数据组件运维难题,提高了资源使用的灵活性,最大化资源的使用效率。目前该方案已经落地腾讯云内外部数家客户 

三个业界领先

  • 业界领先的通过在内核中增加 BT 调度器,实现大数据业务完全避让在线业务,从而解决大数据业务和在线业务混部时在线业务受影响而抖动的问题。
  • 业界首创的大数据业务和 serverless 结合,实现了大数据资源的快速弹性,达到按需使用的效果。
  • 业界首创通过 yarn operator 来管理 yarn 的实例,通过 yarn 实例的管理,渐进式的实现大数据架构的云原生化。避免架构迁移的巨大风险。

降本增效的强大场景需求解决能力

通过大数据云原生渐进式方案,既能解决大数据场景资源弹性的问题,通过在离线混合部署解决在线业务资源利用率不高的问题,还可以避免大数据系统在迁移过程中架构迁移成本高,风险大的问题。

典型的标杆案例

腾讯云和某问答平台,联合推出大数据 serverless 容器弹性扩容方案。该方案通过判断大数据集群的负载情况,在大数据集群负载过高时,自动通过serverless容器技术,快速扩容出容器实例,并自动注册到大数据集群中,补充大数据集群的算力。在该方案中,实现了大数据集群的秒级扩容,指定队列扩容,AM实现特定调度保护,容器控制器指定实例缩容等能力。

该方案目前已经在该问答平台的大数据集群上生产环境落地,很好的补充了大数据集群的弹性算力。大数据集群本身规模10W+,弹性算力部分2W+。后续计划继续将算力节点容器化,以提升资源使用和管理的效率,充分发挥云原生的技术优势。

同时腾讯云还与国内头部直播平台,联合推出了大数据容器化在离线混合部署方案。该方案在晚间(大数据计算的业务高峰,在线业务的业务低峰),通过容器技术在在线业务的集群中自动创建一批大数据计算实例,并自动注册到大数据集群中,补充大数据集群的算力。从而实现在晚间的时候大数据集群能够利用到在线业务集群的空闲资源。在该方案中通过 Tlinux(Tencent Linux)OS 的 BT 调度算法,在调度层面在线业务能够完全避免受到大数据业务的影响。同时通过资源预测,调度优化,资源隔离等技术,实现完整高效的在离线混合部署,大幅提升资源使用效率。

该方案已经在客户的生产环境落地,客户的容器集群数十万在线业务已经实现了混合部署,资源使用效率提升到50%以上。通过云原生技术,节省资源数万核,极大的节省了资源成本。

感兴趣的同学还可以翻看下列我们推出的大数据云原生系列文哦!

  • 大数据系统云原生渐进式演进最佳实践
  • 大数据平台是否更应该容器化?
  • Apache Flink on K8s:四种运行模式,我该选择哪种?

急招!K8s,Istio 写手 ~ “入职”可领 Airpods 和 Cherry 键盘