SIGMOD 2021 | 业务驱动背景下,腾讯云原生数据库TDSQL-C的技术演变之路
6月20-25日,数据库国际顶会2021 ACM SIGMOD在西安举行。本届大会上,腾讯云数据库技术总监邱敏带来了主题为“腾讯云数据库技术演变之路”的演讲。
演讲视频
以下为演讲内容的文字实录: 数据库是三大基础软件之一。近年来,腾讯也在不断加强各类数据库产品的研发投入。企业级分布式数据库TDSQL是腾讯云数据库的代表性产品,同时具备OLTP、OLAP,以及混合OLTP和OLAP的HTAP能力。它包括以下几个系列的产品: 企业级MySQL即腾讯云数据库RDS系统(CDB),相对原生MySQL进行
云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践
作者:余建涛,大数据平台产品中心高级工程师
摘要
Spark UI是查看Spark作业运行情况的重要窗口,用户经常需要根据UI上的信息来判断作业失败的原因或者分析作业如何优化。DLC团队实现了云原生的Spark UI Sevice,相较于开源的Spark History Server,存储成本降低80%,大规模作业UI加载速度提升70%。目前已在公有云多个地域上线,为DLC用户提供Spark UI服务。
背景
Spark History Server原理
Spark History Server(以下简称S
云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践
作者:余建涛,大数据平台产品中心高级工程师
摘要
Spark UI是查看Spark作业运行情况的重要窗口,用户经常需要根据UI上的信息来判断作业失败的原因或者分析作业如何优化。DLC团队实现了云原生的Spark UI Sevice,相较于开源的Spark History Server,存储成本降低80%,大规模作业UI加载速度提升70%。目前已在公有云多个地域上线,为DLC用户提供Spark UI服务。
背景
Spark History Server原理
Spark History Server(以下简称S
从传统运维到云运维演进历程之软件定义存储(一)
运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人员转型到云运维人员,尤其是软件定义存储的运维之间经历的沟沟坎坎。
从传统运维到云运维演进历程之软件定义存储(一)
运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人员转型到云运维人员,尤其是软件定义存储的运维之间经历的沟沟坎坎。
Ceph:一个新时代的开始
目前Ceph 是一种已经震撼了整个存储行业的最热门的软件定义存储技术。它是一个开源项目,为块存储、文件存储和对象存储提供了统一的软件定义解决方案。Ceph 旨在提供一个扩展性强大、性能优越且无单点故障的分布式存储系统。从一开始,Ceph 就被设计为能在通用商业硬件上运行,并且支持高度扩展(逼近甚至超过艾字节的数量)。
批流统一计算引擎的动力源泉—Flink Shuffle机制的重构与优化
本文讲述的shuffle概念范围如下图虚线框所示,从上游算子产出数据到下游算子消费数据的全部流程,基本可以划分成三个子模块:
批流统一计算引擎的动力源泉—Flink Shuffle机制的重构与优化
本文讲述的shuffle概念范围如下图虚线框所示,从上游算子产出数据到下游算子消费数据的全部流程,基本可以划分成三个子模块:
基于压缩数据直接计算技术,定义新型数据库处理 | SIGMOD 2022入选论文解读
腾讯云数据库TDSQL与中国人民大学最新联合研究成果被SIGMOD 2022接收并将通过长文形式发表。SIGMOD是国际数据管理与数据库领域顶尖的学术会议之一,腾讯云数据库TDSQL论文已连续多年入选VLDB、SIGMOD、ICDE等国际顶级会议。
本次入选论文题目为:CompressDB: Enabling Efficient Compressed Data Direct Processing for Various Databases。论文针对压缩数据的直接操作与处理,提出一项新型数据库处理技术——Co
【重识云原生】第六章容器6.1.7.2节——cgroups原理剖析
上面是说的cgroups 是内核提供的功能,但现在我们在用户空间想使用的是cgroup的功能。其原理是:linux 内核有一个很强大的模块叫做VFS(vritual File System),VFS 把具体的文件系统的细节隐藏起来,给用户态进程提供一个完备的文件系统API接口。linux 也是通过VFS 把cgroups 功能暴漏给用户态进程的,cgroups 与VFS 之间的衔接部分叫做cgroups 文件系统。
干货 | MySQL云原生方案在携程开发测试场景中的实践
Alex,专注于云计算领域数年,目前主要从事容器云平台的建设,推进各类基础设施服务的云原生化。
腾讯云开放自研TPG转码服务,大幅提升业界图片压缩率
腾讯云携手腾讯音视频实验室将于2017年12月对外开放TPG (Tiny Portable Graphic)能力,对外共享世界级的图片压缩技术。TPG图片压缩技术,文件大小减少近20%TPG是基于新一代视频压缩编码标准AVS2的图像压缩格式。经第三方权威机构公开测试,在同等质量前提下,腾讯音视频实验室研发的TPG图片压缩技术,相对于Google推出的 WebP 格式,文件大小可以减少近20%。TPG提供了一套完整解决方案,能将jpeg、png、gif等图片格式转换成TPG格式,在保证图片质量的同时大大减少文...
WordPress开发日志:二次修改WP七牛云存储插件适应GIF
七牛云存储是由老部落制作的一款对接七牛云对象存储的插件,它拥有自动重命名、自动上传文件等功能,可以算是业界良心插件。我最喜欢它的自定义图片规则功能,开启此项后方便我们压缩处理图片,在七牛云那里也可以设置水印等等,非常的方便,不过美中不足的是:由于GIF图片无法适用于图片规则,需要将其排除,否则图片将会无法加载。
三篇论文入选国际顶会SIGMOD,厉害了腾讯云数据库
好消息!6月13日,腾讯云数据库三篇论文再次入选数据库行业顶会SIGMOD,被SIGMOD 2022 Research Full Paper(研究类长文)收录。
本次被收录的研究成果中,新型数据结构设计、AI智能调参优化等均属于业界首次提出。腾讯云数据库多次入选SIGMOD,表明腾讯云数据库在存储、智能管控等方面的积累与前沿创新获得了国际权威认可。
SIGMOD,全称数据管理国际会议(Special Interest Group on Management Of Data),是由美国计算机协会(ACM)
腾讯云对象存储 COS 高可用解决方案,都在这里了!
上一篇内容我们说到了 COS 是什么“要对象存储做什么,我有女朋友就够了!”的文章。本文将着重介绍如何尽可能的提高腾讯云对象存储 COS 的可用性。
腾讯云开放自研TPG转码服务,大幅提升业界图片压缩率
腾讯云携手腾讯音视频实验室将于2017年12月对外开放TPG (Tiny Portable Graphic)能力,对外共享世界级的图片压缩技术。TPG图片压缩技术,文件大小减少近20%TPG是基于新一代视频压缩编码标准AVS2的图像压缩格式。经第三方权威机构公开测试,在同等质量前提下,腾讯音视频实验室研发的TPG图片压缩技术,相对于Google推出的 WebP 格式,文件大小可以减少近20%。TPG提供了一套完整解决方案,能将jpeg、png、gif等图片格式转换成TPG格式,在保证图片质量的同时大大减少文...
WordPress开发日志:二次修改WP七牛云存储插件适应GIF
七牛云存储是由老部落制作的一款对接七牛云对象存储的插件,它拥有自动重命名、自动上传文件等功能,可以算是业界良心插件。我最喜欢它的自定义图片规则功能,开启此项后方便我们压缩处理图片,在七牛云那里也可以设置水印等等,非常的方便,不过美中不足的是:由于GIF图片无法适用于图片规则,需要将其排除,否则图片将会无法加载。
三篇论文入选国际顶会SIGMOD,厉害了腾讯云数据库
好消息!6月13日,腾讯云数据库三篇论文再次入选数据库行业顶会SIGMOD,被SIGMOD 2022 Research Full Paper(研究类长文)收录。
本次被收录的研究成果中,新型数据结构设计、AI智能调参优化等均属于业界首次提出。腾讯云数据库多次入选SIGMOD,表明腾讯云数据库在存储、智能管控等方面的积累与前沿创新获得了国际权威认可。
SIGMOD,全称数据管理国际会议(Special Interest Group on Management Of Data),是由美国计算机协会(ACM)
腾讯云对象存储 COS 高可用解决方案,都在这里了!
上一篇内容我们说到了 COS 是什么“要对象存储做什么,我有女朋友就够了!”的文章。本文将着重介绍如何尽可能的提高腾讯云对象存储 COS 的可用性。
网络爬虫爬取b站励志弹幕并生成词云(精心笔记总结)
前言
在进入本文之前,我很想给大家推荐b站这个视频,3080.2万播放,27.9万条弹幕。这个视频之火不是因为漂亮的小姐姐,也不是什么很傻,很逗人发笑的视频,而是因为那满满的正能量,以及对于年轻人的激励,我们要活成我们的样子,我们是后浪,我们遇见这个时代,时代遇见今天的我们。