Flink 十周年专访莫问:存算分离 2.0 架构的探索与展望
Flink 从 2014 年诞生之后,已经发展了将近 10 年,尤其是最近这些年得到了飞速发展。在全球范围内,Flink 已经成为了实时流计算的事实标准,成为大数据技术栈中不可或缺的一部分。在 2023 年终盘点之际,InfoQ 有幸采访了 Apache Flink 中文社区发起人、阿里云开源大数据平台负责人王峰(莫问),了解他对大数据技术栈的看法,以及 Flink 的进展和未来规划。
超级大佬用4500字带你彻底吃透开源流计算框架之ApacheFlink
随着流计算领域的不断发展,关于流计算的理论和模型逐渐清晰和完善。Flink是这些流计算领域最新理论和模型的优秀实践。相比Spark在批处理领域的流行,Apache Flink(简称Flink)可以说是目前流计算领域最耀眼的新贵了。Flink是一个分布式流处理和批处理平台,相比Spark偏向于批处理,Flink的核心是流计算引擎。
论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
论文解读|TuGraph Analytics 流式图计算论文入选国际顶会 SIGMOD
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
GitHub上有哪些好项目?GeaFlow图计算快速上手之SSSP算法
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
GitHub上有哪些好项目?GeaFlow图计算快速上手之SSSP算法
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
WRFOUT 涡度平流和温度平流计算与可视化
涡度平流和温度平流是两种常见的气象诊断量,可以帮助我们更好地理解大气运动和热力学过程。
以下代码将计算上述气象诊断量并可视化。
TuGraph任务能力增强:通过API定制流图计算逻辑
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
GeaFlow图计算快速上手之K-hop算法
随着年轻人的社交需求不断增长,各种社交软件应运而生,这些社交软件通常都会有好友推荐功能,根据六度分离理论,理想情况下,每个人通过6个人就可以跟所有人产生关联,因此K-hop算法(K跳算法)被用于实现好友推荐,现在让我们来尝试使用GeaFlow在5分钟内实现K-hop算法吧!
2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉 https://github.com/TuGraph-family/tugraph-analytics
2023开放原子全球开源峰会,蚂蚁图计算平台开源业内首个工业级流图计算引擎
GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉 https://github.com/TuGraph-family/tugraph-analytics
比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?
数据平台领域发展 20 年,逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域,当下的架构已经完美了吗,主要问题和挑战是什么?在 2023 年 AI 跃变式爆发的大背景下,数据平台又该如何演进,以适应未来的数据使用场景?
简单理解什么是流计算
顶
而流计算则是异步的,发送的东西跟返回的东西没有逻辑关系,不断的发送数据,不断的返回结果,但是结果可能是之前发送的数据的处理结果跟现在发送的数据没有任何关系,是一种持续不断的状态.也就是说任务和任务之间没有明显的边界.
简单理解什么是流计算
顶
而流计算则是异步的,发送的东西跟返回的东西没有逻辑关系,不断的发送数据,不断的返回结果,但是结果可能是之前发送的数据的处理结果跟现在发送的数据没有任何关系,是一种持续不断的状态.也就是说任务和任务之间没有明显的边界.
进击大数据系列(九)Hadoop 实时计算流计算引擎 Flink
Apache Flink 是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行,并能以内存速度和任意规模执行计算。目前市场上主流的流式计算框架有Apache Storm、Spark Streaming、Apache Flink等,但能够同时支持低延迟、高吞吐、Exactly-Once(收到的消息仅处理一次)的框架只有Apache Flink。
流计算中的window计算 | 青训营笔记
批处理模型典型的数仓架构为T+1架构,即数据计算是按天计算的,当天只能看到前一天的计算结果。通常使用的引擎为Hive或者Spark等。计算的时候,数据是完全ready的,输入和输出都是确定性的
腾讯云流计算Oceanus:首创弹性包年包月集群,助力流量波动业务降本20%
在实际业务场景中,很多客户的作业存在波动,资源需求有固定和弹性部分,包年包月和按量计费模式无法很好地贴合业务场景。腾讯云大数据流计算 Oceanus 首创弹性包年包月计费模式,打破了传统计费模式的局限性,为用户提供更加灵活、高效的计费方案。灵活应对业务波动,平均降低资源成本两成!
腾讯云流计算 Oceanus:新版弹性方案,助力实时业务降本超30%
进入大数据时代,数据量呈爆炸式增长,传统批处理计算模式难以满足日益增长的实时性需求。数据实时化已经成为数字经济时代的必然趋势。实时计算作为一种能够持续处理数据流的技术,能够以毫秒级延迟提供计算结果,为实时分析、风控、推荐等应用场景提供强有力的支持。