2022 年 11 月 26-27 日，Flink Forward Asia（FFA）峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会，是目前国内最大的 Apache 顶级项目会议之一，也是 Flink 开发者和使用者的年度盛会。由于疫情原因，本届峰会仍采用线上形式。此外，本次峰会上还举行了第四届天池实时计算 Flink 挑战赛的颁奖仪式，4346 支参赛队伍中共有 11 支队伍经过层层角逐脱颖而出，最终收获了奖项。 FFA 大会照例总结了

在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈检测、实时数仓与ETL类型、流数据分析类型、实时报表类型等实时业务场景，而Flink对于这些类型的场景都有着非常好的支持。

本⽂主要针对波分运营管理系统展开介绍，即波分事件中⼼主要⽬的与技术⼿段浅谈。⽽开放光系统运营关键核⼼就是事件（event），运营事件的⽬标是⼀个事件解决⽹络的⼀个具体的问题。事件中⼼则是将⽹络所经历的所有事件准确的记录并汇集在⼀起。事件中⼼的每个事件需要准确描述⼀个具体的问题，并描述该问题带来的影响。所以我们研发了波分数据处理平台，其包含对性能数据标准定义、采集、数据实时计算功能。

本⽂主要针对波分运营管理系统展开介绍，即波分事件中⼼主要⽬的与技术⼿段浅谈。⽽开放光系统运营关键核⼼就是事件（event），运营事件的⽬标是⼀个事件解决⽹络的⼀个具体的问题。事件中⼼则是将⽹络所经历的所有事件准确的记录并汇集在⼀起。事件中⼼的每个事件需要准确描述⼀个具体的问题，并描述该问题带来的影响。所以我们研发了波分数据处理平台，其包含对性能数据标准定义、采集、数据实时计算功能。

Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的事务和生产幂等两个特性来共同实现的

在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是基于「Spark」实时计算引擎开发作业来满足业务方提出的需求。然而，这类作业并没有统一的平台进行管理，任务的开发形式、提交方式、可用性保障等也完全因人而异。 伴随着业务的加速发展，越来越多的实时场景涌现出来，对实时作业的开发效率和质量保障提出了更高的要求。为此，我们从去年开始着手打造伴鱼公司级的实时计算平台，平台代号「Pa

紧密中心度（Closeness Centrality）计量了一个节点到其他所有节点的紧密性，即该节点到其他节点的距离的倒数；节点对应的值越高表示紧密性越好，能够在图中传播信息的能力越强，可用以衡量信息流入或流出该节点的能力，多用与社交网络中关键节点发掘等场景。

陈仕明 虎牙数据平台负责人，一直从事数据相关的工作，从最初的企业数仓，到互联网数仓架构，再到大数据系统架构，拥有十年以上的行业经验。

随着业务的高速发展和实时计算的迭代，业务对实时计算的需求越来越多，对实时任务的稳定性要求也越来越高。对实时计算平台而言，底层调度系统及计算引擎的稳定性、高可用性就变的十分重要。本文主要围绕作业帮实时计算平台底层调度系统，从背景现状、目标与挑战、方案设计以及未来规划等几方面来展开。

TuGraph Analytics（内部项目名 GeaFlow）是蚂蚁集团开源的分布式实时图计算引擎，即流式图计算。通过 SQL + GQL 融合分析语言对表模型和图模型进行统一处理，实现了流、批、图一体化计算，并支持了 Exactly Once 语义、高可用以及一站式图研发平台等生产化能力。

Apache Flink 是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行，并能以内存速度和任意规模执行计算。目前市场上主流的流式计算框架有Apache Storm、Spark Streaming、Apache Flink等，但能够同时支持低延迟、高吞吐、Exactly-Once（收到的消息仅处理一次）的框架只有Apache Flink。