在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎 Flink 和数据湖 Apache Iceberg 两种技术，来解决业务数据实时入湖相关的问题。 Flink CDC介绍 CDC 全称是 Change Data Capture，捕获变更数据，是一个 ...

实时数据处理向智能化方向全面进化，最新的流处处理引擎已经可以支持用户在 Java、Python 以及 Flink SQL 中定义和管理 AI 模型，并可在 Flink SQL 查询中实时调用任意模型，实现数据流上的即时推理与智能决策。 近日，Apache Flink项目管理委员会（PMC）宣布新的动态 ...

在当今数字化时代，数据已经成为企业和组织中不可或缺的重要资产，包括个人信息、商业机密、财务数据等等。然而，随着数据泄露和安全问题的不断增加，数据脱敏已经成为了一项非常重要的工作。随着以 Flink 为代表的实时数仓的兴起，企业对实时数据安全 ...

数据湖是大数据领域近年来非常火热的技术，传统数仓无法实现增量数据的实时更新，也无法支持灵活的元数据格式，数据湖技术便在这一背景下诞生了。数据库的增量变更是数据湖中增量数据的主要来源，但目前 TiDB 的入湖路径还比较割裂，全量变更用 Dumpling ...

2023 年 12 月 9 日，Flink Forward Asia 2023 （以下简称 FFA ）在北京圆满结束。70+ 演讲议题、30+ 一线大厂技术与实践分享，以及座无虚席的现场，无一不昭示着重回线下的 FFA 的行业号召力。 借用 Apache Flink 中文社区发起人、Apache Paimon PPMC Member、阿里云智能开源大数据 ...

Flink search delivers a unified interface for querying vector databases, simplifying the data enrichment process Built-in ML functions open the full potential of AI-driven analytics to non-data ...

3月7日消息，知名开源大数据引擎Flink社区对外透露，2022年阿里巴巴、腾讯、字节跳动等中国企业贡献了超过一半的代码，其中阿里巴巴对Flink核心代码贡献最大，中国开发者已经成为Flink全球化社区的中坚力量。 据悉，Flink是全球范围内被广泛使用的开源大数据 ...

Fabian Hueske is a committer and PMC member of the Apache Flink project and a co-founder of Data Artisans. Apache Flink is a framework for implementing stateful stream processing applications and ...

Flink是一个面向流处理和批处理的分布式数据计算引擎，能够基于同一个Flink运行，可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流。

Unlock the full InfoQ experience by logging in! Stay updated with your favorite authors and topics, engage with content, and download exclusive resources. Vivek Yadav, an engineering manager from ...