Pinterest 发布基于Flink与Iceberg的数据分区确认机制

发生了什么

Pinterest 为其下一代数据库摄取框架引入基于事件时间的分区最终确认机制，使下游任务能够判断流式数据何时足够完整并安全消费。该方案由 Apache Flink 衡量事件时间推进，并通过 Apache Iceberg 元数据发布不会回退的最终确认水位线；水位线以 Iceberg 表属性存储，下游无需单独协调服务即可读取。Pinterest 表示该平台使用 CDC、Kafka、Flink、Spark 和 Iceberg，支持 PB 级数据与数千条流水线，线上变更通常可在 15 分钟到一小时内供分析使用。此前批处理方案以任务完成表示分区就绪，而流式摄取持续提交变更、缺少明确完成点，该机制意在解决自然时间区间结束后数据仍可能延迟到达的难题。