Databricks发布Spark按需状态重分区

发生了什么

据Databricks Blog报道，Databricks宣布推出Apache Spark Structured Streaming的按需状态重分区功能，目前处于公共预览阶段，适用于Databricks Runtime 18及以上版本。该功能允许用户在不重建检查点状态的情况下调整有状态流查询的分区数量，通过物理重新分配状态以匹配新的分区计数。配置方式是将spark.sql.shuffle.partitions替换为专用的spark.sql.streaming.stateStore.partitions参数并重启查询，从而解决旧设计无法安全变更分区的限制。