Built for Agents: The Case for Spark Declarative Pipelines

Declarative 管道在 528 个构建中对 procedural 节省 34x 集群计算

Databricks 博客指出，其平台上 70% 的 SDP 流水线已由 AI 代理创建，而代理每次试错都烧集群算力、产出代码都要人审，编程模型的选择因此变得关键：作者用同一代理在 22 个数据工程任务（每任务配多组脏数据）上对比过程式 PySpark 与 Spark Declarative Pipelines，报告两者完成率几乎持平，但声明式只描述“要什么”，执行顺序与落盘交给 Spark，运行前的 dry run 先校验列引用、依赖与拓扑，把结构错误挡在集群之前，executor 用时约降 34 倍，代码中位数少约 51%，也未出现过程式中内存逐行处理的退化写法；代价是前期 LLM token 约多 2.3 倍，但属一次性固定成本，数据越大越划算；静默逻辑错误率两者相当，dry run 管不住正确性，仍需测试与评审；结论是生产规模下声明式是自主代理构建管道的明确架构选择，代理只写描述、不接触数据，全部实验可在公开仓库复现，上手参照官方编程指南、在 PySpark 中使用 SDP skill。

1. 1计算耗时降至约 1/34（596 vs 17 executor-seconds）
2. 2代码中位数 64 行 vs 131 行，少 51%
3. 3逻辑错误率 27.7% vs 32.2%，差距无意义，仍需测试

为什么重要　对用 agent 写生产管道的团队，声明式让结构错误在 dry run 被拦截，代码少 51%，只多花 2.3x tokens，直接影响 agent 迭代成本与评审效率。适合　适合负责 agent 生成数据管道、Spark/Databricks 的 MLOps 工程师

来源

databricks.com

发布

2026/10/24