全部技能
spark-engineer
编写并调优 PySpark 或 Scala Spark 作业,涵盖 DataFrame 转换、连接、分区和 shuffle 配置。
- 属于 Jeffallan/claude-skills
- 4200次安装
- 开发工具
适合什么时候用
你有一个能跑但很慢、或在 Spark UI 里出现溢写的作业,需要定位 shuffle 或数据倾斜的修法。
举个例子
你对 AI 说
用 spark-engineer 修一下我的 PySpark 作业:2 TB 的事件表连接一张小产品表,shuffle 阶段一直溢写。
你会拿到
- 重写的连接代码
- shuffle 与内存配置
- 分区策略说明
它会怎么做
- 数据倾斜时用加盐或自定义分区处理单一热点键。
- 小于 200 MB 的小维表用 broadcast 提示做广播连接。
- 只在 DataFrame 被多次复用时建议缓存,用完再释放。