搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

spark-engineer

编写并调优 PySpark 或 Scala Spark 作业,涵盖 DataFrame 转换、连接、分区和 shuffle 配置。

适合什么时候用

你有一个能跑但很慢、或在 Spark UI 里出现溢写的作业,需要定位 shuffle 或数据倾斜的修法。

举个例子

你对 AI 说

用 spark-engineer 修一下我的 PySpark 作业:2 TB 的事件表连接一张小产品表,shuffle 阶段一直溢写。

你会拿到
  • 重写的连接代码
  • shuffle 与内存配置
  • 分区策略说明

它会怎么做

  • 数据倾斜时用加盐或自定义分区处理单一热点键。
  • 小于 200 MB 的小维表用 broadcast 提示做广播连接。
  • 只在 DataFrame 被多次复用时建议缓存,用完再释放。