搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

datazip-inc/olake-go

数据

把数据库、Kafka 和 S3 数据同步到 Apache Iceberg 或 Parquet 的开源摄取引擎,适合搭建湖仓管道。

2,021
311
Go
Apache-2.0
创建于 2 年前

项目介绍

OLake Go 是一个开源数据摄取引擎,把业务数据源复制到开放湖仓格式。它支持从 PostgreSQL、MySQL、MongoDB、Oracle、DB2、MSSQL 以及 Kafka 和 S3(含 S3 兼容存储)读取数据,写入 Apache Iceberg 表或普通 Parquet 文件。各连接器按支持程度提供全量同步,部分提供增量同步和 CDC。

CDC 方面,PostgreSQL 走 pgoutput,MySQL 基于 binlog,MongoDB 基于 oplog;Oracle CDC 标注为进行中,DB2 没有 CDC。写入端 Iceberg 支持 Glue、Hive、JDBC、REST 四类 catalog(Nessie、Polaris、Unity、Lakekeeper、S3 Tables),Parquet 写入文件系统。项目强调摄取链路不需要 Spark、Flink、Kafka Connect 和 Debezium,并提供自托管 UI 与面向自动化的 CLI。

快速使用

推荐用 Docker Compose 启动 UI 整套服务。前提是已安装 Docker 和 Compose 插件;下面的命令从独立的 olake-ui 仓库拉取 compose 文件并启动:

curl -sSL https://raw.githubusercontent.com/datazip-inc/olake-ui/master/docker-compose.yml | docker compose -f - up -d

启动后打开 http://localhost:8000,用默认账号 admin / password 登录。在界面里依次创建源连接和目标,再创建作业:填写名称、设置调度、选择源和目标、勾选要同步的表,并为每张表选择 CDC、Full Refresh 或 Incremental,然后运行。完整流程见第一条管道教程。

如果更倾向 CLI,文档给出了独立 Docker 容器和 Kubernetes Helm 的部署方式。CLI 提供 spec、check、discover、sync 和 clear-destination 命令,具体配置和命令示例在文档里,README 没有展开。

使用场景

常见用法包括不依赖 Spark/Flink 把 OLTP 表搬到 Iceberg、用 Trino/Athena/Snowflake 等查询引擎直接分析最新 CDC 数据,以及让分析和机器学习共用同一份数据。Iceberg 搭配 Presto、Trino、Athena、Snowflake 的演练指南都已在文档中提供。

使用约束

  • CDC 支持因源而异:Oracle CDC 尚未完成,DB2 没有 CDC;Kafka 同步是按最新 offset 截断的有界增量读取,不是持续流式消费。
  • 快速开始的 compose 文件来自 olake-ui 仓库,执行 Docker 的机器需要能访问该地址。
  • 默认登录凭据是公开的,若 UI 不只在本机访问,应先修改密码。
  • 表维护不在本仓库内,由配套的 OLake Fusion 负责。
  • 580K RPS 等性能数字是项目按注明日期自测的基准结果,取决于其测试环境,并非独立测量。
  • 许可证为 Apache-2.0。

HotRepo 点评

在 2026 年 11 月 19 日的 Go 日榜记录中,OLake Go 为 2,007 stars、310 forks,当天新增 115 stars,并在该语言榜上拿到第 1 名。这是 Go 语言日榜的一次快照,不是全语言榜单记录,因此反映的是 Go 项目中的单日表现,而非持续趋势。值得关注的是它的技术路线:不依赖 Spark、Flink、Debezium,直接写 Iceberg,并覆盖多个企业数据库;同时 Oracle CDC 和 Iceberg V3 支持仍在路线图上。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. debezium/debezium开源变更数据捕获平台,把数据库行级变更以低延迟、有序事件流写入 Kafka 或直接交给应用消费。Java13,305
  2. apache/iceberg让多个查询引擎同时安全读写同一批超大规模分析表的表格式。Java9,379
  3. airbytehq/airbyte开源 ELT 数据集成平台,把 API、数据库和文件的数据同步到数仓、数据湖或 AI 应用。Python22,325
  4. apache/seatunnel在系统之间以批处理、实时或 CDC 方式同步海量数据,支持多种连接器与可选执行引擎。Java9,776
  5. apache/kafka面向服务之间高吞吐事件传输与留存场景的分布式事件流平台。Java34,115