搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

apache/polaris

数据

面向多引擎湖仓的开源 Apache Iceberg REST 目录服务,统一管理表元数据与访问控制。

2,122
575
Java
Apache-2.0
创建于 2 年前

项目介绍

Apache Polaris 是 Apache Iceberg 的开源目录服务,实现了 Iceberg 的 REST API,让 Apache Spark、Apache Flink、Trino、Apache Doris、StarRocks、Dremio OSS 等多个引擎共享同一份湖仓元数据,不必各自维护一套表定义。适合需要跨引擎查询同一批 Iceberg 表的数据平台和湖仓运维团队。

仓库按 Gradle 模块组织:polaris-core 存放实体定义和核心业务逻辑,生成的 API 模块提供 Management API 和 Iceberg REST 服务,polaris-server 是基于 Quarkus 的运行时,另有 Hive/Hadoop/BigQuery 联邦和 OPA/Ranger 授权扩展 项目结构。仓库内还附带 Python 客户端和 Spark 插件,更多工具放在独立的 Polaris-Tools 仓库。

快速使用

构建和运行需要 Java 21+ 与 Docker 27+,且 Docker 需保持运行,集成测试依赖它 构建说明。

./gradlew build
./gradlew run -Dpolaris.bootstrap.credentials=POLARIS,root,secret

启动后服务监听 localhost:8181。启动参数中的 realm 为 POLARIS、客户端 ID 为 root、密钥为 secret;不传参数时使用预设凭据 POLARIS,root,s3cr3t。要验证目录读写,可执行 ./regtests/run_spark_sql.sh,在 Spark SQL 中运行:

create database db1;
create table db1.table1 (id int, name string);
insert into db1.table1 values (1, 'a');
select * from db1.table1;

也可以直接运行发布镜像:docker run -p 8181:8181 -p 8182:8182 apache/polaris:latest。本地和云上部署的完整步骤见 Quickstart,工作原理见 Overview。

部署与配置

Kubernetes 部署使用 helm/ 下的 Helm chart,用法见 Helm README。服务配置支持多种方式,默认值位于 runtime/defaults/src/main/resources/application.properties,具体选项见 配置指南。不需要 Docker 相关测试时,可用 ./gradlew check -PnoIntegrationTests 跳过集成测试。

使用约束

  • 标准构建和测试流程要求 Java 21+ 与 Docker 27+,集成测试需要 Docker 守护进程运行。
  • ./gradlew run 在未指定凭据时会使用预设凭据,把服务暴露到本地开发环境之外前应先替换。
  • OPA 与 Ranger 授权以扩展形式提供,默认运行时配置在生产使用前需要审查。
  • 项目采用 Apache-2.0 许可证 许可证。

HotRepo 点评

2026-11-19 的 Java 日榜中,Apache Polaris 以 2,121 Star、575 Fork 排在第 9 位,该日快照记录的 Star 增量为 0。单条记录只能说明它进过 Java 日榜前十,不足以判断长期趋势。更有参考价值的是它的定位:作为 Iceberg REST 目录规范的实现而非单引擎工具,它的价值取决于周边引擎的采用程度,这也解释了为什么联邦、授权和客户端模块承担了大量实际使用重量。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. apache/iceberg让多个查询引擎同时安全读写同一批超大规模分析表的表格式。Java9,379
  2. apache/gravitino把 Hive、MySQL、S3 等异构数据源的元数据统一到一个目录,让查询引擎和团队不必各自维护一套。Java3,322
  3. datazip-inc/olake-go把数据库、Kafka 和 S3 数据同步到 Apache Iceberg 或 Parquet 的开源摄取引擎,适合搭建湖仓管道。Go2,007
  4. apache/doris面向亚秒级看板、湖仓查询与文本/向量混合检索的实时 SQL 分析数据库。Java16,160
  5. apache/tika从上千种文件类型中检测并提取元数据与文本,适合 Java 应用及 AI/RAG 数据管道。Java4,128