apache/polaris
数据面向多引擎湖仓的开源 Apache Iceberg REST 目录服务,统一管理表元数据与访问控制。
项目介绍
Apache Polaris 是 Apache Iceberg 的开源目录服务,实现了 Iceberg 的 REST API,让 Apache Spark、Apache Flink、Trino、Apache Doris、StarRocks、Dremio OSS 等多个引擎共享同一份湖仓元数据,不必各自维护一套表定义。适合需要跨引擎查询同一批 Iceberg 表的数据平台和湖仓运维团队。
仓库按 Gradle 模块组织:polaris-core 存放实体定义和核心业务逻辑,生成的 API 模块提供 Management API 和 Iceberg REST 服务,polaris-server 是基于 Quarkus 的运行时,另有 Hive/Hadoop/BigQuery 联邦和 OPA/Ranger 授权扩展 项目结构。仓库内还附带 Python 客户端和 Spark 插件,更多工具放在独立的 Polaris-Tools 仓库。
快速使用
构建和运行需要 Java 21+ 与 Docker 27+,且 Docker 需保持运行,集成测试依赖它 构建说明。
./gradlew build
./gradlew run -Dpolaris.bootstrap.credentials=POLARIS,root,secret
启动后服务监听 localhost:8181。启动参数中的 realm 为 POLARIS、客户端 ID 为 root、密钥为 secret;不传参数时使用预设凭据 POLARIS,root,s3cr3t。要验证目录读写,可执行 ./regtests/run_spark_sql.sh,在 Spark SQL 中运行:
create database db1;
create table db1.table1 (id int, name string);
insert into db1.table1 values (1, 'a');
select * from db1.table1;
也可以直接运行发布镜像:docker run -p 8181:8181 -p 8182:8182 apache/polaris:latest。本地和云上部署的完整步骤见 Quickstart,工作原理见 Overview。
部署与配置
Kubernetes 部署使用 helm/ 下的 Helm chart,用法见 Helm README。服务配置支持多种方式,默认值位于 runtime/defaults/src/main/resources/application.properties,具体选项见 配置指南。不需要 Docker 相关测试时,可用 ./gradlew check -PnoIntegrationTests 跳过集成测试。
使用约束
- 标准构建和测试流程要求 Java 21+ 与 Docker 27+,集成测试需要 Docker 守护进程运行。
./gradlew run在未指定凭据时会使用预设凭据,把服务暴露到本地开发环境之外前应先替换。- OPA 与 Ranger 授权以扩展形式提供,默认运行时配置在生产使用前需要审查。
- 项目采用 Apache-2.0 许可证 许可证。
HotRepo 点评
2026-11-19 的 Java 日榜中,Apache Polaris 以 2,121 Star、575 Fork 排在第 9 位,该日快照记录的 Star 增量为 0。单条记录只能说明它进过 Java 日榜前十,不足以判断长期趋势。更有参考价值的是它的定位:作为 Iceberg REST 目录规范的实现而非单引擎工具,它的价值取决于周边引擎的采用程度,这也解释了为什么联邦、授权和客户端模块承担了大量实际使用重量。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。