Niko1221/Strata

项目介绍

Strata 是一套本地推理栈，目标是在消费级硬件上运行大型量化模型，支持 NVIDIA RTX 20 至 50 系列、较新的 AMD Radeon 显卡、Linux 下的 Intel Arc、Apple Silicon，以及 Ryzen AI Max Strix Halo 等平台 (41)。它提供桌面聊天应用和终端启动器，并在本机暴露兼容 OpenAI 与 Anthropic 的 API，方便 Claude Code、Codex CLI 等编程工具直接接入本地模型 (49)。

模型方面覆盖 Qwen3.8-Flash-Next（含 IQ1_M 编码版本）、Qwen3.6-35B-A3B 和 DeepSeekV4.1-Flash-1017。较大的模型会从 SSD 读取放不进内存的部分，因此需要足够的磁盘空间 (21)。README 给出了特定硬件上的显存需求和输出速度测量，但这些是作者在特定版本上的数据，不代表每台机器都能达到。

快速使用

最直接的方式是桌面应用：从最新发布页下载 Windows、Linux 或 Mac 安装包 (4)，安装后选择模型即可开始对话；首次启动时应用会下载对应显卡的推理引擎 (28)。

偏好终端的话，用一行命令安装后运行 strata launch。Linux / macOS：

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
strata launch

Windows 使用 PowerShell：

irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

Windows 安装完成后需要新开一个终端，再运行 strata launch。命令会提示下载并启动模型 (31)。之后运行 strata connect 可查看各编程工具的连接配置 (50)。从源码构建、Docker 和完整安装步骤另有文档 (38)。

使用约束

需要兼容的硬件，以及足够的显存、内存，部分大模型还需要大量空闲磁盘。例如 DeepSeekV4.1-Flash-1017 的不同量化版本约需 197–280 GB 磁盘空间 (21)。模型效果和速度受量化等级、显卡和驱动影响很大，README 中的速度表只对应列出的硬件和版本。

桌面应用以预编译安装包分发，终端方式使用安装脚本。项目声明采用 MIT 许可证 (64)，但 README 没有说明某个发布二进制与仓库源码的对应关系，因此发布产物应按需要自行判断是否信任，文档本身并未对其做验证。README 提到支持图片输入，但没有展开说明，依赖视觉能力前应先查看对应模型的文档。

HotRepo 点评

2026 年 10 月该项目在 Hacker News 上引发了大量讨论，其中一个帖子获得 940 分和 420 条评论，反馈正面和负面都有。有评论者报告在 RTX 4090、128 GB DDR5 和 Ryzen 7950X3D 上达到 124 tokens/s (1)；也有评论者对质量提出疑问，例如同一 GGUF 和视觉适配器权重下，Strata 在坐标定位基准上的误差明显高于 llama.cpp，另有评论者称编码时模型误以为创建过的文件消失了 (1)。这些都是个人测试和个别经历，不是受控评测，而且有评论指出视觉结果还取决于视觉塔的量化方式 (1)。实际意义是：Strata 适合愿意在自有机器上运行大模型、并能用自己的任务验证效果的人；预编译分发方式，以及输出质量上尚待弄清的问题，是采用前需要权衡的重点。