T-Crypt/berth

如果一台机器上同时跑 llama-swap、ComfyUI、Ollama 和游戏，显存耗尽只是时间问题。Berth 是一个本地 GPU 调度小工具，让这些进程排队轮换，适合已经在手动管理本地推理的人认真看一下。

解决什么问题

以前你先启动一个聊天引擎，它悄悄占掉大部分显存；随后再开图像流水线或游戏，总有一方因显存不足退出，或者你得整晚盯着 nvidia-smi，先停一个再启下一个。用 Berth 后，每个进程向守护进程申请显卡，等前一个持有者把当前回复或任务做完，再启动。实际变化是显存在引擎之间自动交接，你不用再手动腾挪；harbor 界面会显示当前租约归属，以及哪些进程占着显存却没有租约。

有什么不同

核心机制是优先级队列加一次有意的“排空”：请求按 hold、foreground、interactive、batch 排序，先让持有者自行卸载，再终止它，等驱动确认显存已释放后才启动下一个。Berth 也会监控并非由它启动的进程，把 PID 和显存占用作为“stowaway”报告出来，但不主动杀掉。这个选择是重要取舍：未纳管进程可见却不会被清理，一个被遗忘的后台进程仍可能挡住租约。

它并不替代 llama-swap。README 把两者定位为互补：llama-swap 在自己的配置里换模型，Berth 管的是整张卡，包括 ComfyUI、vLLM、游戏以及直通给虚拟机的另一张卡。代价是必须走协调路径：引擎要通过 berth run、网关或受支持的 claim 启动，直接启动的进程不会排队；stowaway 报告正是为此存在。

谁值得试

适合有一块 NVIDIA 卡、在本地聊天模型、图像工作流和偶尔游戏之间来回切换、已经厌烦手动释放显存的开发者或自托管用户；也适合同时维护多个专用引擎、靠手改配置切换的人。不适合对 SLA 有硬要求的多租户推理服务：每卡一个守护进程、alpha 状态，都说明它是面向工作站的工具，而不是共享生产容量的调度器。Intel 和 Apple 平台目前不支持，Mac 笔记本用户不必从这里开始。

使用条件与边界

Linux + NVIDIA 是受支持路径；Windows 10/11 + NVIDIA 属于实验性，租约和进程归因可用，但没有打包安装器，也没有受限的控制管道。Linux 上的 AMD 也是实验性，RDNA3/RDNA4 独立显卡和 Phoenix APU 只做了部分验证。多 GPU 同为实验性，需要每张卡一个守护进程并用 PCI 地址标识；单守护进程管理多卡、跨卡租约计划在 v0.4。安装可用 Go install 或发布二进制，随后配置用户服务（安装指南）；端口写在 berth.toml 里，改动后要重启服务。

真正要留意的是持续维护成本。项目处于 alpha（v0.3.6）且迭代快，版本之间配置和参数可能变化；卸载与服务管理有文档，但你需要愿意读发布说明和 harbor 文档，而不是把它当作装完就忘的成品。

HotRepo 点评

HotRepo 从 2026-10-24 开始追踪该仓库；2026-10-25 它在“新项目榜”（并非总榜或日榜）以 159 个总星标排第 19 位，这是唯一一次记录到的观察，单日快照无法判断关注度能否持续。决定采用前，先对照支持矩阵确认你的具体 GPU 和平台，不要因为写了“Linux + NVIDIA”就默认笔记本或虚拟机也被覆盖。