[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f3pbx3g092vsff":3},{"code":4,"message":5,"data":6,"timestamp":38},10000,"success",{"full_name":7,"position":8,"description":9,"language":10,"stars":11,"forks":12,"stars_gained":12,"age_days":13,"hn_threads":14,"one_liner":15,"summary_md":16,"topic":17,"github_topics":20,"license":34,"homepage":35,"updated_at":36,"history":37},"T-Crypt\u002Fberth",19,"Decides who gets your GPU. Chat, image and voice engines lease the card in turn instead of grabbing it, so two of them never load at once and crash each other. One Go binary, nothing else to install.","Go",159,12,13,[],"让聊天、图像、语音引擎和游戏轮流占用同一块 GPU，避免显存冲突把彼此搞崩。","如果一台机器上同时跑 llama-swap、ComfyUI、Ollama 和游戏，显存耗尽只是时间问题。Berth 是一个本地 GPU 调度小工具，让这些进程排队轮换，适合已经在手动管理本地推理的人认真看一下。\n\n## 解决什么问题\n\n以前你先启动一个聊天引擎，它悄悄占掉大部分显存；随后再开图像流水线或游戏，总有一方因显存不足退出，或者你得整晚盯着 `nvidia-smi`，先停一个再启下一个。用 Berth 后，每个进程向守护进程申请显卡，等前一个持有者把当前回复或任务做完，再启动。实际变化是显存在引擎之间自动交接，你不用再手动腾挪；harbor 界面会显示当前租约归属，以及哪些进程占着显存却没有租约。\n\n## 有什么不同\n\n核心机制是优先级队列加一次有意的“排空”：请求按 `hold`、`foreground`、`interactive`、`batch` 排序，先让持有者自行卸载，再终止它，等驱动确认显存已释放后才启动下一个。Berth 也会监控并非由它启动的进程，把 PID 和显存占用作为“stowaway”报告出来，但不主动杀掉。这个选择是重要取舍：未纳管进程可见却不会被清理，一个被遗忘的后台进程仍可能挡住租约。\n\n它并不替代 llama-swap。README 把两者定位为互补：llama-swap 在自己的配置里换模型，Berth 管的是整张卡，包括 ComfyUI、vLLM、游戏以及直通给虚拟机的另一张卡。代价是必须走协调路径：引擎要通过 `berth run`、网关或受支持的 claim 启动，直接启动的进程不会排队；stowaway 报告正是为此存在。\n\n## 谁值得试\n\n适合有一块 NVIDIA 卡、在本地聊天模型、图像工作流和偶尔游戏之间来回切换、已经厌烦手动释放显存的开发者或自托管用户；也适合同时维护多个专用引擎、靠手改配置切换的人。不适合对 SLA 有硬要求的多租户推理服务：每卡一个守护进程、alpha 状态，都说明它是面向工作站的工具，而不是共享生产容量的调度器。Intel 和 Apple 平台目前不支持，Mac 笔记本用户不必从这里开始。\n\n## 使用条件与边界\n\nLinux + NVIDIA 是受支持路径；Windows 10\u002F11 + NVIDIA 属于实验性，租约和进程归因可用，但没有打包安装器，也没有受限的控制管道。Linux 上的 AMD 也是实验性，RDNA3\u002FRDNA4 独立显卡和 Phoenix APU 只做了部分验证。多 GPU 同为实验性，需要每张卡一个守护进程并用 PCI 地址标识；单守护进程管理多卡、跨卡租约计划在 v0.4。安装可用 Go install 或发布二进制，随后配置用户服务（[安装指南](https:\u002F\u002Fgithub.com\u002FT-Crypt\u002Fberth\u002Fblob\u002Fmain\u002Fdocs\u002Finstall.md)）；端口写在 `berth.toml` 里，改动后要重启服务。\n\n真正要留意的是持续维护成本。项目处于 alpha（v0.3.6）且迭代快，版本之间配置和参数可能变化；卸载与服务管理有文档，但你需要愿意读发布说明和 [harbor 文档](https:\u002F\u002Fgithub.com\u002FT-Crypt\u002Fberth\u002Fblob\u002Fmain\u002Fdocs\u002Fharbor.md)，而不是把它当作装完就忘的成品。\n\n## HotRepo 点评\n\nHotRepo 从 2026-10-24 开始追踪该仓库；2026-10-25 它在“新项目榜”（并非总榜或日榜）以 159 个总星标排第 19 位，这是唯一一次记录到的观察，单日快照无法判断关注度能否持续。决定采用前，先对照支持矩阵确认你的具体 GPU 和平台，不要因为写了“Linux + NVIDIA”就默认笔记本或虚拟机也被覆盖。",{"slug":18,"name":19},"devops","运维与部署",[21,22,23,24,25,26,27,28,29,30,31,32,33],"comfyui","golang","gpu","inference","llama-cpp","llama-swap","llm","local-ai","nvidia","ollama","self-hosted","vllm","vram","Apache-2.0","https:\u002F\u002Ft-crypt.github.io\u002Fberth\u002F","2026-10-25T06:47:35Z",[],1792919582]