lemonade-sdk/lemonade

Lemonade 是一个本地 AI 服务器与可嵌入运行时：它在本机的 CPU、GPU 或 NPU 上运行模型，再通过常见的 API 接口暴露出来。它适合希望把现有 OpenAI 风格客户端指向本地端点、而非云服务的人。模型本身是第三方资源，Lemonade 负责的是服务层。

它能做什么

服务器可运行聊天、编程、语音转文字、文字转语音、音频、图像、3D 和文本分类模型，并根据硬件把每个请求路由到合适的推理引擎与后端。客户端用标准 OpenAI 客户端（也包括其他语言库）连到本地 base URL，现有应用只需少量改动就能换成本地模型。CLI 负责拉取、列出和运行模型，查看可用后端，以及启动编程工具。

一个关键机制是后端选择：llamacpp 覆盖 CPU、Vulkan、ROCm、CUDA 与 Metal 路径；flm 和 ryzenai-llm 面向 AMD XDNA2 NPU；vllm 和 ds4 针对特定的 Strix Halo 配置。由于支持情况随模态、设备和操作系统而变，文档中的支持矩阵——以及 lemonade backends 检查——比“GPU/NPU 加速”这类笼统说法更重要。

模型别名提供主备切换：别名可以先指向一个模型，之后改指另一个，从而得到与环境无关的名称。另外还有面向 OpenAI 兼容云厂商的 cloud offload，标注为实验性功能。

使用方式

Lemonade Server 可在 Windows、Linux 或 macOS 上安装为服务，并记录了 Docker、Snap、Arch、Debian、Fedora 和 Ubuntu 软件包。获取模型一般用 lemonade pull 或 Model Manager；自定义 GGUF/ONNX 文件可来自 Hugging Face 或 ModelScope。Embeddable Lemonade 则是独立的便携二进制，可打包进其他应用，无安装器、品牌标记或遥测。

要求与限制

硬件支持因路径而异：例如 CUDA 文本生成列出的要求是 Turing 或更新的 NVIDIA GPU，NPU 引擎仅限 XDNA2 设备及特定系统，还有若干后端被标为实验性。选模型前先查支持矩阵是实际前提。

关于隐私，README 说明程序不会在未请求时向其他联网系统传输信息，但模型下载或注册表查询可能根据用户所选模型源联系 Hugging Face 或 ModelScope。项目采用 Apache-2.0 许可证，部分内容按 LICENSE 文件中说明的其他条款授权。

项目源码与说明