google-ai-edge/LiteRT-LM

项目介绍

LiteRT-LM 是 Google 基于 LiteRT 的 LLM 运行编排层，负责模型加载和执行，覆盖 Android、iOS、Web、桌面与 IoT 开发板。它提供 GPU 和 NPU 加速、视觉与音频输入、面向智能体流程的函数调用，并支持 Gemma、Llama、Phi-4、Qwen 等模型（README、技术概览）。Google 表示它已用于 Chrome、Chromebook Plus 和 Pixel Watch 的端侧 GenAI 体验，因此它面向的是把模型嵌进应用的团队，而不是 GPU 服务端场景。

快速使用

不写代码也能在终端试跑。先安装 uv，再安装 CLI 并从 Hugging Face 拉取模型执行：

uv tool install litert-lm

litert-lm run \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --prompt="What is the capital of France?"

回答会直接打印到终端。CLI 还支持指定后端和投机解码，例如 Gemma 4 示例使用 --backend=gpu --speculative-decoding=on（CLI 指南）。要在应用中集成，可按语言查阅指南：Python、Kotlin、Swift、JavaScript、Flutter、C++。从源码编译需要检出最新 release 标签，再按编译与运行指南操作。

语言与平台支持

Python、Kotlin、C++ 标记为稳定；Swift、JavaScript（Web）和 Flutter 处于早期预览或社区维护状态（README）。Web SDK（@litert-lm/core）以流式方式加载模型，默认使用 GPU 后端，并支持图像和音频输入。v0.19.0 还加入了 Qwen3-ASR、Kokoro、Qwen3-TTS 等语音模型支持。

使用约束

• C API 1.0.0 是破坏性变更：可能失败的函数改为返回 LiteRtLmStatusCode，结果放在 out_* 参数中，且只导出 litert_lm_* 符号。基于旧 C 接口编写的代码需要修改。
• 后端能力取决于目标平台和硬件：GPU/NPU 加速的可用性与性能因设备而异，示例通过 --backend=gpu 显式选择后端。
• 模型需为 .litertlm 格式，或从已准备好的 Hugging Face 仓库拉取，不能直接传入任意 checkpoint。
• Swift、JavaScript、Flutter 仍属早期预览，接口可能变化。
• 项目采用 Apache-2.0 许可证。

HotRepo 点评

在 2026-11-01 记录的 C++ 语言日榜中，LiteRT-LM 排名第 10，当天新增 9 Star，累计 6,791 Star。这是同日同语言榜的名次，单次快照只能说明当天的位置，不能据此判断趋势。更值得注意的技术信号是 README 列出的落地场景——Chrome、Chromebook Plus 和 Pixel Watch——这让它属于少数有一方产品实际使用的端侧推理栈，而不只是演示。稳定 API 覆盖 C++、Python、Kotlin，Swift 和 JS 尚在预览，适合需要在移动端、浏览器和嵌入式目标之间共用一套运行时的团队。