[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f1vnbs8fhda7lo":3},{"code":4,"message":5,"data":6,"timestamp":39},10000,"success",{"full_name":7,"position":8,"description":9,"language":10,"stars":11,"forks":12,"stars_gained":13,"age_days":14,"hn_threads":15,"one_liner":22,"summary_md":23,"topic":24,"github_topics":27,"license":35,"homepage":36,"updated_at":37,"history":38},"trymirai\u002Fuzu",10,"A high-performance inference engine for AI models","Rust",2569,148,761,488,[16],{"id":17,"title":18,"points":19,"comments":20,"posted_at":21},44570048,"Show HN: We made our own inference engine for Apple Silicon",186,46,"2025-07-15","在 Apple 芯片上本地跑 LLM 和 TTS 推理，给想要隐私和零推理成本的 App 开发者。","## 解决什么问题\n\n想在移动端或桌面应用里内置大模型，常规做法是调用托管 API：把用户输入发到别人的服务器，按 token 付费。对隐私敏感的应用、离线场景或高并发产品来说，这条路要么不可接受，要么太贵。uzu 是一个 Rust 推理引擎，目标是让模型直接跑在你的 App 里，借助 Apple 统一内存降低延迟，数据不出设备。\n\n## 有什么不同\n\n现在本地推理大多走 llama.cpp 或 MLX，两者都是通用运行时，集成工作得自己做。uzu 的第一张牌是一套高层 API 同时覆盖 Rust、Python、Swift、TypeScript，把模型下载、配置和会话管理打包好，桌面端和 iOS 端调用方式一致。第二张牌是明确针对 Apple Silicon，并自带带命名规则（`alibaba:qwen3.5:0.8b:mirai:mirai-m:4`）的模型仓库，省去本地推理最常见的搬文件环节。README 还提到「可追踪的计算」以对照参考实现验证正确性，但文档对具体机制讲得很少。\n\n## 适合谁\n\n在 macOS 或 iOS 上做聊天或 TTS 功能、想要一个稳定 SDK 而不想自己维护 llama.cpp 绑定的 App 与产品开发者。想控制量化、采样细节或移植任意架构的研究者应该去看 MLX 或 llama.cpp，uzu 偏封闭，README 没有暴露底层控制。非 Apple 平台不在目标范围内。\n\n## 上手成本\n\n你要接受 Apple Silicon 平台锁定、年轻的厂商和 pre-1.0 的 API：PyPI、npm、SPM 上的版本都是 0.6.13，Rust 依赖直接从 `main` 分支拉取而非 crates.io，没有 semver 稳定性保证。许可证是 MIT，比较宽松。模型权重在运行时从 Mirai 的仓库下载，因此依赖该服务可用。README 只有快速开始和示例，更细的运维细节在外部文档里，上手前评估失败模式会比较难。\n\n## 点评\n\nuzu 大约只有 16 个月历史，过去一个月 Rust 板块涨了 745 星，排在 HotRepo 月榜第 10 位；这是在一个 2025 年年中仅有 186 分 Show HN 的项目上出现的近期急涨，而不是长期积累的成熟度信号。多语言 SDK 和 Apple 优先的设计确实比通用运行时省事，但 pre-1.0 版本号、git 分支依赖和运行时模型仓库都是实打实的锁定风险。如果只做 Apple 平台、想要最快跑通端侧聊天，值得做个原型；如果需要 API 稳定或非 Apple 目标，建议再等等。",{"slug":25,"name":26},"machine-learning","机器学习",[28,29,30,31,32,33,34],"ai","high-performance","inference","llm","metal","rust","tts","MIT","https:\u002F\u002Ftrymirai.com","2026-10-24T20:05:34Z",[],1792887620]