google-ai-edge/mediapipe
机器学习面向移动端、Web、桌面和边缘设备的跨平台端侧机器学习框架,提供预置任务和可定制的实时媒体处理流水线。
项目介绍
MediaPipe 提供运行在设备端的机器学习组件,覆盖实时音频、视觉、文本和生成式 AI 场景。它分为两层:MediaPipe Tasks 是跨平台 API、库和预训练模型,支持目标检测、音频分类、文本分类、LLM 推理、语义检索等常见任务;MediaPipe Framework 是更底层的图计算引擎,用 packet、graph 和 calculator 组装自定义感知流水线 Framework 概念。
它的目标用户是要把 ML 功能落地到 Android、iOS、Web、桌面、边缘设备和 IoT 的开发者,而不是训练模型的研究者。仓库主体是 C++,采用 Apache-2.0 许可证;Solutions 套件建立在同一份开源代码之上,因此可以按需修改。
快速使用
先选择与你任务对应的解决方案指南,例如 视觉目标检测、音频分类 或 LLM 推理,再按目标平台完成环境配置:
集成前可先在浏览器中运行 演示,或在 MediaPipe Studio 中可视化、测试和基准测试模型。README 本身以演示入口为主,具体 API 调用在对应平台的配置指南中,而不是在仓库根目录 README 里。
自定义流水线
如果预置 Tasks 不够用,可安装 MediaPipe Framework,用 C++、Android 或 iOS 构建示例应用。在此之前需要先理解三个核心概念:packets、graphs 和 calculators。这条路更重,适合需要自定义流水线结构或底层控制的团队。
使用约束
MediaPipe Tasks 的图像、视频、文本等输入在设备端处理,不会发送到 Google 服务器,因此可用于不应离开设备的数据。Tasks API 会向 Google 发送性能和调用情况的指标,README 要求应用开发者按适用法律就这类处理取得用户知情同意 隐私说明。各平台安装方式不同,不存在一条覆盖所有平台的安装命令。
HotRepo 点评
MediaPipe 是 Google 长期维护的大型项目。2026-11-14 的 C++ 日榜记录显示它有 37,681 Star 和 6,224 Fork,当日新增 13 Star,排名第 13。单日快照只能说明它仍在 C++ 生态中获得关注,不足以判断趋势。对读者更有意义的是它的成熟度和覆盖面:同一套框架覆盖移动端、Web、桌面和边缘目标,因此在需要开箱即用的端侧任务、又不想从零搭流水线时,它是合理的默认选择;需要自定义图的团队则要承担 Framework 更高的学习成本。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。