OpenBMB/MiniCPM-OCR

机器学习

开源文档解析 OCR 模型,输出文本、表格和公式,并用评分模型标出需要复核的区域。

197
15
Python
Apache-2.0
创建于 1 天前

MiniCPM-OCR 是一组开放权重的文档解析模型,把文档图片和 PDF 转成结构化文本。它面向需要自行运行或微调 OCR 的团队,而不是一个托管式文档处理成品。仓库提供的是权重和使用文档,并非终端用户应用。

两个模型,两种任务

MiniCPM-OCR 1.0(1.3B 参数)解析中英文文档与 PDF,输出 Markdown 或 JSON,覆盖文本、表格、公式、图表、印章和关键信息抽取。作者报告其在 Real5-OmniDocBench 上得分 93.68,并称能处理扫描件、照片、弯曲页、倾斜页和翻拍文档 README。作者还称配合可选的 DSpark 解码头(提供 BF16 和 GGUF 版本)可提升端到端效率 55% DSpark 权重;这些效率数字是作者在基准条件下的报告,具体设置见吞吐文档 吞吐说明。

MiniCPM-OCR Jev(2B)是独立的正确性判定模型:输入图片及其 OCR 结果,返回 0 到 1 的质量分,从而把需要复核的区域与可靠区分开。作者报告在其 JevOCRBench 上 AUROC(×100)为 93.6;对包括 MiniCPM-OCR 1.0 和第三方 OCR 在内的四个解析模型输出评分时,AUROC 在 91.9 到 93.4 之间 Jev 指南。这是模型评测结论,不保证能发现所有错误区域。

使用方式

  • 在线演示与免费 API:无需本地硬件即可调用识别和 Jev 评分 API 示例;Jev 的 API 示例标注为即将推出。
  • 本地部署:两个模型均有部署教程,分别用于解析和评分 部署教程。
  • 推理服务:支持 vLLM、SGLang、llama.cpp 和 Ollama,Hugging Face 与 ModelScope 上提供 BF16、GGUF、AWQ、GPTQ 多种权重 模型权重。
  • 微调:解析模型可用 LLaMA-Factory 或 Swift,Jev 使用 Swift 微调文档。
  • 编程 Agent 技能:按提供的 SKILL 文件,Agent 可完成环境配置、模型下载并解析第一份文档 SKILL。

此外还提供 pip SDK 作为集成方式 pip 包。

前提与限制

本地使用需要下载模型权重并具备足够的 GPU 显存;FAQ 涵盖安装、下载、显存、输入格式和异常输出 FAQ,但 README 未给出最低显存数值。解析模型明确面向中英文,其他语言不在所述范围内。基准结果是作者在指定基准上的报告,应结合复现设置理解 复现指南。免费 API 的可用性和配额条款在现有材料中未说明。

代码、文档以及两个模型的权重均以 Apache-2.0 发布 许可证,因此允许商用和修改,但须遵守该许可证。这里没有实际测试结果;是否适合特定文档类型,应结合文档并在自己的样本上验证。

HotRepo 点评

HotRepo 在 2026-10-28 的新项目榜上记录该项目为第 22 名、总星数 197;这是单日快照,不构成增长趋势。现有证据只说明这是一个值得用自己的文档评估的模型发布项目,不能据此判断其可靠性或采用情况。

本文由 AI 根据项目 README 生成,更新于 2026年10月28日,以项目官方文档为准。