adventists-ai/sophon-realtime

项目介绍

Sophon-Realtime v1 是一组开源全双工语音模型，共用一个 32B 的“大脑”。它在你说话时持续聆听，在每个停顿处判断你是说完了、还在说还是只是附和，然后生成回复；回复文本会带笑声、叹气、重音等声音标记。三个版本只在“回复如何变成声音”上不同：Tag 用表达力强的语音模型把标记表演出来，Flash 用更轻更快的语音模型换取低延迟，E2E（预览）则在 32B 模型内部直接生成连续的语音向量。模型权重以 Apache-2.0 发布在 Hugging Face 和 ModelScope，仓库还包含兼容 OpenAI GPT-Live 的网关和对“大脑”做 LoRA 微调的说明。

快速使用

Tag 是推荐版本，适合需要语音表现力的场景。它要求一块 80 GB GPU、Linux、CUDA 和 Python 3.12。最短路径是安装会自动带入 vLLM-Omni 和 Tag 插件的包，首次运行下载约 42 GB 权重并在 8000 端口启动服务：

pip install sophon-realtime
sophon-realtime serve

脚本方式会创建隔离环境，并附带客户端示例：

git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/tag
bash install.sh
GPU=0 PORT=8000 bash start.sh
python client_example.py --wav my_question.wav --lang en

Flash 在 flash/ 目录下流程类似，但需要先自行下载模型：modelscope download --model AdventistsAI/Sophon-Realtime-32B-Flash --local_dir ./model，或 hf download adventists-ai/Sophon-Realtime-32B-Flash --local-dir ./model，然后运行 start.sh，并用 --voice chelsie 调用客户端。两个版本都提供 ws://HOST:PORT/v1/realtime 全双工接口和 POST /v1/chat/completions（音频输入，文本加音频输出）。各版本的细节见 Tag 构建说明 和 Flash 构建说明。

版本与运行要求

Tag 和 Flash 各需一块 80 GB GPU，由 vLLM-Omni 服务；项目称每块 GPU 分别可支持约 16 和 40 个并发用户，首段音频约 0.6 秒和 0.31 秒。E2E 需要两块 80 GB GPU 并使用自研引擎，部署步骤见 E2E 部署文档。预编译权重见 Tag 的 Hugging Face 页面、Flash 页面及 ModelScope 镜像。

Live 模式是可选的：它是一个网关，在已运行的 Tag 或 Flash 引擎前提供 OpenAI GPT-Live 协议，兼容的客户端只需改 URL 和密钥。配置见 live/README.md。

使用约束

部署需要 80 GB 数据中心 GPU、Linux 和 CUDA；快速示例假设单卡和 8000 端口。E2E 明确是预览版，GPU 显存需求翻倍。README 中的性能数字是作者自测，标注了评审模型和样本量，反映的是作者的测试设置，不是独立评测结论。用 ms-swift 做 LoRA 微调的流程见 finetune/README.md；代码和权重均为 Apache-2.0，第三方组件列在各版本的 NOTICE 中。

HotRepo 点评

该项目在 2026-11-10 的 HotRepo 新项目榜 Python 分类中出现，当天约一小时的统计窗口内为 108 星、新增 7 星，没有记录到全语言日榜名次。采样窗口很短，这组数字说明的是发布初期的关注度，不能当作趋势。技术上值得注意的地方是：它同时发布了权重和服务代码，并用 Tag 和 Flash 两个部署版本把表现力与延迟拆成可选方案，而不是让用户只接受一种取舍。