Tencent-Hunyuan/Hy-MT2

项目介绍

Hy-MT2 是腾讯混元开源的多语言翻译模型系列，包含 1.8B、7B 和 30B-A3B（MoE）三种规模，支持 33 种语言，并能按多种语言的指令完成翻译。仓库提供模型权重、技术报告、翻译指令遵循评测集 IFMTBench 以及训练代码。

它不只做普通文本翻译：提示词模板覆盖术语约束、风格控制、个性化偏好、分隔符保留，以及 JSON、代码等结构化数据中只翻译用户可见文本、保持键名和占位符不变等场景。适合本地化流程、企业翻译任务和需要指令控制的批量翻译。

端侧部署方面，AngelSlim 1.25-bit 量化据称可将 1.8B 模型压缩到约 440 MB，推理速度提升 1.5 倍。仓库同时提供 FP8 和 llama.cpp 使用的 GGUF 版本。

快速使用

准备 transformers>=5.6.0 与 PyTorch，从 Hugging Face 加载模型即可。以下示例使用 tencent/Hy-MT2-30B-A3B，1.8B 和 7B 版本替换模型名后同理：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "tencent/Hy-MT2-30B-A3B"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
model.eval()

prompt = "将以下文本翻译成英语,注意只需要输出翻译后的结果,不要额外解释:\n\n今天天气真好。"
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

服务化部署有三种方式：vLLM 使用 vllm serve tencent/Hy-MT2-30B-A3B --tensor-parallel-size 1，SGLang 使用 python3 -m sglang.launch_server --model tencent/Hy-MT2-30B-A3B --tp 1，GGUF 权重可走 llama.cpp。不过 GGUF 依赖尚未合并进上游 llama.cpp 的自定义 STQ 内核，需要按文档从源码构建 llama.cpp。提示词模板区分中英文，源语言和目标语言都应使用完整语言名。

模型权重可从 Hugging Face 和 ModelScope 获取；体积最小的版本是 1.25-bit GGUF，主力的 30B-A3B 权重在这里。

推荐参数

1.8B 和 7B 建议 temperature 0.7、top_p 0.6、top_k 20、repetition_penalty 1.05；30B-A3B 建议 temperature 0.7、top_p 1.0、top_k -1、repetition_penalty 1.0。max_tokens 为 4096，最大上下文 8192，模型没有默认 system prompt。

训练与评测

仓库包含训练流水线，支持全参数微调、LoRA、多种 DeepSpeed ZeRO 配置以及 LLaMA-Factory 集成，具体步骤见训练指南。IFMTBench 用于评测翻译指令遵循能力，模型报告发布在 arXiv。

使用约束

• 加载时需要 trust_remote_code=True，会执行模型仓库中的自定义代码；使用来源不明的分支或二次打包权重前应先核查。
• 30B-A3B 对显存要求明显高于 1.8B，README 未给出明确的显存门槛。
• GGUF 推理依赖尚未合入上游的自定义内核，必须按文档从源码构建 llama.cpp。
• GitHub 元数据显示许可证为 NOASSERTION，商用前需核对实际许可条款。
• README 中的评测结果以图片和报告为主，正文没有完整表格。

HotRepo 点评

项目在 2026-11-13 的 HotRepo Python 日榜记录中排第 3，当天新增 49 Star。目前只有这一条快照，能说明发布期受到关注，但不足以判断持续趋势。相比名次，更值得注意的是交付内容的完整度：三种参数规模、多种量化格式、vLLM/SGLang/llama.cpp 三类推理后端，加上训练代码，使它更像可直接搭建翻译系统的基础，而不是只供演示的发布。