搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

inference-serving-vllm

使用 vLLM 的批处理和量化功能,高吞吐地部署大模型服务。