搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

serving-llms-vllm

以高吞吐量部署大语言模型,提供兼容 OpenAI 的接口并支持量化。