功能与模型支持
硬件支持
S4000 （官网链接）
精度支持
FP16
vLLM版本
v0.4.2
驱动与镜像版本列表
| MTT 版本 | KuaE 版本 | MUSA SDK 版本 | DDK 驱动版本 | Python 版本 | 镜像源 | 发布时间 |
|---|---|---|---|---|---|---|
| v0.2.1 | 1.3.0 | rc3.1.0 | 2.7.0 | 3.8 | registry.mthreads.com/mcconline/mtt-vllm-public:v0.2.1-kuae1.3.0-s4000-py38 | 02-13-2025 |
| v0.2.0 | 1.3.0 | rc3.1.0 | 2.7.0 | 3.8 | registry.mthreads.com/mcconline/mtt-vllm-public:v0.2.0-kuae1.3.0 | 11-20-2024 |
| v0.1.4 | 1.2.0 | rc3.0.1 | 1.2.0 | 3.8 | registry.mthreads.com/mcconline/mtt-vllm-public:v0.1.4-kuae1.2.0 | 08-07-2024 |
模型支持
提示
- 以下仅罗列一些验证过的模型，同一模型种类下同一
model_type其他未列出的参数大小的模型通常也支持。 model_type也可以在模型文件页的config.json中找到。
Deepseek
| 模型种类 | 已验证模型 | Huggingface链接 | ModelScope魔搭社区链接 | model_type |
|---|---|---|---|---|
| DeepSeek-R1-Distill | R1-Distill-Qwen-1.5B | DeepSeek-R1-Distill-Qwen-1.5B | DeepSeek-R1-Distill-Qwen-1.5B | qwen2 |
| R1-Distill-Qwen-7B | DeepSeek-R1-Distill-Qwen-7B | DeepSeek-R1-Distill-Qwen-7B | qwen2 | |
| R1-Distill-Qwen-14B | DeepSeek-R1-Distill-Qwen-14B | DeepSeek-R1-Distill-Qwen-14B | qwen2 | |
| R1-Distill-Qwen-32B | DeepSeek-R1-Distill-Qwen-32B | DeepSeek-R1-Distill-Qwen-32B | qwen2 | |
| R1-Distill-Llama-8B | DeepSeek-R1-Distill-Llama-8B | DeepSeek-R1-Distill-Llama-8B | llama | |
| R1-Distill-Llama-70B | DeepSeek-R1-Distill-Llama-70B | DeepSeek-R1-Distill-Llama-70B | llama |
Llama
| 模型种类 | 已验证模型 | Huggingface链接 | ModelScope魔搭社区链接 | model_type |
|---|---|---|---|---|
| Llama3.3 | 70B | Llama-3.3-70B-Instruct | Meta-Llama-3.3-70B-Instruct | llama |
| Llama3.1 | 8B | Llama-3.1-8B-Instruct | Meta-Llama-3.1-8B-Instruct | llama |
| 70B | Llama-3.1-70B-Instruct | Meta-Llama-3-70B-Instruct | llama | |
| Llama3 | 8B | Meta-Llama-3-8B-Instruct | Meta-Llama-3-8B-Instruct | llama |
| 70B | Meta-Llama-3-70B-Instruct | Meta-Llama-3-70B-Instruct | llama | |
| Llama2 | 7B | Llama-2-7b-chat-hf | Llama-2-7b-chat-hf | llama |
| 13B | Llama-2-13b-chat-hf | Llama-2-13b-chat-hf | llama | |
| 70B | Llama-2-70b-chat-hf | Llama-2-70b-chat-hf | llama |
Qwen
| 模型种类 | 已验证模型 | Huggingface 链接 | ModelScope 魔搭社区链接 | model_type |
|---|---|---|---|---|
| QwQ-32B | 32B | QwQ-32B | QwQ-32B | qwen2 |
| Qwen2.5 | 7B | Qwen2.5-7B-Instruct | Qwen2.5-7B-Instruct | qwen2 |
| 14B | Qwen2.5-14B-Instruct | Qwen2.5-14B-Instruct | qwen2 | |
| 72B | Qwen2.5-72B-Instruct | Qwen2.5-72B-Instruct | qwen2 | |
| Qwen2 | 7B | Qwen2-7B-Instruct | Qwen2-7B-Instruct | qwen2 |
| 72B | Qwen2-72B-Instruct | Qwen2-72B-Instruct | qwen2 | |
| Qwen1.5 | 7B | Qwen1.5-7B-Chat | Qwen1.5-7B-Chat | qwen2 |
| 72B | Qwen1.5-72B-Chat | Qwen1.5-72B-Chat | qwen2 | |
| 110B | Qwen1.5-110B-Chat | Qwen1.5-110B-Chat | qwen2 | |
| Qwen1 | 7B | Qwen-7B-Chat | Qwen-7B-Chat | qwen |
| 14B | Qwen-14B-Chat | Qwen-14B-Chat | qwen | |
| 72B | Qwen-72B-Chat | Qwen-72B-Chat | qwen |
- Qwen1 的模型用的不是 transformer 库中的，有些内容不规范。传参时需要加上
stop_token_ids，例如:
sampling_params = SamplingParams( temperature=0, top_p=0.95, max_tokens=1000, stop_token_ids = [151644, 151645])
- 更多请参考：Qwen-72B-Chat/qwen_generation_utils.py，关键字
get_stop_words_ids
GLM
| 模型种类 | 已验证模型 | Huggingface 链接 | ModelScope 魔搭社区链接 | model_type |
|---|---|---|---|---|
| ChatGLM2 | 6B | chatglm2-6b | chatglm2-6b | chatglm2 |
| ChatGLM3 | 6B | chatglm3-6b | chatglm3-6b | chatglm2 |
| glm-4 | 9B | glm-4-9b-chat-hf | glm-4-9b-chat-hf | chatglm2 |
Baichuan
| 模型种类 | 已验证模型 | Huggingface 链接 | ModelScope 魔搭社区链接 | model_type |
|---|---|---|---|---|
| Baichuan2 | 7B | Baichuan2-7B-Chat | Baichuan2-7B-Chat | baichuan |
| 13B | Baichuan2-13B-Chat | Baichuan2-13B-Chat | baichuan | |
| Baichuan | 7B | Baichuan-7B | Baichuan-7B | baichuan |
| 13B | Baichuan-13B-Chat | Baichuan-13B-Chat | baichuan |
其他
| 模型种类 | 已验证模型 | Huggingface 链接 | ModelScope 魔搭社区链接 | model_type |
|---|---|---|---|---|
| Mistral | 7B-v0.1 | Mistral-7B-Instruct-v0.1 | Mistral-7B-Instruct-v0.1 | mistral |
| Yayi2 | 30B | yayi2-30b-llama | yayi2-30b-llama | yayi |
| Yi | 34B | Yi-34B-Chat | Yi-34B-Chat | llama |
- 由于原生的 vllm 不支持 yayi，需要增加环境变量，执行
export VLLM_NO_USAGE_STATS=1绕开某些 vllm 的 bug。Yayi 模型加载存在 bug，属于模型自身问题，修改参考：fix AttributeError: 'YayiTokenizer' object has no attribute 'sp_model'
vLLM 参数支持
关于 vLLM 部分的一些参数 配置可以参考官网相关文档Engine Arguments，Sampling Parameters以及AsyncLLMEngine，这里同时罗列一些 vLLM_MTTransformer 不支持的参数：
- 由于 MT-Tansformer 仅支持 float16 模式，所以目前不支持量化相关的参数。
- 由于多卡环境是在 MTTransformer 内部处理的，所以目前 ray 相关的参数（分布式相关资源调度）不支持。
- rope 相关参数（位置编码相关，用于优化计算和保持对输入序列中各个词的位置信息的理解）暂不支持。
- lora(一种 fine tune 技术)暂不支持。
目前支持的参数：
model：需要指定经过mttransformer.convert_weight转换之后的权重目录。需要注意的如果是之前 mtt 版本转换过的权重，则不兼容当前版本，需要重新转换device：仅支持设置为musatensor-parallel-size：必须和convert_weight的模型一致，如果是多 卡推理，则该参数必须设置（vllm 中申请 kv cache 需要这个信息）dtype: 目前仅支持默认值auto或者float16kv-cache-dtype：仅支持默认值autopipeline-parallel-size：仅支持默认值1block-size：仅支持设置为64max-num-seqs：建议设置为128以获取最佳性能max_num_batched_tokens，max_model_len：需要根据运行的序列长度进行配置
