下载模型

下载MTT格式模型(推荐)

可以通过以下库直接下载MTT格式模型，可以直接使用：

git lfs clone https://modelscope.cn/models/hiyangdong/DeepSeek-R1-Distill-Qwen-7B-GPTQ-Int4-MTT

下载Qwen2.5-7B开源模型

也可以从下载其他通用模型权重进行运行。但需要额外进行如下的模型转换。 以Qwen2.5-7B作为例子。另外也可以换成DeepSeek-R1-Distill-Qwen-1.5B/7B/14B

目前支持GPTQ-Int4模型，可以下载如下模型进行适配

git lfs clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4
# 如果比较慢可以使用国内的modelscope
git lfs clone https://modelscope.cn/models/Qwen/Qwen2.5-7B-Instruct-GPTQ-Int4

转换模型

# 
python -m mttransformer.convert_weight \
    --in_file Qwen2.5-7B-Instruct-GPTQ-Int4 \
    --saved_dir Qwen2.5-7B-Instruct-GPTQ-Int4-MTT

转换脚本对应的参数选择参考链接。