帮助(FAQ)
- 示例代码可以在哪里找到?
本文相关脚本都可以在开源代码仓库 https://github.com/MooreThreads/tutorial_on_musa/tree/master/vllm 找到。
- chatglm3-6b运行
generate_chat.py脚本报错TypeError: _pad() got an unexpected keyword argument 'padding_side'
是因为transformers包版本较高导致的问题, 需要降低版本:
pip install transformers==4.37.0

