跳到主要内容

帮助(FAQ)

  • 示例代码可以在哪里找到?

本文相关脚本都可以在开源代码仓库 https://github.com/MooreThreads/tutorial_on_musa/tree/master/vllm 找到。


  • chatglm3-6b运行 generate_chat.py 脚本报错 TypeError: _pad() got an unexpected keyword argument 'padding_side'

是因为transformers包版本较高导致的问题, 需要降低版本:

pip install transformers==4.37.0

参考Issue: https://github.com/THUDM/ChatGLM3/issues/1324