https://github.com/lm-sys/FastChat
只需运行以下命令即可开始聊天。它会自动从 Hugging Face repo下载权重。
python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0
（这里的7B是70亿模型参数，13B是130亿模型参数）
自带WEB UI，不过部署有些麻烦
FastChat 一行代码就可以开始聊天
bluesky ⋅ 10月前
⋅ 1772 阅读
全部评论: 0 条