xuzeyu
xuzeyu
发布于 2024-08-26 / 52 阅读
0

本地模型-LLamaFactory

本地模型2 我们支持使用llamafactory来运行本地模型,这个方式比LLamaSharp可支持的模型种类更多,目前支持36种主流的离线模型 包括 baichuan、ChatGlm、Yi、yuan、Qwen等

我们在新建模时选择llamafactory,然后选择自己的模型

这里需要注意:如果是本地调试需要自行安装python环境

如果使用容器 需要使用p开头的镜像,例如 v0.5.0 版本对于的 包含python环境的镜像版本是 p0.5.0

选择好模型以后我们先点击初始化,这个只需第一次执行即可,这里会自动执行pip install 安装环境依赖

然后我们点击启动

在请求地址输入: http://localhost:8000/ 点击保存即可。

详细视频