chatgpt api本地部署 手把手教学！云端部署自己训练好的ChatGPT模型

从上一年出现的爆火之后，越来越多人开始期待能够训练一个自己的模型。但是由于没有开源模型的代码，只能够调用其提供的API接口，因此想要训练自己的聊天机器人困难重重。

幸好，针对LLM的开源社区贡献了很多可以供我们自己训练的模型。比如Meta开源了对标GPT3模型的LLaMA模型，而斯坦福在其基础上，利用7B LLaMA模型和52K指令数据上进行微调，得到了模型。并在评估中，其效果和模型类似。

但是对于普通的用户而言，还是难以进行训练。因此又出现了-Lora，让我们能够在消费级显卡中，几小时内就可以完成的微调工作。

训练自己的模型

准备数据集

要训练自己的模型，首先要准备好数据集。这里面我们可以使用类似于的方法，构造指令数据集结构：

比如我们可以直接使用开源的中文数据集：–lora

下载开源代码

我们可以直接使用-LoRA 的代码

git clone https://github.com/tloen/alpaca-lora.git

把刚刚的数据集放到文件夹-lora目录下。

构造对应的环境，同时安装依赖库：

conda create -n alpaca python=3.9conda activate alpacacd alpaca-lorapip install -r requirements.txt

保证版本可用，如果下面命令如果输出是True，则说明安装成功：

import torchtorch.cuda.is_available()

开启训练

在训练开启之前，我们需要先下载LLaMA基础模型，可以去到上进行下载：

由于国内有限制，只能一个一个把所有的文件进行下载，然后放到目录llama-7b-hf下：

开启训练模型，执行下面命令：

python finetune.py     --base_model 'llama-7b-hf'     --data_path './trans_chinese_alpaca_data.json'     --output_dir './lora-alpaca-zh'

模型训练后，就可以看到 lora–zh 有模型生成了

云端模型部署

在这里，可以直接利用部署模型。

首先把对应的模型、数据集和代码放到 中：

可以像我上面的部署一样，或者可以直接复制我的代码：

同时需要设置GPU，打开网络：

保存代码后，点击 Open logs in ，等待一定时间：

打开日志中生成的网页，就可以得到对话网页了：

比如可以让它找出下面文章的主旨：

当然，这个网页可以在手机上运行的，这样就可以随时随地的和它进行对话了。