开源AI模型是从LLaMA、GPT-Neo-X、MPT-7b、Pythia等基础模型训练而来的。然后使用指令数据集对基础模型进行微调，目的是教它变得有帮助、服从用户、回答问题和参与对话。

该指令数据集通常是通过询问ChatGPT的API获得的。ChatGPT内置了对齐功能。

所以ChatGPT会拒绝回答一些问题，或者输出带有偏见的回答。因此，ChatGPT的对齐被传递给了其它开源模型，就像大哥教小弟一样。

原因在于——指令数据集是由问题和答案组成的，当数据集包含含糊不清的答案时，AI就会学习如何拒绝，在什么情况下拒绝，以及如何拒绝，表示拒绝。

换句话说，它在学习对齐。

而取消审查模型的策略非常简单，那就是识别并删除尽可能多的否定和有偏见的答案，并保留其余部分。

然后以与训练原始模型完全相同的方式使用过滤后的数据集训练模型。

接下来研究人员只讨论WizardLM，而Vicuna和任何其他模型的操作过程都是相同的。

由于已经完成了取消审查 Vicuna 的工作，我能够重写他们的脚本，以便它可以在WizardLM 数据集上运行。

下一步是在 WizardLM 数据集上运行脚本以生成 ehartford / WizardLM_alpaca_evol_instruct_70k_unfiltered

现在，用户有了数据集，在从Azure获得一个4x A10080gb节点，Standard_NC96ads_A100_v4。

用户需要至少1TB的存储空间（为了安全起见最好是2TB）。

咱可不想跑了20个小时却用完了存储空间。

建议将存储挂载在/workspace。安装anaconda和git-lfs。然后用户就可以设置工作区了。

再下载创建的数据集和基础模型——llama-7b。

mkdir/workspace/modelsmkdir/workspace/datasetscd/workspace/datasetsgitlfsinstallgitclonehttps://huggingface.co/datasets/ehartford/WizardLM_alpaca_evol_instruct_70k_unfilteredcd/workspace/modelsgitclonehttps://huggingface.co/huggyllama/llama-7bcd/workspace

现在可以按照程序微调WizardLM了。

condacreate-nllamaxpython=3.10condaactivatellamaxgitclonehttps://github.com/AetherCortex/Llama-X.gitcdLlama-X/srccondainstallpytorch==1.12.0torchvision==0.13.0torchaudio==0.12.0cudatoolkit=11.3-cpytorchgitclonehttps://github.com/huggingface/transformers.gitcdtransformerspipinstall-e.cd../..pipinstall-rrequirements.txt

现在，进入这个环境，用户需要下载WizardLM的微调代码。

cdsrcwgethttps://github.com/nlpxucan/WizardLM/raw/main/src/train_freeform.pywgethttps://github.com/nlpxucan/WizardLM/raw/main/src/inference_wizardlm.pywgethttps://github.com/nlpxucan/WizardLM/raw/main/src/weight_diff_wizard.py

博主进行了以下更改，因为在微调期间，模型的性能会变得非常慢，并且发现它在CPU和GPU之间在来回切换。

在他删除了以下几行之后，运行过程变得好多了。（当然也可以不删）

vimconfigs/deepspeed_config.json

删除以下行

"offload_optimizer":{"device":"cpu"，"pin_memory":true}，"offload_param":{"device":"cpu"，"pin_memory":true}，

博主建议用户可以在wandb.ai上创建一个帐户，以便轻松地跟踪运行情况。