声明：本文来自于微信公众号 新智元（ID:AI_era），作者:新智元，授权站长之家转载发布。

(资料图片)

对齐or不对齐，That is a question.

我们知道，大多数模型都具有某种嵌入式对齐方式。

随便举几个例子:Alpaca、Vicuna、WizardLM、MPT-7B-Chat、Wizard-Vicuna、GPT4-X-Vicuna等等。

一般来说，对齐肯定是件好事。目的就是为了防止模型做坏事——比如生成一些违法违规的东西出来。

但是，对齐是怎么来的?

原因在于——这些模型使用ChatGPT生成的数据进行训练，而ChatGPT本身是由OpenAI的团队进行对齐的。

由于这个过程并不公开，因此我们并不知道OpenAI是如何进行的对齐。

但总体上，我们可以观察到ChatGPT符合美国主流文化，遵守美国法律，并带有一定不可避免的偏见。

按理来说，对齐是一件无可指摘的事。那是不是所有模型都应该对齐呢?

对齐?不一定是件好事

情况却没有这么简单。

最近，HuggingFace发布了个开源LLM的排行榜。

一眼就看到65B的模型干不过13B的未对齐模型。

从结果上看，Wizard-Vicuna-13B-Uncensored-HF可以和65B、40B和30B的LLMs直接在一系列基准测试上进行比较。

也许在性能与模型审查之间进行的权衡将成为一个有趣的研究领域。

这个排行榜也是在网络上引起了大范围的讨论。

有网友表示，对齐会影响模型的正常且正确的输出，这不是件好事，尤其是对AI的性能来说更是如此。

另一位网友也表示了认可。他表示，谷歌Brain也曾经揭示过模型的性能会出现下降，如果对齐的太过了的话。

对于一般的用途而言，OpenAI的对齐实际上非常好。

对于面向公众的AI来说，作为一种易于访问的网络服务运行，拒绝回答有争议和包含潜在危险的问题，无疑是一件好事。

那么不对齐是在什么情况下需要的呢?

首先，美国流行文化并不是唯一的文化，开源就是让人们进行选择的过程。

实现的唯一途径就是可组合的对齐。

换句话说，不存在一种一以贯之、亘古不变的对齐方式。

同时，对齐会干扰有效的例子，拿写小说打比方:小说中的一些人物可能是彻头彻尾的恶人，他们会做出很多不道德的行为。

但是，许多对齐的模型就会拒绝输出这些内容。

而作为每个用户所面对的AI模型都应该服务每个人的目的，做不同的事。

为什么在个人的电脑上运行的开源AI要在它回答每个用户提出的问题时自行决定输出内容呢?

这不是件小事，关乎所有权和控制权。如果用户问AI模型一个问题，用户就想要一个答案，他们不希望模型还要和自己展开一场合不合规的争论。

可组合的对齐

要构建可组合的对齐方式，必须从未对齐的指令模型开始。没有未对齐的基础，我们就无法在其上对齐。

首先，我们必须从技术上理解模型对齐的原因。