公告链接：https：//icml.cc/Conferences/2023/llm-policy

大规模语言模型，学校争议丛生

在过去的封杀几年里，大规模语言模型（LLM）的大厂发展非常迅速。最近，禁用这一进展不仅没有放缓，面积甚至还更快了。恐慌

正如大家看到的学校，过去几个月发布的封杀LLM，如OpenAI的大厂ChatGPT，已经能够生成难以与人类相区分的禁用文本片段。毫无疑问，面积这是恐慌自然语言处理和生成方面令人兴奋的进展。

但这种快速的学校进展往往伴随着意想不到的后果以及无法解答的问题。比如，封杀由模型生成的大厂文本和图像是新颖的，还是现有工作的衍生品？

此外，文本片段、图像以及其他由这些模型产生的内容，又应该归谁所有：是生成模型的用户，还是训练模型的开发者，抑或是制作训练数据的内容创作者？

可以肯定的是，随着大规模生成模型被更广泛地应用，这些问题都将随着时间的推移得到解答，但现在还不行。尤其是距离ChatGPT的发布才过了不到2个月（2022年11月底）。

而对于ICML来说，他们并没有足够的时间来观察和调研ChatGPT将会对论文审稿和发表过程，产生何种影响。

考虑到针对这项新技术所采用的策略，会直接关系到研究人员的职业生涯。因此ICML表示，自己只能更加谨慎，甚至还会有些保守。

时有错漏，但码农依然爱不释手

其实，虽然ChatGPT经常因为‘犯蠢’而被嘲，但自它诞生一个多月来，很多码农的工作习惯，确实被它改变了。

在12月初，ChatGPT亮相后，码农们发现可以用它生成代码，立马沸腾了。

ChatGPT不仅可以回答任何领域的问题，而且生成的答案，有很大的概率非常精确和详细。

比如，当你问到‘How to iterate over an keys and values array in Javascript’时，它生成了很完美的答案。

锦上添花的是，ChatGPT还能通过一个支持性的例子和解释，告诉你这个JavaScript中常见问题的最佳解决方案：

甚至，还可以用它给代码纠错。

不过随后，码农们马上发现，ChatGPT生成的代码，其实有不少问题。

ChatGPT会‘犯蠢’，背后原因其实很简单——AI的输出，是概率性的。ChatGPT没有任何标记了对错的内部记录，它其实是一个统计模型，这个模型中，是在不同上下文中的语言组合。

而上下文的基础，就是GPT-3训练所用的整体数据集，来自ChatGPT的RLHF训练的额外上下文，prompt和之前的对话，以及很快就会有的反馈。

ChatGPT的答案，本质上就是从构成GPT-3的互联网数据语料库中收集的概率结果。在10秒内，ChatGPT做出了结果的最佳猜测，这个猜测很可能是正确的。

当然，也有错误的概率。

这就是为什么，网友用ChatGPT生成的代码在Stack Overflow上疯狂灌水、错误答案满天飞时，后者连夜发布了官方封杀令。

虽然ChatGPT写代码的能力被很多人诟病，但其实，用还是可以用的。

其实，ChatGPT最合适的定位，应该是编码辅助工具。在ChatGPT的发布方OpenAI看来，ChatGPT的重要用途之一，正是帮助程序员检查代码。

对于开发者而言，它就是日益丰富的工具板中的一个工具。而且，就像任何自学模型一样，ChatGPT也会随着时间的推移，不断学习，不断自我纠正和改进。

很多时候，与其在Stack OverFlow上为相对简单的问题（如何在Flutter中触发HookConsumerWidget的重建）等待几天，不如直接向ChatGPT提问。

因为在ChatGPT上，开发者们有很大概率，得到一个可以用于解决问题的起点——