Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor

本文是LLM系列文章，针对《Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor》的翻译。
@TOC

摘要

指令调优使预训练的语言模型能够从推理时间的自然语言描述中执行新的任务。这些方法依赖于以众包数据集或用户交互形式进行的大量人工监督。在这项工作中，我们介绍了非自然指令:一个创造性和多样化指令的大型数据集，几乎没有人工劳动。我们收集了64,000个例子，通过提示一个语言模型，其中包含三个指令的种子例子，并引出第四个。然后通过提示模型重新表述每个指令来扩展该集合，创建总计约240,000个指令、输入和输出示例。实验表明，尽管包含了相当数量的噪声，但在非自然指令上的训练可以与在开源人工管理数据集上的训练相媲美，在各种基准测试中超过了T0++和Tk-Instruct等模型的性能。这些结果证明了模型生成数据作为一种经济有效的方法的潜力替代众包的数据集扩展和多样化。

1 引言

2 数据收集

3 数据分析

4 实验设置

5 结果

6 生成模型消融

7 相关工作

8 结论

我们介绍了非自然指令，这是一个自动生成的自然语言指令数据集及其相应的输入和输出。据我们所知，这是第一个自动生成的通用NLP数据集。我们的实验表明，在多个基准测试中，在非自然指令上训练的模型优于在手动注释数据集上训练的模型。