Introducing Language Guidance in Prompt-based Continual Learning

本文是LLM系列文章，针对《Introducing Language Guidance in Prompt-based Continual Learning》的翻译。

摘要

持续学习旨在学习一系列任务的单一模型，而无需访问以前任务的数据。该领域最大的挑战仍然是灾难性的遗忘：早期任务的可见类的性能损失。一些现有的方法依赖于昂贵的重放缓冲区来存储以前任务的数据块。这虽然很有前景，但当任务数量变大或由于隐私原因无法存储数据时，成本会变得很高。作为替代方案，已经提出了将任务信息存储在可学习提示池中的基于提示的方法。此提示池指示冻结图像编码器如何解决每个任务。虽然在这种设置下，模型在每个任务中都面临一组不相交的类，但我们认为这些类可以被编码到预先训练的语言编码器的相同嵌入空间中。在这项工作中，我们提出了基于提示的持续学习的语言指导（LGCL），作为基于提示的方法的插件。LGCL与模型无关，在提示池的任务级别和视觉编码器的输出特性的类级别引入了语言指导。我们通过大量实验表明ÿ