参数高效微调（PEFT）技术

参数高效微调（PEFT）技术是一种针对预训练模型（尤其是大语言模型）进行微调的策略，旨在以较低的计算和存储成本适配模型到特定任务或数据集，同时保持模型的泛化能力。

以下是对PEFT技术的详细解析： 一、核心思想 PEFT的核心思想是避免对模型的全部参数进行更新，而是仅调整一小部分参数或引入少量额外参数，从而在资源受限的环境下实现高效微调。

这种方法显著降低了全参数微调带来的高计算成本和存储需求，同时避免了过拟合问题，尤其是在目标数据集较小的情况下。

二、常见方法 Adapter Tuning： 原理：在Transformer层中插入小型神经网络模块（Adapter），仅训练这些模块。

结构：Adapter通常由两个全连接层和残差连接组成，参数量占比极低。

优势：谷歌提出的经典方案，兼容各类NLP任务。

局限：引入额外推理延迟（约增加15%）。

LoRA（低秩适配）： 原理：通过低秩矩阵分解，模拟全参数更新的效果。

在权重矩阵旁添加低秩矩阵（如ΔW = A×B，A和B为可训练矩阵），仅更新A和B。

优势：几乎不增加推理延迟，兼容模型合并。

参数量极少（通常r很小，新增参数占总参数的0.01%~1%），推理无额外延迟，易于迁移。

局限：对于某些复杂任务，可能需要较大的秩（r）才能达到理想性能。

Prefix Tuning： 原理：在输入序列前添加可学习的“前缀向量”（Prefix），引导模型生成任务相关输出。

特点：适用于生成任务（如文本生成），无需修改模型结构。

优势：参数量极少（仅需训练前缀向量，通常占总参数的0.1%以下），适合小数据集。

局限：性能可能不如全参数微调，尤其是在任务差异较大的场景。

前缀长度需要手动调整，可能影响效果。

Prompt Tuning： 原理：通过优化“软提示词”（Soft Prompts）替代人工设计提示词，激活模型内部知识。

在输入文本前添加可学习的向量，引导模型完成分类或生成任务。

优势：参数极少（只需训练少量提示向量，通常占总参数的0.01%~0.1%），适合低资源场景。

局限：性能依赖于提示设计，可能不稳定。

对于复杂任务，效果可能不如LoRA或适配器。

三、应用场景 多任务学习：同一基座模型快速切换不同下游任务。

跨语言迁移学习：如Meta使用Prefix-Tuning让Llama-2支持50+语种，单任务训练成本降低40倍。

边缘设备部署：在手机、IoT设备上运行轻量级微调模型。

大模型轻量化适配：如微调LLaMA 3、ChatGLM等开源大模型。

四、优势与挑战 优势： 效率提升：参数量极少（通常<1%模型总参数量），训练成本降低90%以上。

资源节约：GPU内存需求降低60%~90%，适合单卡训练。

快速部署：多个任务共享同一基座模型，仅需存储少量额外参数。

挑战： 推理延迟：部分方法（如Adapter Tuning）可能引入额外推理延迟。

性能平衡：在某些复杂任务上，PEFT方法的性能可能略逊于全参数微调。

超参调整：如前缀长度、低秩矩阵的秩等超参数需要仔细调整以获得最佳性能。