行业百科>大模型应用的两种方法
大模型应用的两种方法
2023-11-09 16:41:25
大模型所具有的通用能力经常对于领域应用也不在话下,曾有专家认为大模型只要足够“大”,其能力通常可以覆盖甚至超越一般领域模型,然而很多领域知识具有动态性和复杂性,对于领域应用而言,不能仅仅依靠大模型的能力,还必须考虑依靠行业数据对大模型进行微调,或者在通用大模型的基础上,借助于向量知识库或其他方法,开发面向行业的应用。
通用大模型在行业领域内的应用被称为行业模型,是为了解决行业问题而利用行业数据对通用模型进行训练和增强。过去仅仅依靠行业大数据训练出来的行业模型通常不具备通用模型的泛化和推理能力,因此这类模型只能算作专用模型,其能力是非常受限的。
利用行业数据训练通用大模型通常有两种做法:
第一种是用行业数据对通用模型进行继续训练、微调等一系列改变模型权重的方法;
第二种是不改变通用大模型的权重,用上下文学习(in-context learning)的能力通过提示词(prompt)注入领域知识,或者利用外挂数据库的方式提供领域知识。
前者由于改变了模型的权重,可以称作是训练(微调)了一个行业大模型,后者则基本只能认为是通用大模型的领域应用了,因为它并没有改变通用模型。但由于对用户而言使用效果差不多,很多公司都以这种方式宣传和提供大模型应用,所以通常很难区分。这两种方法都能够很好地利用大模型已经具备的迁移、泛化和推理能力,并将大模型能力应用到解决领域问题中。
具体的领域应用情况很复杂,需要应用开发框架支持各种情况。
本文内容通过AI工具匹配关键字智能整合而成,仅供参考,实在智能不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系contact@i-i.ai进行反馈,实在智能收到您的反馈后将及时答复和处理。
上一篇文章
领域大模型的构建方法
下一篇文章
大模型开发中的数据需求
相关新闻
领域大模型应用的评价
2023-11-09 17:05:23
大模型数据治理的特点和范围
2023-11-09 17:07:05
大语言模型的应用框架
2023-11-09 16:24:06
免费领取更多行业解决方案
立即咨询