大模型是大语言模型的简称，是一种基于深度学习技术，通过使用巨量的语言数据进行训练，构建出具有数十亿乃至上万亿规模参数的自然语言处理模型。由于当前越来越多的大语言模型具有了多模态能力，能够同时处理图文音频视频等各类媒体，因此称之为“大模型”似乎更为确切。大模型最初是 OpenAI 公司基于谷歌的 Transformer 算法，通过向 90 多层的神经网络提供非监督式学习数据（即未经任何人为的加工处理），然后经过相对较少的标注数据，利用监督式上下文指令微调而得到的 AI 模型。OpenAI 的技术人员发现，当文本数据量（经向量化）后达到近千亿 token 规模时，模型能够产生神奇的泛化和推理能力，支持零样本或少样本学习，即所谓“涌现”现象，虽然对此还没有明确的解释，但其效果已经开始产生巨大的应用和商业价值。
OpenAI 将其大模型命名为 GPT（Generative Pre-trained Transformer），即生成式预训练模型，它的训练主要经过两阶段：
阶段一：无监督预训练 (Unsupervised Pre-training)。采用语言模型 (Language Model) 技术，预测给定一段文本的下一个单词是什么。不需要标注的数据，只使用未加标注的文本语料库进行训练。训练时采用 Transformer 结构，使用自注意力机制和残差连接来实现信息流的跨层传（也即自监督），使得模型可以更好地学习到文本的上下文信息，从而更好地进行文本预测。利用超大规模文本数据进行无监督学习是大模型产生“涌现”现象，带来零样本学习的泛化和推理能力的关键。OpenAI 从 GPT-2 到 GPT-3 敢于投入 100 倍的数据进行“暴力”训练，先使其具有了“百无一用”的“通用智慧”，然后再通过监督式微调和上下文指令学习让它成为“全才”，把能力用在各类具体的任务中，这样就解决了既要大模型聪明又要有动手能力的矛盾，成为能够理论联系实际的三好学生。
阶段二：分三个主要步骤：有监督的微调（Supervised Fine-tuning：SFT）、奖励建模（Reward Modeling）和强化学习 RLHB，利用带不同标签的标注数据或与人类互动的方式进行有监督的语义微调和指令微调（Supervised Fine-Tuning 和 Instruction Fine-Tuning）。预训练模型本来只能进行“文字接龙”，即预测下一个词，而微调过程能够使得模型通过提示词Prompt 支持各种特定的任务（例如问答、实体识别、情感分析等），甚至支持思维链（Chain-of-thought）的“思考”方式，从而能够满足各种操控语言的需求，例如翻译、摘要、问答、写作等。这两个阶段四个步骤相互之间是串行的，在每个阶段都有实现特定目的的训练算法，以及一个数据集为这个阶段提供“燃料”，运行后我们得到有一个结果模型。
ChatGPT 作为大模型的第一个爆款应用，推出 5 天用户破百万，两个月活跃用户就达到一亿，迅速出圈，引发大模型及其应用的开发浪潮。一方面人们在不断探索训练通用大模型和领域大模型的方法，试图突破少数公司控制大模型的局面，另一方面大模型如何获得更广泛的应用，也是一个研究热点。迄今除了被认为是大模型“原生应用”的聊天和助手（“副驾驶”）两种主要方式之外，各类融入行业嵌入过程的落地尝试层出不穷，迅速形成了以Langchain 为代表的开发框架和 Huggingface 为代表的开放资源中心，各种环境的开发框架、开放代码、开源数据、经验分享不断涌现，多模态、智能体等热点突破以极快的速度形成趋势，让人目不暇接，新一轮开发模式的创新和生态竞争就此展开。
总结目前的成果，对于开发图书情报领域应用有着至关重要的意义。我们不能满足于根据大模型目前显现的能力而进行简单的“畅想”，而必须深入了解大模型具备这些能力的机理，以及如何结合领域需求，深刻领悟用户的需求，重新思考过去的业务流程和服务模式，开发出真正满足用户需求、具备这些能力的应用。