Page 139 - 2025年第56卷第1期

图 ４ 基于思维链策略的自我检查机制

型与基座模型进行分离，并将待优化模型的参数矩阵经低秩分解后，再注入到基座模型的 Ｔｒａｎｓｆｏｒｍｅｒ
结构中，使得可训练参数大幅下降，从而降低计算复杂度和内存需求。因此，ＬｏＲＡ能够在有限的计
算资源下实现 ＬＬＭ的高效微调。具体而言，对于一个待微调的 ＬＬＭ，其权重矩阵 Ｗ ∈! ｄ × ｋ ，参数优
０
化更新可表示如下：
Ｗ ｕｐｄａｔｅ ＝ Ｗ ＋ Δ Ｗ （１）
０
Δ Ｗ＝ ＢＡ （２）
式中：Ｗ 为优化合并后的参数；Δ Ｗ 为待优化模型的参数矩阵；Ｂ ∈! ｄ × ｒ 和 Ａ ∈! ｒ × ｋ 分别为经过低秩
ｕｐｄａｔｅ
分解的参数矩阵，矩阵 Ｂ和矩阵 Ａ的秩 ｒ ｍｉｎ（ｄ，ｋ）。在训练过程中，Ｗ 被冻结，不发生参数更新，
０
而矩阵 Ｂ和矩阵 Ａ作为独立模型，包含所有的可更新的参数。此外，由于 Ｗ 和 Δ Ｗ 相互分离，因此
０
其输入是一致的，对于输入 ｘ，模型前向过程如下：
ｈ ＝ Ｗ ｘ ＋ Δ Ｗｘ ＝ Ｗ ｘ ＋ ＢＡｘ （３）
０ ０
在训练初始阶段，矩阵 Ａ由随机高斯矩阵进行初始化，而矩阵 Ｂ则初始化为零矩阵。更新过程中
通过引入常数 α （ＬｏＲＡＡｌｐｈａ）对 Δ Ｗｘ的计算值进行缩放，缩放表示如下：
α α
ｈ ＝ Ｗ ｘ ＋ Δ Ｗｘ ＝ Ｗ ｘ ＋ ＢＡｘ （４）
０ ０
ｒ ｒ
在使用 Ａｄａｍ系列优化器时，需适当缩放初始化，调整 α的过程与调整学习率大致相同。一般情
况下 α值应大于 ｒ（ＬｏＲＡＲａｎｋ）值，有助于在改变 ｒ时减少重新调整超参数的需求。在使用阶段，可以
直接对模型层进行合并，获得完整的灌浆领域 ＬＬＭ，完整流程如图 ５所示。
４．２ 基于 ＬａｎｇＣｈａｉｎ的灌浆工程检索增强生成 检索增强生成是 ＬＬＭ应用于各垂直领域的落地解决
方案。通过构建本地知识库，可以提供更新式知识、降低模型幻觉，形成可隔离、安全的数据访问方
案。ＬａｎｇＣｈａｉｎ是一 个 用 于 建 设 ＬＬＭ 驱 动 的 应 用 程 序 的 开 源 框 架， 依 靠 ＬＬＭ 模 型 的 强 大 能 力，
ＬａｎｇＣｈａｉｎ可以根据上下文进行回答或实现知识检索，并完成推理，实现检索增强生成。本文以 ＬｏＲＡ
微调后的灌浆领域 ＬＬＭ模型作为 ＬａｎｇＣｈａｉｎ的基座模型，同时耦合具有工程相关性的本地知识库，以
此搭建灌浆工程检索增强生成应用，从而形成知识服务内核。

— １ ３ —
４