Page 67 - 2024年第55卷第5期

时刻，并解决长期依赖和训练时梯度消失或爆炸等问题。ＬＳＴＭ单元的不同阶段由式（３）—（８）表示。
遗忘阶段：
Ｆ ＝ σ （ＸＷ ＋ Ｈ Ｗ ＋ ｂ） （３）
ｆ
ｈｆ
ｔ － １
ｔ
ｔ
ｘｆ
更新阶段：
Ｉ ＝ σ （ＸＷ ＋ Ｈ Ｗ ＋ ｂ） （４）
ｔ ｔ ｘｉ ｔ － １ ｈｉ ｉ
槇
Ｃ ＝ ｔａｎｈ （ＸＷ ＋ Ｈ Ｗ ＋ ｂ） （５）
ｈｃ
ｃ
ｘｃ
ｔ － １
ｔ
ｔ
槇
Ｃ ＝ Ｆ⊙Ｃ ＋ Ｉ ⊙Ｃ ｔ （６）
ｔ
ｔ
ｔ － １
ｔ
输出阶段：
Ｏ ＝ σ （ＸＷ ＋ Ｈ Ｗ ＋ ｂ） （７）
ｔ ｔ ｘｏ ｔ － １ ｈｏ ｏ
Ｈ ＝ Ｏ⊙ｔａｎｈ（Ｃ） （８）
ｔ
ｔ
ｔ
槇
式中：Ｈ 与 Ｈ 分别为历史隐层记忆与当前更新后的隐层记忆；Ｃ 、Ｃ 与 Ｃ 分别为历史细胞状态、
ｔ － １
ｔ
ｔ
ｔ － １
ｔ
当前待更新状态与当前更新后的细胞状态；Ｆ、Ｉ与 Ｏ 分别为遗忘门系数、更新门系数与输出门系
ｔ ｔ ｔ
数；Ｗ 与 ｂ分别为各门权重与偏置。通过堆叠 ＬＳＴＭ单元可挖掘更深层次的时序信息。
３．２ 概率预测 变形监测仪器常埋设于堆石坝内部，复杂工作环境导致采集的数据存在一定噪声。为
降低数据噪声对模型训练的影响，本文假设噪声存在时序差异，预测变量的均值与方差信息均隐藏在
历史数据中，服从高斯分布（图 １（ｃ））：
ｙ ～Ｎ（ μ ｓ，ｎ，ｔ ，σ ｓ，ｎ，ｔ ） （９）
ｓ，ｎ，ｔ
式中下标 ｓ、ｎ和 ｔ分别为样本编号、测点编号和时间步。
对于 ＬＳＴＭ单元得到的隐层记忆 Ｈ ，采用式（１０）（１１）计算得到概率 预测 中 的 高斯 分布参数
ｓ，ｎ，ｔ
，在高斯分布中计算训练样本回归概率以及实现推断采样。
μ ｓ，ｎ，ｔ 与 σ ｓ，ｎ，ｔ
＝ Ｗ Ｈ ＋ ｂ （１０）
μ ｓ，ｎ，ｔ μ ｓ，ｎ，ｔ μ
＝ ｓｏｆｔｐｌｕｓ（Ｗ Ｈ ＋ ｂ） （１１）
σ ｓ，ｎ，ｔ σ ｓ，ｎ，ｔ σ
式中 Ｗ 、ｂ、Ｗ 、ｂ为可训练参数，为保证输出标准差为正数，采用 Ｓｏｆｔｐｌｕｓ激活函数。
μ μ σ σ
３．３ 全过程训练与推断 传统端到端模型仅关注输出结果的准确性，而忽视了 ＬＳＴＭ单元对输入特征
与输出效应量内在关系的学习。因此，本文引入全过程训练方式 ［２７］ ，提高模型对影响因子与逐步累积
的变形效应量间内在关系的学习能力，以解决漂移数据的长期预测难题。
将采用全过程训练 的 模 型 在 推 断 时 的 任 务 描 述 如 下：给 定 多 测 点 变 形 滞 后 序 列 ｛ ｙ，ｙ，…，
１ ２
ｙ ，ｙ ｝与环境因子序列｛ｘ，ｘ，…，ｘ ，ｘ Ｔ０ ＋ １ ，…，ｘ Ｔ０ ＋ Ｔ１ ｝，预测未来多测点变形量序列｛ｙ ，
Ｔ０ ＋ １
Ｔ０
１
Ｔ０
Ｔ０ － １
２
ｙ ，…，ｙ ｝，其中 Ｔ为历史滞后长度，Ｔ为预测长度。简化输入形式，将环境因子与效应量合
Ｔ０ ＋ ２ Ｔ０ ＋ Ｔ１ ０ １
并为矩阵形式 Ｘ ＝ ｃｏｎｃａｔ（ｙ ，ｘ），作为空间融合模块的初始输入特征 Ｘ ｔ （０） 。
ｔ
ｔ
ｔ －１
在训练阶段，效应量的滞后序列和 预 测序列 均为 已知 值，因 此 各时 间 步 的输 入 ｛Ｘ，…，Ｘ ，
２
Ｔ０
Ｘ ，…，Ｘ ｝是已知矩阵。由于编解码器为参数共享的堆叠 ＬＳＴＭ 单元，可将全过程输出与标签
Ｔ０ ＋ １ Ｔ０ ＋ Ｔ１
序列｛ ｙ，…，ｙ ，ｙ ，…，ｙ ｝共同用于计算损失函数。
２
Ｔ０
Ｔ０ ＋ １
Ｔ０ ＋ Ｔ１
在全过程训练中，基于最大似然估计与高斯分布假设的概率预测损失函数可写为：
Ｓ Ｎ Ｔ０ ＋ Ｔ１
(
２
２
２
Θ ＝ａｒｇｍｉｎ － ∑∑∑ ｌｎ（（２ πσ ｓ，ｎ，ｔ ） － ０．５ ｅｘｐ（ －（ｙ －μ ｓ，ｎ，ｔ ）?（２ σ ｓ，ｎ，ｔ ））） ) （１２）
ｓ，ｎ，ｔ
Θ ｓ ＝１ ｎ ＝１ ｔ ＝２
式中 Ｓ为训练样本总数。
在推断阶段，输入｛ Ｘ，…，Ｘ ，Ｘ ｝为已知，代入模型获得 Ｔ＋ １ 时刻高斯分布参数，从中采
２ Ｔ０ Ｔ０ ＋ １ ０
，迭代入 Ｔ＋ ２时刻的输入特征矩阵 Ｘ 。同理，经 过 Ｔ－ １次 迭代 最终 获得 推 断序列
样得到 ＾ｙ ＋ １ ０ Ｔ０ ＋ ２ ０
Ｔ０
｝。在长期滚动预测时，将前一次推断结果加入变形序列中，将尾部 Ｔ长度的
Ｔ０
｛ ＾ｙ ＋ １ ， ＾ｙ ＋ ２ ，…， ＾ｙ ＋ Ｔ１ ０
Ｔ０
Ｔ０
数据视为已知值参与下一次推断，最终获得长期预测序列。
— ５ ６ ７ —