Page 51 - 2023年第54卷第7期

改进，通过多头注意力机制来构建输入和输出的全局依赖关系，实现多个本征模函数 ＩＭＦ序列到序列
的预测，最后通过对预测分量进行融合得到灌浆流量预测值。首先采用 ＣＥＥＭＤＡＮ对灌浆流量数据进
行分解，分解得到多个 ＩＭＦ分量和残差分量。然后采用多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ对每个时序分量进行预
测，通过多头注意力机制、前馈网络和线性计算实现每个分量序列到序列的预测。最后对多个预测的
序列分量进行累加合成得到灌浆流量预测结果。基于 ＣＥＥＭＤＡＮ方法实现实测灌浆流量的本征模函数
与残差信号的分解，解决灌浆流量数据的非线性与强波动的问题；采用多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ实现多
个本征模函数 ＩＭＦ序列到序列的预测，采用多头注意力机制来构建输入和输出的全局依赖关系，有效
提取动态时序特征，提升时间序列参数特征提取水平；建立时序测点多输入多输出模型实现灌浆流量
预测，提升多输出序列计算效率，反映整体趋势的多输出序列能够为灌浆流量控制提供参考。

３ 研究方法

３．１ ＣＥＥＭＤＡＮ ＣＥＥＭＤＡＮ方法是主流的分解算法之一，在 ＣＥＥＭＤＡＮ中，添加高斯白噪声到每个
分量中计算一个本征模函数 ＩＭＦ和残差信号。假设给定操作 Ｅ（·），该 操作 通过 ＥＭＤ产 生第 ｋ个
ｋ
ＩＭＦ，ＣＥＥＭＤＡＮ的介绍如下：（１）类似 ＥＥＭＤ，ＣＥＥＭＤＡＮ对原始数据（灌浆流量）进行分解并且获得
第一个 ＩＭＦｃ和残差 ｒ。（２）接下来第 ｋ个 ＩＭＦ（ｋ ≥２）和残差计算如下：
１ １
１ Ｎ
（ｉ）
ｃ＝ ∑ Ｅ（ｒ ＋ ｐ Ｅ （ｗ ）） （１）
ｋ １ ｋ － １ ｋ － １ ｋ － １
Ｎ ｉ ＝１
ｒ＝ ｒ － ｃ （２）
ｋ ｋ － １ ｋ
（ｉ）
（ｉ）
（ｉ）
式中：ｗ 为第 ｉ个需要添加的高斯白噪声；Ｅ（ｗ ）为使用 ＥＭＤ对 ｗ 分解的第 ｋ个值；ｐ为增加的
ｋ ｋ
噪声和原始信号的信噪比。当算法残差 ｒ满足终止迭代条件时算法终止，最终 ＣＥＥＭＤＡＮ能够计算
ｋ
ＩＭＦｓ和残差，其中残差公式如下：
Ｋ
Ｒ ＝ ｘ － ｒ （３）
∑ ｋ
ｋ ＝１
式中：Ｒ为由 ＣＥＥＭＤＡＮ获得的残差；ｘ为初始信号；Ｋ为 ＩＭＦｓ的数目。
３．２ 多头注意力 本研究在 ｓｅｑ２ｓｅｑ算法 ［３２］ 的基础上建立了多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ时序预测算法，实
现了序列到序列的预测。多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ在语言翻译领域开展了相关研究 ［３３］ 。通过将多个时
序测点作为输入，多个时序测点作为输出建立多输入多输出灌浆流量时序预测模型。
Ｔｒａｎｓｆｏｒｍｅｒ多数具有竞争力的神经序列传导模型都有编码器－ 解码器结构。编码器输入序列（ｘ，…，
１
ｘ）映射到连续序列（ｚ，…，ｚ），对于灌浆流量的时序预测，利用 ＣＥＥＭＤＡＮ对灌浆流量进行分解得
ｎ １ ｎ
到分量 ＩＭＦ，分量 ＩＭＦ的序列作为输入序列和连续序列，给定 ｚ后，解码器同时生成集合（Ｙ，…，
１
Ｙ）。在每个步骤中，模型都是自回归的，在生成下一个符号时，使用先前生成的符号作为附加输入。
ｎ
如图 １所示，Ｔｒａｎｓｆｏｒｍｅｒ完全遵循这种整体架构，使用堆叠式自注意力、逐点方式和全连接层的编码
器和解码器。对于前馈网络、输入输出嵌入、Ｓｏｆｔｍａｘ和位置编码的介绍详见文献［３４］。
３．２．１ 编码和解码器堆栈 对于编码器，一个堆栈由多个相同层组成。每层有两个子层。第一种是多
头自注意力机制，第二种是简单的全连接前馈网络。在两个子层周围使用剩余连接，然后进行层归一
化。为了促进这些残余连接，模型中的所有子层以及嵌入层生成维度为 ｄ ｍｏｄｅｌ 的输出。
对于解码器，一个堆栈由多个相同层组成。除了每个编码器的两个子层，解码器插入第三个子
层，该子层执行编码输出的多头注意力机制。与编码器类似，围绕每个子层使用剩余连接，然后进行
层归一化。对解码器堆栈中的子层的自我注意力机制进行修改以防止位置涉及后续位置。
３．２．２ 注意力机制 注意力函数可以描述为一种从查询和键值对集到输出的映射，其中查询、键、值
和输出都是向量。输出计算为加权和，分配给每个值的权重由的兼容函数进行计算，使用相应的键值
进行查询。采用多头注意力机制来构建输入和输出的全局依赖关系，有效提取动态时序特征，提升时
间序列参数特征提取水平。

— ８ ０ ９ —