Page 52 - 2023年第54卷第7期

（１）规模化的单点注意力。对于规模化的单点注意力，输入包括维度的查询和键值 ｄ和维度值 ｄ。
ｋ ｖ
通过查询键值得到每个点信息，然后除以 槡 ｄ，使用 ＳｏｆｔＭａｘ函数获取值的权重。通过同时查询计算
ｋ
注意力函数，一起打包到矩阵 Ｑ。键和值也一起压缩到矩阵 Ｋ和 Ｖ。输出矩阵的计算如下：
Ｔ
ＱＫ
( )
Ａｔｔｅｎｔｉｏｎ（Ｑ，Ｋ，Ｖ） ＝ｓｏｆｔｍａｘ Ｖ （４）
ｄ
槡 ｋ
对于注意力改进的序列到序列算法，计算隐藏状态 ｈ与解码时刻的相关性：
ｊ
Ｔ
ｅ ＝ Ｖ ｔａｎｈ（Ｗ Ｓ ｔ ＝ １ ＋ Ｕｈ）， ｔ，ｊ ＝ １ ，２，…，Ｎ ｉ （５）
ｔ，ｊ
ｊ
式中：ｔａｎｈ为激活函数；Ｖ、Ｗ、Ｕ为模型的训练参数。将 ｅ 进行归一化后得到隐藏状态 ｈ的权重
ｔ，ｊ
ｊ
ａ 。动态语义向量的计算公式如下：
ｔ，ｊ
Ｎ ｉ
ｔ ∑
Ｃ＝ ａ ｈ， ｔ ＝ １ ，２，…Ｎ ｉ （６）
ｔ，ｊ ｊ
ｊ ＝１

图 ２ 注意力机制算法示意图 图 ３ 规模化的单点注意力

（２）多头注意力。注意力机制算法示意图如图 ２所示，规模化的单点注意力如图 ３所示。与包含
键、值和查询的单注意力模型 ｄ 不同，将查询、键和值进行线性投影 ｈ次，分别到 ｄ和 ｄ、ｄ维
ｍｏｄｅｌ ｋ ｋ ｖ
度。在每个查询、键、值版本上提出并行注意力，产出了 ｄ维度的输出值。将这些值串联并再次投
ｖ
影，产生最终的结果如图 １所示。相比于单头注意力的优势，多头注意力能够允许模型去引入不同位
置的表达信息。多头的注意力机制的计算如下 ［３４］ ：
ＭｕｌｔｉＨｅａｄ（Ｑ，Ｋ，Ｖ） ＝Ｃｏｎｃａｔ（ｈｅａｄ，…，ｈｅａｄ）Ｗ Ｏ （７）
１ ｈ
Ｖ
Ｑ
Ｋ
ｈｅａｄ＝ Ａｔｔｅｎｔｉｏｎ（ＱＷ ，ＫＷ ，ＶＷ ） （８）
ｉ
ｉ
ｉ
ｉ
Ｔｒａｎｓｆｏｒｍｅｒ以三种不同的方式使用多头注意力：（１）在 “编码器 － 解码器注意” 层中，查询来自
前一个解码器层，存储键和值来自编码器的输出。这允许解码器中的位置覆盖输入序列中的所有位
置。这模仿了序列到序列模型中的典型编码器－ 解码器注意力机制。（２）编码器包含自注意力层。在自
注意力层中，所有键、值查询来自同一位置，编码器中的每个位置都可以关注编码器前一层中的所有
位置。（ ３）解码器中的自注意力层允许解码器中的每个位置关注解码器中与该位置交互的所有位置。
４ 工程应用

４．１ 数据说明 本研究选取中国西南地区的某混凝土双曲拱坝坝基作为试验地点，实时监控固结灌浆
区域的灌浆压力、流量和密度参数。以固结灌浆 ５＃坝段灌浆孔 ＧＪＢ５ － ４ － １为例，监控的灌浆流量如
图 ４所示。灌浆流量为进浆流量和出浆流量的差值，实时 监控 参数 的采 集间 隔为 ５ｓ，测 点数目为
６００个，前 ５００个测点作为训练集，后 １００个测点作为测试集。数据窗口移动说明如图 ５所示，训
练集数据每次整体移动的个数为输入序列加输出序列的数目，测试集每次移动的个数为输出序列的
数目。

０
— ８ １ —