Page 36 - 2022年第53卷第9期

水 利 学 报

２０２２年 ９月 ＳＨＵＩＬＩ ＸＵＥＢＡＯ 第 ５３卷 第 ９期

文章编号：０５５９ － ９３５０（２０２２）０９ － １０４９ － １６

多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型

１
２
１
１
２
张 君 ，王金国 ，余 佳 ，赵 豪 ，张东明 ，王晓玲 １
（１．天津大学 水利工程仿真与安全国家重点实验室，天津 ３０００７２；
２．雅砻江流域水电开发有限公司，四川 成都 ６１００００）
摘要：现有施工仿真参数建模方法主要依靠单一模态数据，且现有多模态数据采集过程存在一定的滞后性，导致
仿真的实时性和准确性不足。针对上述问题，本文提出了多模态感知驱动下高堆石坝施工仿真参数集成深度学习
模型。首先，在 ＳｐｒｉｎｇＢｏｏｔ框架下开发了基于移动智能手机传感器的运动学和声学数据实时采集云平台，并采用
低通滤波器和梅尔频谱等方法实现堆石坝施工机械多模态数据的实时采集与预处理；其次，提出了用于自动提取
多模态数据特征的堆石坝施工机械精细活动状态识别深度学习模型。该模型集成了改进深度卷积长短期记忆循环
神经网络（ ＩｍｐｒｏｖｅｄＤｅｅｐＣｏｎｖＬＳＴＭ，ＩＤｅｅｐＣｏｎｖＬＳＴＭ）与深度卷积神经网络的优势，前者可精确感知施工机械运动
方向，后者可从声音模态中感知施工机械振动状态。其中，ＩＤｅｅｐＣｏｎｖＬＳＴＭ 在卷积层中间加入批量归一化层以提
高收敛速度，并采用梯度缩放和剪裁以避免梯度爆炸的问题；进一步地，在云平台中采用大窗口移动过滤器在线
处理机械活动识别结果，实现堆石坝施工仿真参数的实时建模。工程案例表明，相比于单一的运动学或声学模态
的机械活动识别方法，本研究所提方法的识别精度分别提高了 ９．２２％和 ２３．６２％。研究成果为提高堆石坝施工仿真
的准确性和实时性提供了新的思路和技术手段，具有一定的应用和推广价值。
关键词：高堆石坝；施工仿真参数实时建模；多模态感知；集成深度学习；移动智能传感器
分
类
图
２
号
Ｖ
５
：
Ｔ
文献标识码：Ａ ｄｏｉ：１０．１３２４３?ｊ．ｃｎｋｉ．ｓｌｘｂ．２０２２０２４７
中
１ 研究背景
堆石坝施工仿真作为一种有效模拟、分析、优化施工过程的手段，在堆石坝施工过程管理与控制
中获得了广泛的应用 ［１ － ４］ 。不同于用于方案比选与论证的面向设计期的堆石坝仿真，面向施工阶段的
堆石坝仿真为了快速高效地给出动态决策与调度管控指令，需要根据实际施工情况动态调整仿真模型
以更贴合实际施工状态 ［５ － ６］ 。在物联网、大数据、人工智能等新一代信息技术与大坝建设深度融合并
快速发展的背景下，堆石坝施工过程中产生了海量多模态监测数据，为堆石坝施工仿真模型随实际施
工的动态调整提供了数据基础，促进了面向施工阶段的高堆石坝施工仿真技术的发展 ［７］ 。如何实时获
取、分析并处理施工过程中产生的多模态数据，进而驱动堆石坝施工仿真参数的实时精准建模，是确
保仿真模型的准确性与实时性，提高堆石坝施工仿真在实际工程中应用效果的关键。
施工仿真技术自 １９９０年代起引入国内，在堆石坝施工领域发挥了重要的作用，随着堆石坝工程
建设数量和规模的不断增加，施工仿真理论与技术在实际工程的实践应用中日益成熟 ［１］ 。主要经历了
用于堆石坝设计期施工方案比选的计算机模拟阶段 ［３］ 、面向设计期的具备三维可视化功能的一体化施
工仿真系统阶段 ［８］ 、根据施工过程中的数据进行动态调整以适应施工期的堆石坝动态仿真阶段 ［５ － ６］ ，
以及依据物联网技术、实时监控技术、机器学习方法等新一代物联网技术的数据驱动仿真阶段 ［７］ 。由

收稿日期：２０２２ － ０４ － ０３；网络首发日期：２０２２ － ０７ － １９
网络首发地址：ｈｔｔｐ：??ｋｎｓ．ｃｎｋｉ．ｎｅｔ?ｋｃｍｓ?ｄｅｔａｉｌ?１１．１８８２．ＴＶ．２０２２０７１８．１０１９．００１．ｈｔｍｌ
基金项目：国家自然科学基金雅砻江联合基金项目（Ｕ１９６５２０７）；国家自然科学基金项目（５１８３９００７，５１８７９１８６）
作者简介：张君（ １９９４ － ），博士生，主要从事堆石坝施工仿真研究。Ｅ － ｍａｉｌ：ｚｈａｎｇｄａｊｕｎ＠ｔｊｕ．ｅｄｕ．ｃｎ
通讯作者：余佳（１９９２ － ），助理研究员，主要从事水电地下工程施工智能仿真与风险分析研究。Ｅ － ｍａｉｌ：ｙｕｊｉａ＠ｔｊｕ．ｅｄｕ．ｃｎ
０
— １ ４ ９ —