Page 38 - 2022年第53卷第9期

速度，在卷积特征提取层与 ＬＳＴＭ分类层中间加入 ｄｒｏｐｏｕｔ层防止过拟合，且采用梯度缩放和剪裁来避
免梯度爆炸的问题。最后，采用大窗口移动过滤器在线处理机械活动识别结果，消除机械活动识别误
分类带来的噪声误差，在云平台中实现堆石坝施工仿真参数的实时建模。

２ 多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型

２．１ 多模态数据实时采集与预处理 多模态数据的采集和处理过程存在一定的滞后性，难以适应仿真
参数建模的实时性需求。本节研发了基于移动智能手机传感器的多模态数据实时采集云平台，然后基
于手机处理器和云 服务器 实时 处理 采集的 运动学 和声 学数 据，为 施 工 仿 真 参 数 实 时 建 模 提 供 数 据
驱动。
２．１．１ 运动模态和声音模态数据实时采集 随着堆石坝施工智能化建设的发展，坝面智能碾压监控系
统能够实现对仓面施工质量、施工机械和施工环境的智能感知，可以为高堆石坝施工仿真提供相应的
感知参数 ［４１］ ，但是仍存在以下问题：（１）未能实现对现场施工声音模态的监测；（２）现有部分监测设
备成本较高且安装过程复杂，维护困难；（ ３）缺少多模态数据的集成采集、处理、分析挖掘与管理平
台。针对上述问题，本研究在 ＳｐｒｉｎｇＢｏｏｔ框架下开发了基于移动智能手机传感器的运动模态和声音模
态数据实时采集云平台，平台部署如图 １所示。

图 １ 基于移动智能手机传感器的多模态数据实时采集云平台部署

首先，开发 了 一 个 用 于 调 用 手 机 内 置 传 感 器 的 多 模 态 数 据 采 集 ＡＰＰ， 通 过 访 问 并 注 册 监 听
Ａｎｄｒｏｉｄ设备中的内置传感器，可实时获取手机的三轴加速度、三轴角速度和声音信号等多模态数据，
再通过 ＳｐｒｉｎｇＢｏｏｔ框架与云平台实时通讯，并通过 Ｒｅｄｉｓ临时缓存和 ＭｙＳＱＬ的永久存储的联合数据库
部署保障多模态数据传输的实时性与可靠性，为后续机械活动状态识别和仓面施工仿真参数的实时提
取提供数据服务。其次，结合现有高堆石坝施工质量与进度监控云平台开发了机械层级多模态感知与
仿真模块，用于实现多模态数据实时分析处理、机械活动状态实时感知和仿真参数实时建模功能，具
体平台界面与功能实现将在第 ３节工程实例中详细介绍。
基于图 １部署的多模态数据采集手机客户端 － 云平台体系，获得用于机械活动识别的运动学模态
数据和声学模态数据，其中运动信号采用开发的 ＡＰＰ调用手机内置集成惯性测量单元（ＩｎｅｒｔｉａｌＭｅａｓ
ｕｒｅｍｅｎｔＵｎｉｔ，ＩＭＵ）获得，共包含加速度数据（Ａ，Ａ，Ａ）和角速度数据（Ｇ，Ｇ，Ｇ）６个时间序列；
ｘ ｙ ｚ ｘ ｙ ｚ
０
— １ ５ １ —