分析训练全球k水文站数据,中科院团队发布

中国科学院成都山地灾害与环境研究所欧阳朝军团队,提出了一种全新的基于 AI 的径流洪水预测模型 ED-DLSTM,利用全球超 2 千个水文站数据进行模型训练,以解决全球范围内有监测数据流域和无监测数据流域径流预测问题。

随着全球气候变化,洪水灾害正变得愈发频繁。联合国减少灾害风险办公室与比利时鲁汶大学灾害流行问题研究中心联合发布的报告指出:过去 20 年间,全球洪水灾害数量从 1,389 起上升到 3,254 起,增加了超两倍,占到灾害总数的 40%,影响人数达 165 万人。

洪灾会带来巨大的人员伤亡和财产损失。今年 4 月,洪涝和地质灾害共造成我国江西、广东等 17 省 (区、市) 159.8 万人不同程度受灾,因灾死亡失踪 24 人,农作物受灾面积 140.3 千公顷,直接经济损失 119.8 亿元,灾害损失为近 10 年同期最重。

如何有效地预测洪水流量对降低洪水灾害风险至关重要。去几十年里,基于水文过程的洪水流量预测取得了显著进步,但当前方法的预测结果依然严重依赖监测数据和参数率定。事实上,全球 95% 以上的流域没有任何监测数据,如何破解无监测数据和缺监测数据地区的径流和洪水预测,一直是水文领域长期面临的难题。

2024 年 4 月,中国科学院成都山地灾害与环境研究所欧阳朝军团队在 The Innovation 发表了题为「Deep learning for cross-region streamflow and flood forecasting at a global scale」的论文,提出了一种基于 AI 的径流洪水预测模型 ED-DLSTM,通过编码流域静态属性和气象驱动,利用全球超 2 千个水文站数据进行模型训练,尝试解决全球范围内有监测数据流域和无监测数据流域径流预测问题。

研究亮点:

* ED-DLSTM 模型在有监测数据和无监测数据流域的洪水预报方面均表现优越

* 首次对多种水文人工智能模型进行了训练,并在全球范围内提供了对比分析

数据集:分布差异性显著的流域数据

该研究采用的训练数据集来自美国 (482 个流域)、英国 (406 个流域)、中欧 (461 个流域)、加拿大 (740 个流域) 等地共计 2,089 个流域,如下图所示:

流域位置分布及1950年至2000年期间若干平均年变量记录

数据集下载地址:

总体而言,与美国和加拿大西部地区相比,东部地区总体降水量和土壤含水量普遍较高;英国西部和北部苏格兰高地地区普遍表现出较高的年平均土壤含水量和降水量,而其他变量的变异性相对较低;在中欧,奥地利地区大部分流域地势高、降水多、气温低;落基山脉贯穿美国和加拿大,其附近盆地地势较高,降水量和土壤含水量较高,气温较低,复杂的蒸散和融雪效应使得径流的变异系数更大。

在研究人员看来,上述这些区域流域的分布差异性显著,空间变异性足够大,确保了数据的多样性,足以验证 ED-DLSTM 的跨区域流量预报 (cross-region streamflow forecasting, CSF) 能力。

模型架构:新颖的跨区域时空集成模型 ED-DLSTM

在本论文中,研究人员提出了一种新颖的跨区域时空集成模型 ED-DLSTM,该模型融合了静态空间属性和时间强制属性 (temporal forcing attributes),以实现跨区域流量预测,下图显示了 ED-DLSTM 模型的整体架构:

ED-DLSTM 模型框架

ED-DLSTM 模型采用了编码器-解码器 (encoder-decoder) 结构,包括 2 个共生 (symbiotic fashion) 方式运行的子模型,更适合通过联合建模捕捉全球和局部流域关系。如上图所示,模型的输入为多模态数据,输入的空间静态网格属性数据 (spatial static grid attribute data) 形成了一个相对稀疏的矩阵。

其中,编码器 (Encoder) 结合了静态信息 (static attributes) 和强制数据 (forcing data),静态数据包括数字高程模型 (DEMs)、雪覆盖范围、土壤含水量、地下水位深度、潜在蒸散量、干旱指数和河道几何形状,这些属性指导模型区分不同区域的水文行为;强制数据包括降水、太阳辐射、气温、露点温度、地表气压、东风和北风速度,这些数据具有 24 小时的时间分辨率。

静态信息采用普通卷积来整合通道,并使用残差卷积提取空间静态属性。然后,利用空间金字塔池化 (SPP) 将不同区域的矩阵信息映射到一个固定的高维空间,从而对特定区域进行空间编码。随后,编码后的向量被用作 LSTM 单元的初始状态层。

解码器 (Decoder) 负责使用反向 LSTM 层将高级特征映射到预测的流量值。研究人员选择在最后一个 LSTM 单元执行流量映射,因为 Seq2Seq 模型的完整信息应该在最后进行解码,这个解码层可以逆向捕捉信息趋势。研究人员可以分别为不同流域的各种水文响应行为进行编码和解码。

研究结果:ED-DLSTM 模型具备出色的预测能力和泛化能力

首先,研究人员对 2010 年 1 月 1 日至 2012 年 1 月 1 日期间 ED-DLSTM 模型的预测可信度进行了比较评估,并以 Nash-Sutcliffe 效率 (NSE)进行定量评估。

* NSE (取值范围为(-∞,1]) 用于评估水文模型模拟结果 (NSE 值越接近 1,表示模型模拟结果与实际观测值越吻合,NSE 值小于 0 表示模型模拟结果较差)

ED-DLSTM 在数据集上产生的 NSE 结果

如上图所示:

* 在美国地区,所分析的 482 个流域中,有 438 个流域的 NSE 超过 0,平均 NSE 为 0.78,中位数 NSE 为 0.80。

* 在加拿大地区,所分析的 740 个流域中,有 695 个流域的 NSE 超过 0,平均 NSE 为 0.80,中位数 NSE 为 0.82。

* 在英国地区,所分析的 406 个流域中,有 391 个流域的 NSE 超过 0,平均 NSE 为 0.68,中位数 NSE 为 0.70。

* 在中欧地区,所研究的 461 个流域中,有 433 个流域的 NSE 超过 0,平均 NSE 为 0.73,中位数 NSE 为0.79。

总体而言,那些降雨量较大或径流系数较大的流域通常会产生更好的预测结果。值得注意的是,其中 81.8% 的流域平均 NSE 高于 0.6,凸显了 ED-DLSTM 模型出色的预测能力和泛化能力。

基于上述 4 个区域的预训练模型 (北半球),研究者对智利 (南半球) 的 160 个全新陌生流域 (未使用任何历史监测数据训练) 进行预测,以检验模型在无监测数据流域的预测能力,得到结果如下图所示:

智利 160 个新流域获得的模型泛化结果

当直接在智利新地区部署 ED-DLSTM 时,在美国预训练的模型显示 76.9% 的流域 NSE 大于 0;在加拿大预训练的模型在 66.2% 的流域中实现了大于 0 的 NSE;在中欧预训练的模型在 53.1% 的流域中实现了大于 0 的 NSE;在英国预训练的模型表现最差,只有 42.5% 的流域的 NSE 大于 0。

不同预训练模型的预测结果显现出了较强的空间分布一致性,展现了 AI 在未计量流域进行水流量及洪水预测的巨大潜力。

当预训练模型在智利 160 个无监测数据流域进行预测时,通过 ED-DLSTM 编码器对每个流域的特征进行可视化 (下图左侧) 和相似性分析 (下图右侧),发现预训练模型之间的平均编码相似度比随机噪声高 38.4%,说明 ED-DLSTM 的嵌入层不是无序的随机信号,而是模型识别和利用的高维特征信息,证明了 AI 能够在不同流域学习到「水文通识」。

参数可视化和可解释性

AI + 水文,助推智慧水利发展

洪水预测是水文学的重要分支之一,说起水文科学,我国先秦已有雨量、水位的测定;战国时,秦国「田律」规定地方官吏需及时上报雨量及受益、受害田亩;而后的历朝历代都有报汛制度。

水文预报是防汛抗旱决策、水资源合理利用、生态环境保护以及水利水电工程运行管理的重要依据。传统的水文预报方法多采用基于过程驱动的水文模型结合水力学模拟复杂的物理过程,但是高质量的物理数据、复杂的数学工具和大量简化的假设给校准和验证带来了挑战。随着人工智能技术和交叉学科的发展,许多研究者对人工智能水文预报模型展开了深入研究。

2019 年,来自武汉大学水资源与水电工程科学国家重点实验室的研究团队提出了 LSTM 长短期记忆神经网络与 batch-size 学习、正则化、drop out neuron 相结合的深度学习网络,并应用于三峡水库入库洪水预报。从预报合格率、洪峰相对误差、均方根误差和基准拟合度 4 个指标综合评估可知,相比 BPNN 静态神经网络和 NARX 动态神经网络,LSTM 长短期记忆神经网络结合 3 种深度学习的辅助算法,有效提高了三峡水库入库洪水的预报精度。

2020 年,西北工业大学研究团队与黄河水利科学研究院合作,通过电子化黄河水文年鉴,以及汇编土壤、气候、地形及地质等多种要素,建立起国内首个成体系的黄河流域水文大数据。在模型算法方面,他们突破了单站点智能预测模型,首创了站点群智能预测模型,并攻克了水文领域十大难题之一的历史资料缺失区域洪水预测问题,显著提升了洪水预测精度并延长了预见期。智能预测算法已成功应用于黄土高原主要产沙区、黄河中下游三门峡至花园口区间未控区、黄河上游唐乃亥等区域,显著提高了洪水预报能力。

2024 年 3 月,来自 Google Research 洪水预测团队的 Grey Nearing 及其同事开发的人工智能模型,通过利用现有的 5,680 个测量仪进行训练,可预测未测量流域在 7 天预测期内的日径流。随后,他们将该人工智能模型与全球领先的短期和长期洪水预测软件——全球洪水预警系统 (GloFAS) 进行了对比测试。

结果显示,该模型同日预测准确率与当前系统相当甚至更高。此外,该模型在预测重现窗口 (return window) 期为五年的极端天气事件时,其准确性与 GloFAS 预测重现窗口期为一年的事件时的准确性相当或更高。相关研究论文以「Global prediction of extreme floods in ungauged watersheds」为题,已发表在权威科学期刊 Nature 上。

如今,智慧水利已经由最初的物联网升级为了智联网,即物联网设备采集数据,AI 基于数据进行分析预测,并将预测结果实时反馈给相关人员,在洪水事件来临前完成群众疏散、公共财产保护等。未来,基于 AI 技术发展的智慧水利,将持续促进水利规划、工程建设、运行管理和社会服务的智慧化,提升水资源利用效率和水旱灾害防御能力,改善水环境和水生态。

参考资料:

1.

租售GPU算力

租:4090/A800/H800/H100

售:现货H100/H800

特别适合企业级应用

扫码了解详情☝

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

THE END
0.应急指挥“智慧大脑”:洪水地震一屏联动。应急指挥大脑通过大数据分析技术,可以从这些看似杂乱无章的数据中挖掘出有价值的信息,如灾害发生的规律、发展趋势、可能影响的范围等。例如,通过对历年洪水灾害数据的分析,可以预测不同地区在特定季节发生洪水的概率和规模,为提前做好防洪准备提供依据。 云计算技术 云计算为应急指挥 “智慧大脑” 提供了强大的计算能力和存储资源。jvzquC41dnuh0lxfp0tfv87623e99A9659:0c{ykenk0fnyckny03=;537>36
1.突发事件应急气象站:数据支撑救援,破解灾害后气象数据空白难题|地震、洪水、山体滑坡等突发事件发生后,原有的固定气象站常因损毁或断电陷入“数据中断”状态,而救援过程中又急需实时气象数据判断次生灾害风险——某地震灾区曾因缺乏实时雨量数据,未能及时预警余震引发的泥石流,导致救援通道被阻断;某洪水救援现场因不清楚风速变化,冲锋舟作业时遭遇突发大风,增加了救援人员的安全风险。jvzq<84m0uooc7hqo0io1jwvkerfa@>45:879>9a3f>5e95642622:ipkm4ivvq
2.数据查询数据查询 综合查询 关键字: 灾害种类: 不限气象水文灾害地质地震灾害海洋灾害生物灾害生态环境灾害 灾害过程: 不限预警信息知识储备科普知识物资储备设备设施风险地图宣传挂图图书影像自救互救求救电话避难场所社会力量安置场所政府补助次生灾害心理疏导卫生安全保险索赔重返家园jvzquC41yy}/pmwee0usi7hp1updz8npfg~/lqyon
3.国家气象信息中心该报告由联合国减少灾害风险办公室(UNDRR)、比利时灾害传染病学研究中心(CRED)等机构及高校联合完成,报告的统计数据来自CRED的紧急事件数据库(EM-DAT)。 报告指出,2000年至2019年期间,全球共记录7348起重大灾害,造成123万人死亡,受灾人口总数高达42亿(许多人不止一次受灾),给全球造成的经济损失高达2.97万亿美元。 jvzq<84fcvg/evf0ep5bt}neng5hg}Qghv5jf8927280
4.首发+问题一代码免费分享洪水灾害的数据分析与预测 摘要 洪水是由暴雨、急剧融冰化雪、风暴潮等自然因素引起的江河湖泊水量迅速增加或水位迅猛上涨的一种自然现象,也是自然灾害之一。本文将基于题目给出的数据,实现对洪水灾害的预测。 对于题目提供的数据,首先需要进行数据清洗,即利用KS检验+Q-Q图判定分布方式,对于正态分布的数据使用3西格玛jvzquC41dnuh0lxfp0tfv8vsa597;9=431gsvrhng1jfvjnnu1752:>8;8?
5.全球自然灾害信息库洪水 农作物 森林 天文 +− 3000 km 时段 时间 范围 清除 地区 灾害事件简要信息列表 序号 灾害名称 灾害类别 发生地点 发生时间 灾害强度 操作 1 中国西藏自治区那曲市双湖县地震 地震 中国西藏自治区那曲市双湖县 2025-09-09 05:26:01 4.0M jvzq<84fkugtvnw0ecyoy7sgv1
6.【简单直观、易于操作】1D+洪水淹没制图丨山洪径流模拟,洪水频率计算基于洪水频率计算得到的设计洪水成果,通过水位流量关系将常见年遇洪水的洪峰流量转化为水位,进一步结合洪泛平原DEM数据,采用GIS水文分析方法计算洪泛平原内任一栅格的水流流程,耦合一维水力学模拟计算,用于大范围洪水淹没制图。淹没制图算法近似于HecRAS等水力学模拟软件算法。 jvzquC41dnuh0lxfp0tfv8|gkzooa=;9696878ftvkimg8igvcomu86655>35<7
7.CesiumJS赋能应急管理:灾害模拟与救援指挥系统搭建实例通过以上实例可以看到,CesiumJS 凭借强大的数据处理能力、逼真的可视化效果和灵活的交互功能,在应急管理的灾害模拟与救援指挥系统搭建中发挥着重要作用。从洪水灾害模拟的场景构建,到救援指挥系统的资源管理与调度,CesiumJS 为应急管理提供了全新的技术手段和解决方案。虽然目前还面临一些挑战,但随着技术的不断发展和完善,jvzquC41dnuh0lxfp0tfv87623e99A9659:0c{ykenk0fnyckny03==993759
8.国家气象信息中心当然,除了洪水,滑坡、泥石流等地质灾害在落区重叠时也很容易发生。 今年江西、湖南、广西等多地发生滑坡和泥石流的新闻频见报端,两轮强降雨间隔时间太短的话,受到影响的区域很难在短时间内“恢复”过来。 当然,无论是洪水风险,还是地质灾害风险,气象与相关部门都会及时发出预警,提醒相关部门、人员做好防范应对。希望jvzq<84fcvg/evf0ep5tk}j1ctzjeuj1kf53;>=60jznn