如何看待“低代码”开发平台的兴起

文章覆盖使用GPT处理数据、生成论文摘要、文献综述、技术方法分析等实战案例,使大家能够将AI技术广泛应用于科研工作。特别关注将GPT与Python结合应用于遥感降水数据处理、ERA5大气再分析数据的统计分析、干旱监测及风能和太阳能资源评估等大气科学关键场景。课程旨在提升课程参与者在数据分析、趋势预测和资源评估等方面的能力,激发创新思维,并通过实践操作深化对AI在气象数据分析中应用的理解。

【目标】:

1、掌握AI工具应用:熟练掌握如GPT-4等前沿AI工具在大气科学中的应用,包括数据获取、处理和分析。

2、提高编程技能:通过GPT的实践操作,提升Python编程技术处理气象数据的能力,包括使用相关库(如xarray、pandas)进行数据分析和可视化。

3、增强数据分析能力:独立进行气候数据的趋势分析、干旱监测、风能与太阳能资源评估等复杂数据分析,使其能够识别和解释气候变化模式。

【内容简述】:

1. 大语言模型在大气科学中的常见应用场景

ChatGPT是一种基于自然语言处理的技术,因此在大气科学领域应用主要集中在文本处理和语言生成方面。例如:

1.1 辅助数据分析:ChatGPT 可以帮助理解和解释大量的气象数据内在信息。

1.2自然语言处理:用于分析和解释历史气象记录、研究论文或报告,提取关键信息和趋势

1.4 论文撰写辅助:辅助撰写科研论文,提供文本编辑和改进建议

1.5 专业咨询:ChatGPT提供有关特定研究技术方法的专业建议。

2.大语言模型常见平台使用方法

2.1 POE使用方法

2.2 ChatGPT使用方法

3.提示词工程

3.1 提示词工程介绍

3.2 提示词工程讲解

3.3 提示词常见模板

4.1 Python基本语法

4.2 Numpy使用

4.3 Pandas使用

4.4 Xarray使用

4.5 Matplotlib使用

1.1把GPT当作搜索引擎

1.2把GPT当作翻译软件

1.3把GPT当作润色工具

1.5用GPT数据处理

2.1用GPT分析结果

2.2用GPT总结生成论文摘要

2.3用GPT总结生成文献综述

2.4用GPT分析论文技术方法

2.5用GPT分析代码

2.6用GPT分析论文公式

2.7用GPT识别图片并分析

2.8 DIY:上传本地PDF资料

² 用GPT总结评价(评阅、审稿意见)

3.1使用GPT生成PERSIANN /GSMaP数据的下载代码

3.2使用GPT生成代码下载GSOD数据

3.3使用GPT生成代码下载NCEP/NCAR再分析数据

3.4使用GPT生成代码下载GFS预报数据

1.绘制常见统计图

2.绘制风场图、风羽图、风矢图、流线图

3.通过GPT绘制双Y轴

4.风玫瑰图

5.填充图

6.绘制添加子图

7.绘制期刊常见图

使用GPT处理/生成相应代码,实现下列目标:

1.读取数据

2.缺失值处理

2.1缺失值统计

2.2常见统计方法缺失值填补

2.3机器学习方法填补数据

3.数据质量控制

3.1基于统计阈值的异常检测

3.2基于机器学习的异常检测(Isolation Forest等方法)

3.3多变量数据的异常检测(服务于自动气象站数据)

4.1移动平均法

4.2分解法(STL, Seasonal and Trend decomposition using loess)

4.3 Sen’s斜率

5.1 MK (Mann-Kendall): Mann-Kendall趋势检验(用于分析数据集中的趋势变化)

5.3 BUT (Buishand U Test): Buishand U型统计检验

5.4 SNHT (Standard Normal Homogeneity Test): 标准正态同质性检验(常用于气候数据的同质性检测)

5.5 BG (Buishand Range Test): Buishand范围检验

6.1功率谱方法提取周期(提取气温、降水等周期)

6.2小波分析方法提取周期

6.3 EMD经验模态分解

6.4 EEMD集成经验模态分解

8.回归分析

8.1线性回归(Linear Regression):简单线性回归、多元线性回归等

8.2多项式回归(Polynomial Regression):

8.3非参数回归(Non-parametric Regression):

10.站点数据的空间化:

10.1克里格插值

10.2临近点插值

10.3反距插值

10.4 基于高程模型的外推

1.静态数据的替换

1.1使用Python生成WPS的静态数据

² A替换反照率和LAI数据

GPT生成转化GLASS(The Global Land Surface Satellite (GLASS) Product suite)替换默认粗分辨率数据。

² B替换土地利用

GPT将多分类的ECI CCI土地利用数据分类进行整合,使之能够用于WPS系统;GPT生成转化代码,将数据转化为WPS可读取的二进制格式。

² 使用Python更改WRF初始场

GPT生成代码修改WRF初始场文件,并替换土地利用、地表反照率等静态数据。

2.生成WRF配置文件

3.1站点插值

3.2能见度计算

3.3垂直高度变量插值

3.4降水相态辨识

3.5水汽通量

4.1格点尺度评估

4.2点尺度评估

4.3模态评估

1.将PERSSIAN/GSMaP数据转化为netCDF格式

2.合并数据

4.空间域统计并可视化

5.常见统计评估指标

² 生成统计指标空间图

² 生成泰勒图

² 生成卫星降雨散点密度图

1.1 ERA5数据的下载

1.2 ERA5数据预处理

1.4干旱监测

² 计算标准化降水蒸散指数(SPEI)或标准化降水指数(SPI)作为干旱监测的指标。

1.5极端指数计算

² 连续干旱天数

² 夏日指数

² R99极端降水指数等

1.6趋势分析

² 滑动平均

² 累积距平

² 趋势分析代码

2.多套再分析数据的气候趋势分析

2.1对比NCEP/NCAR、ERA5、CRU等均值

2.2趋势分析

3.风能资源评估

3.1计算研究区域内多年的平均风速

3.2计算风速的季节性变化和年际变异性

3.3计算空气密度

3.4计算盛行风

3.5计算风功率

3.6计算weibull分布

3.7基于站点和WRF模式的分析

3.8基于ERA5计算风功率

4.太阳能资源评估

4.1计算每天的平均太阳辐射量

4.2分析日、月和季节性气候态时空格局

4.3计算趋势

1.数据预处理:

1.1使用NetCDF工具(xarray)读取数据

2.计算区域平均温度:

2.1对于全球平均温度加权平均

2.2对于特定区域,直接计算平均值

3.趋势分析:

4.可视化:

4.2使用地图可视化工具(basemap)展示空间分布的变化

1.预处理

1.1缺失值处理:使用适当的策略填充或删除数据中的缺失值

1.2数据探索:通过统计摘要、可视化方法(如直方图、箱线图)来理解数据的分布、异常值情况和变量之间的关系

1.3数据标准化/归一化

1.4数据类型转换:将分类变量转换为数值型,使用独热编码(One-Hot Encoding)或标签编码(Label Encoding)

2.数据采样

2.1均衡采样:对不平衡的数据集进行重采样,确保各类别样本数量大致相同

2.2分层抽样:确保训练集和测试集中各类别样本的比例与原数据集相同,使用分层采样技术。

2.3交叉验证分割:采用交叉验证的方法来进行更可靠的模型评估,如K折交叉验证,保证每个样本被用于训练和验证。

3.特征工程

3.1特征选择:使用统计测试、模型系数或树模型的特征重要性来选择最有信息量的特征

3.2降维:使用主成分分析(PCA)、线性判别分析(LDA)等方法减少特征的维度

3.3多项式特征:生成特征的多项式组合,如平方项、交互项,以捕捉特征之间的非线性关系

4.模型建模与堆叠

4.1单模型训练:如决策树、SVM、随机森林。

4.2模型堆叠:使用mlxtend库或自定义方法实现模型堆叠,结合不同模型的预测结果作为新的特征,训练一个新的模型。

4.3调参:使用网格搜索(GridSearchCV)或随机搜索(RandomizedSearchCV)等方法优化模型参数。

4.4 集成学习:除了堆叠,还可以探索其他集成方法,如Bagging和Boosting,以提高模型的稳定性和准确性。

5.模型评估

5.1性能指标:根据问题类型(分类或回归)选择合适的评估指标,如准确度、召回率、F1分数、AUC值、均方误差

5.2模型解释性:使用SHAP对模型的预测进行解释,提高模型的可解释性

双碳目标下基于全球模式比较计划CMIP6与区域气候-化学耦合模式WRF-Chem的未来大气污染变化模拟

大气污染扩散模型Calpuff实践技术应用

拉格朗日粒子扩散模式 FLEXPART 实践技术应用

ADCIRC 模式与 Python 融合技术应用及案例分析

Python语言在地球科学领域中的实践技术应用

WRF-UCM高精度城市化气象动力模拟技术与案例实践应用

基于R语言的DICE(Dynamic Integrated Model of Climate and Economy)模型实践技术应用

基于Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用

THE END
0.王发信淮北平原是我国重要的粮食生产基地,分析其干旱时空变化特征和不同干旱指数的适用性,提高淮北平原抗旱风险能力,对农业生产和旱情监测具有重要意义。利用淮北平原20个气象站1962-2021年降水资料,计算了年尺度和季尺度的标准化降水指数(SPI)和Z指数,分析了两指数在淮北平原的一致性以及时空变化特征的差异性,并结合历史旱情jvzquC41ycv/ewpk0pku1}twej5xgk4Uejumc{4Kpfky1HhqfgC129546::95;5(pcsf?.J9':K&:K*G7'>G'B6'G6+CH.F3
1.干旱严重程度指数(DSI)在山东省干旱遥感监测中的适用性摘要:选择一个合适的干旱遥感监测指标,对于及时准确评估干旱对农作物生长影响有重要意义.本文综合植被指数和蒸散发指数,构成干旱严重程度的指数(DSI),并定量评价DSI在山东地区干旱监测的适用性,以期为该区干旱遥感动态监测提供科学依据.在定量分析DSI适用性的过程中,采用相关分析方法,针对基于标准化降水指数(SPI)长时间jvzquC41f0}bpofpifguc7hqo0io1yjtkqjjejq1|itzs72426329;
2.测绘学院导航定位与空间环境监测研究团队研究成果在《Remote然而,目前现有的传统站点干旱监测指数,如帕尔默干旱指数和标准化降水蒸散指数,其计算公式复杂、所需气象参数多、不适用评估区域干旱情况。因此,本课题组在传统干旱监测指数基础上在数据选择、多时间尺度、标准化三方面进行研究,基于泰森多边形方法提出了区域加权干旱监测指数。此外,选取了中国典型城市及澳大利亚昆士兰地区jvzquC41ej~z0zuv0kew7hp1ktgq86552573>80jvs
3.水文院李艳忠副教授及其团队在《JournalofHydrology》发表遥感遥感降水产品可为大尺度、近实时气象干旱监测提供重要的降水资料,但存在较大不确定性。近日,水文与水资源工程学院李艳忠副教授及其团队,以实测降水格网数据(CMA)为标准,基于标准化降水蒸散指数(SPEI)和游程理论,评估了国际主流的5种遥感降水产品(MSWEP、TMPA 3B42、PERSIANN-CDR、CHIRPS 和 COMRPH)在中国不同气候区jvzquC41jyx/p~nuv0kew7hp1ktgq86235558970jvs
4.非平稳标准化降水蒸散指数构建及中国未来干旱时空格局随着全球气候变化,干旱的变化逐渐趋于非平稳化,水文气象序列的非平稳性已有广泛研究,但在干旱检测指标中却鲜有考虑。基于标准化降水蒸散指数(SPEI)和非平稳性理论,构建非平稳性标准化降水蒸散指数(NSPEI)并进行适用性评价,利用NSPEI评估未来不同排放情景下中国气象干旱时空格局演变规律。结果表明:① 非平稳性站点集中jvzquC41yy}/inti0eun0ls1EP5bd|ytcez0ckxvtciu6@<7;0yivvqAuvCbkyzd