微软自治系统和机器人研究小组的研究人员开源了ClimaX，这是一个用于天气和气候建模的深度学习基础模型。ClimaX 可以针对各种预测任务进行微调，并且在多个基准测试上的表现与最先进的模型一样好或更好。
limaX基于视觉转换器（ViT）模型，该模型最初是为处理图像数据而开发的，但进行了两项重大修改。第一种是变量标记化，它允许模型接受来自具有不同数量输入变量的数据集的数据。另一种是变量聚合，它组合给定空间位置的所有输入变量。该模型在 CMIP6 集合中的五个数据集上进行预训练。根据研究团队的说法：
我们很高兴发布ClimaX，旨在进一步推动数据驱动的天气和气候建模。我们的目标是让任何人都可以轻松使用最新的机器学习方法来解决众多问题，从局部规模的近期预测到涉及天气和气候变量的长期过程建模。ClimaX朝着各种此类任务的单一起点的想法迈出了一大步。我们迫不及待地想看看这个新兴领域的未来会怎样。大多数天气预报都是使用求解模拟大气物理学的微分方程的数值方法完成的。这种方法的一个缺点是在高空间分辨率下获得结果所需的计算。一个新的趋势是使用数据驱动的深度学习模型，它有时可以用更少的计算产生良好的结果。
受到预训练基础语言模型成功的启发，这些模型可以针对各种下游 NLP 任务的最新性能进行微调，Microsoft 团队决定对天气和气候预测任务采用相同的方法。基本的 ClimaX 架构是一个图像到图像视觉转换器：输入是一个二维网格，但它不是每个包含 RGB 像素值的网格元素，而是包含几个异构天气变量，如温度和气压。模型的任务是输出代表未来天气的图像。
ClimaX 模型架构
该团队通过微调ClimaX来评估ClimaX，以使其输入变量与预训练中使用的变量相似，以及使用模型从未见过的变量的任务。第一类任务包括全球天气预报、区域天气预报和亚季节到季节预报。第二种类型使用气候基准进行气候预测;在这种情况下，输入变量是气体的浓度，例如二氧化碳，这在预训练中没有使用。与基线相比，ClimaX在预测温度方面表现更好，但在预测降水方面表现不佳。
