На прошлогодней GTC NVIDIA объявила о разработке модели климата и погоды Земли под названием Earth-2, которая должна была обеспечить значительно более высокое разрешение и более глубокое понимание климатических и погодных явлений по сравнению со своей предшественницей.
Цель Earth-2 заключалась в создании модели климата и погоды, способной моделировать около 30.000 симуляционных лет в год (на неуказанном оборудовании) с бюджетом мощности 30 МВт. Целевое разрешение составляло 1 км. Не все эти цели были достигнуты для Earth-2, но проект уже обошелся NVIDIA в $1,5 млрд., и предполагается, что эта сумма будет снова увеличена.
С 2025 года модели также будут доступны с открытым исходным кодом, чтобы можно было открыто анализировать соответствующий вклад участвующих исследовательских институтов и компаний.
NVIDIA использовала приведенную выше диаграмму, чтобы проиллюстрировать сложность модели климата и погоды в масштабах Земли с требуемым разрешением. В настоящее время разрешение модели Earth-1 составляет 25 км, а временное разрешение - десять минут. Если теперь нужно уточнить разрешение до 1 км при 20 с, вычислительная производительность увеличится в 30.000 раз. При 100 м и 0,1 с потребуется увеличение вычислительной производительности в 500 миллионов раз.
Для Earth-2 NVIDIA использовала спутниковые снимки за последние 10.000 дней, то есть примерно за 30 лет. Также были проанализированы данные с 250.000 метеостанций. Чтобы смоделировать всю Землю, потребовалась бы тонкая сеть метеостанций, но они в основном расположены в США, Европе и других густонаселенных районах. Большая часть мира малонаселена с точки зрения сбора данных.
Модель очень сложная. Достаточно понимать, что такие данные, как температура, скорость ветра, направление ветра, влажность и многое другое, собираются на каждую ячейку. Кроме того, имеется горизонтальное разрешение в 180 слоев, причем не все данные доступны для всех слоев. В общей сложности на каждую ячейку можно собрать до 20 каналов информации. Конечно, при разрешении 2,5 км эти данные доступны не в полном объеме. Именно здесь на помощь приходит искусственный интеллект, заполняющий пробелы в данных. Безусловно, такая модель не должна просто придумывать данные. Модель должна узнать, как ведут себя климат и погода, чтобы интерполировать недостающие данные.
NVIDIA обучила модель диффузии под названием CorrDiff с разрешением 2 км, используя собственный суперкомпьютер EOS. Аналогичная модель под названием ICON достигает разрешения 2,5 км и сможет выполнить 30.000 симулированных лет в год на суперкомпьютере ALPS, но с мощностью 40 МВт вместо запланированных 30 МВт. NVIDIA планирует задействовать 64.000 ускорителей GH200.
В качестве базы (Ground Truth) были выбраны погодные явления, для которых существуют достаточно емкие массивы данных. Например, были проанализированы тропические штормы вокруг острова Тайвань. Натренированная модель затем использовалась для имитации подобных штормов, а полученные погодные данные сравнивались с реальными. На основе подобных сценариев можно определить поведение погоды в регионах, для которых не хватает данных.
Модель учитывает физику, например, силу Кориолиса и поведение температуры воздуха, направление ветра и многое другое в зависимости от слоя. Также необходимо учитывать теплые и холодные океанические течения, что приводит к созданию чрезвычайно сложной модели.
Цель Earth-2 – собрать как можно больше данных о развитии климата и погоды. Это позволит лучше изучить последствия различных событий. Соответствующие службы смогут раньше получать оповещения о грядущих катаклизмах и лучше оценить потенциальный ущерб. А также смогут лучше подготовиться к чрезвычайной ситуации.
NVIDIA предоставляет несколько API Earth-2, которые дают компаниям и органам власти доступ к таким моделям, как FourCastNet, GraphCast и Deep Learning Weather Prediction.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).