Осмысление прошлого, чтобы понять будущее: исторические записи изменений в океане

22 Марта 2021
  • Author(s):
  • Роб Аллан, Кевин Вуд, Эрик Фриман, Клайв Уилкинсон, Аксель Андерссон, Эндрю Лорри, Филип Брохан, Мартин Стендель, Джон Кеннеди

Для более точного прогнозирования будущих воздействий погоды и климата на земную систему и общество постоянно возрастает потребность в наземных и морских базах данных о погоде за более длительный период и с более высоким разрешением. Создание таких ресурсов базовых климатических данных требует огромных усилий для восстановления и перевода рукописных записей в цифровой формат, а затем для контроля качества, интеграции и предоставления огромных объёмов исторических данных о погоде для нового поколения систем моделирования и ретроспективного анализа (реанализа), работающих на самых мощных в мире компьютерах.

В последнее десятилетие росло признание важности исторических морских метеорологических данных для устранения крупных пробелов в существующем охвате данными. Морские данные, охватывающие 70 % поверхности Земли, то есть территорию, покрытую океанами, являются критически важным (и на протяжении большей части истории единственным) инструментом количественной оценки различных ролей, которые Мировой океан играет в регулировании климата с течением времени, и, следовательно, обеспечивают оптимальные возможности для прогнозирования будущей траектории развития климата и его вероятного влияния на все аспекты жизни. И действительно, насущная необходимость предсказывать будущий климат в сочетании со всё более функциональными моделями и ориентированными на работу с данными системами реанализа трансформировала полезность исторических метеорологических данных в науку о климате.

Основным источником исторических морских данных являются разрозненные сведения о погоде, комментарии и данные наблюдений, занесённые в бортовые журналы и дневники на борту судов, которые веками плавали по местным морям или пересекали Мировой океан. Стандартизованные таблицы c информацией и измерениями морской погоды, полученными без использования приборов, появились в начале шестнадцатого века, тогда как более систематические наблюдения с использованием высококачественных метеорологических приборов начались в середине-конце восемнадцатого века. Первые попытки установить международную координацию и стандартизацию в морской метеорологии были предприняты в ходе Брюссельской морской конференции (1853 год). Именно с этого периода военно-морские и торговые корабли многих стран начали систематически собирать и записывать миллионы наблюдений за погодой и морской поверхностью. Сегодня эти записи служат источником данных, необходимых для работы современных моделей и осуществления реанализа.
 

От КОАДС к ИКОАДС

В области спасения морских данных серьёзные усилия по созданию наиболее полного комплекта данных морских метеорологических наблюдений на поверхности моря были предприняты в 1980-х годах. Результатом этих усилий стал Всеобъемлющий комплект данных по океану и атмосфере (КОАДС), который включал недавно появившиеся репозитории оцифрованных данных морских метеорологических наблюдений, полученных из множества источников, при этом данные в то время обычно производились и хранились на перфокартах. После увеличения международной поддержки и вкладов в развитие комплекта данных на протяжении многих лет проект был переименован в 2002 году в Международный всеобъемлющий комплект данных по океану и атмосфере (ИКОАДС), чтобы лучше отразить важный вклад международных партнёров и специалистов по управлению глобальными данными. 

Рисунок 1. Крупные источники исторических оцифрованных морских данных и данных из внешних архивов, добавленные в ИКОАДС Версия 3 за период с 1800 по 2014 год. Горизонтальные чёрные линии показывают временной диапазон исходных источников морских данных. Годовое количество отчётов представлено в виде кривых (логарифмическая шкала на вертикальной оси), кривая синего цвета для предыдущей версии ИКОАДС Версия 2.5 и кривая красного цвета для ИКОАДС Версия 3.0. Охват морскими данными до 1800 года был недостаточным, а после 2007 года продолжает ежегодно расти. Источник: Freeman et al. (2017).

За время своего существования ИКОАДС также добился признания в качестве основного хранилища и точки доступа для исторических морских метеорологических наблюдений, восстановленных в результате как малых, так и больших усилий по оцифровке. Сюда входят исторические метеорологические данные, восстановленные и оцифрованные с помощью CDMP (Программа модернизации базы климатических данных: 2000–2011 годы); CLIWOC (База климатологических данных для Мирового океана —1750–1850 годы, 2001–2003 годы); RECLAIM (Восстановление бортовых журналов и международных морских данных: 2004 год ->); Международной инициативы «Модели циркуляции атмосферы Земли» (АКРЕ, 2007 год->) (Allan et al., 2016) и проектов CoRRaL (Реестры колоний Соединённого Королевства и бортовые журналы Королевского военно-морского флота: 2008–2009 годы).

Самой последней версией ИКОАДС является Версия 3: ИКОАДС Версия 3.0 (охватывающая 1662–2014 годы) (Freeman et al., 2017) с добавлением месячных данных в режиме, близком к реальному времени, с 2015 года по настоящее время. На рисунке 1, взятом из указанной выше публикации, представлено сравнение версий ИКОАДС Версия 2.5 и ИКОАДС Версия 3.0 за период с 1800 по 2014 год, показывающее увеличение количества данных, достигнутое в результате многочисленных работ по восстановлению данных. Значимость этих восстановительных работ показана как по количеству данных, так и по их временному охвату, и они имеют решающее значение для дальнейшего расширения ИКОАДС и обеспечения публичного доступа к большему количеству данных об океане. Поскольку ИКОАДС стремится в ближайшем будущем модернизировать и расширить свои базы данных для выпуска новой версии комплекта, усилия по спасению и оцифровке исторических данных будут иметь жизненно важное значение для обеспечения новых источников данных для пополнения ИКОАДС.

С момента выпуска ИКОАДС Версия 3.0 были предприняты согласованные усилия по расширению восстановления, преобразования в формат изображения и оцифровки исторических глобальных морских метеорологических данных. Многое было предпринято посредством сочетания текущих и новых проектов по спасению данных с мероприятиями гражданской науки под руководством Метеорологической службы Германии (МСГ), Национального управления по исследованию океанов и атмосферы (НУОА) и Вашингтонского университета, работающего с Национальными архивами США, а также посредством усилий проекта «Глобальная температура приземного воздуха» (GloSAT), (2019 год ->) или проектов, связанные с международной инициативой АКРЕ и eё компонентом АКРЕ Океаны (например, проектов Службы спасения данных (DRS) C3S Программы ЕС «Коперник» и проектов Британского фонда Ньютона АКРЕ-Китай в рамках CSSP-Китай, АКРЕ/C3S DRS/WCSSP Южная Африка, АКРЕ/C3S DRS Аргентина и АКРЕ/C3S DRS Антарктика). Эти инициативы включили новые, взаимосвязанные центры по спасению морских данных с помощью «гражданской науки» в рамках проектов Old Weather (2013 год->), Weather Detective (2014–2017 годы) и Southern Weather Discovery (2018 год->). Датский национальный архив также констатировал наличие комплекта из более чем 7000 архивных коробок с данными о погоде с судов, начиная с 1650 года, которые подходят для цифрового отображения и расшифровки. Все морские данные, оцифрованные в рамках указанных выше инициатив, будут предоставлены в ИКОАДС и новый «Комплект данных глобальных наземных и морских наблюдений» Программы ЕС «Коперник» (GLAMOD) (Thorne et al., 2017).

АКРЕ Океаны

Большая часть данных, спасённых (преобразованных в формат изображения/отсканированных и каталогизированных) в рамках АКРЕ Океаны, была получена благодаря усилиям всего двух человек, сосредоточивших внимание на трёх разных архивах в Соединённом Королевстве — архиве Метеорологического бюро (МБСК), архиве Гидрографического бюро (ГБСК) и архиве Национальных архивов (НА), а также работавших с рядом других репозиториев по всему миру (Аргентина, Австралия, Чили, Новая Зеландия, Скандинавия, Южная Африка и США). Некоторые из этих исторических морских данных были с тех пор оцифрованы с использованием как традиционных методов ввода, так и инициатив гражданской науки. В 2019 году АКРЕ Океаны отсканировал 2,6 млн и оцифровал 1,5  млн исторических данных морских наблюдений. Приведённая таблица даёт исчерпывающую картину работ по преобразованию в формат изображения/сканированию и оцифровке, выполненных только для регионов Антарктики и Южного океана. Следует отметить, что большая часть спасённых данных была восстановлена в результате работы всего лишь с несколькими архивами, при этом таких архивов выявлено гораздо больше, но данные в этих архивах не преобразованы в формат изображения. В мире существует ряд других архивов, которые потенциально могут содержать такие данные, но работа с ними ещё не проводилась.

Важно понимать, что исторические морские данные можно найти не только в судовых журналах военно-морских и торговых судов. В морских геодезических и гидрографических документах (например в книгах записей), а также во многих других видах документации, помимо судовых журналов, содержатся метеорологические и океанографические данные, материалы, связанные с регулированием китобойного промысла и рыболовства, прокладкой морского кабеля, перевозкой почты (почтово-пассажирские суда), яхтами, судами, перевозящими осуждённых и поселенцев. Большую часть этого материала ещё предстоит обработать — преобразовать в формат изображения/отсканировать и/или оцифровать, каталогизировать и заархивировать.

Также стоит упомянуть, что постоянно обнаруживаются новые архивы и новые типы документации — например, АКРЕ Океаны обнаружил в ГБСК рабочие тетради, используемые для сбора данных наблюдений за меридиональным расстоянием с целью определения долготы различных точек, а также данные наблюдений за давлением и температурой воздуха, выполняемых дважды в день. Раньше на эти наблюдения не обращали должного внимания из-за различного рода препятствий.
 

Метеорологическая служба Германии

Метеорологическая служба Германии хранит в Морском метеорологическом бюро в Гамбурге архив из нескольких комплектов оригинальных исторических записей погоды с судов со всего мира, а также с немецких прибрежных и зарубежных наземных станций. Архив начал создаваться в Морской обсерватории Германии, предшественнице МСГ, существовавшей с 1868 по 1945 год в Гамбурге. Располагая фондом, содержащем более 37000 судовых метеорологических журналов, этот архив является одним из крупнейших в мире архивов подобного рода.

Monday, 14 December 1733. At the marker it says that there was wind from the west with a strength of bramsejls kuling (i.e. topgallant sail).

На фрегате «Хаммер» («Лобстер»), плывущем из Нюборга на острове Фунен в Копенгаген, в понедельник, 14 декабря 1733 года, был отмечен слабый западный ветер (3 балла по шкале Бофорта).

Исторический архив судовых журналов состоит из нескольких комплектов судовых журналов, начиная с 1828 года. Первые наблюдения взяты из обычных навигационных журналов. Все остальные комплекты состоят из типовых метеорологических журналов, введённых Мори (1840–1860 годы). Начиная с 1868 года Морская обсерватория Германии предоставляла немецким торговым судам собственные метеорологические журналы. Данные наблюдений за погодой из этих журналов были использованы для составления карт погоды, ветров и течений. На основе этих климатологических знаний и опыте моряков Морская обсерватория Германии разработала инструкции для торговых судов в обмен на их добровольные наблюдения — система добровольных наблюдений до сих пор существует в рамках Международной схемы судов добровольных наблюдений (СДН).

Общее количество морских наблюдений в историческом архиве Морской лаборатории Германии оценивается как минимум в 23 миллиона наблюдений, а, вероятно, реально их значительно больше. Усилия по оцифровке бортовых журналов начались в начале 1940-х годов, и в то время миллионы наблюдений были перенесены на перфокарты. С тех пор работа по оцифровке в МСГ продолжалась в несколько этапов. К настоящему времени около 15 миллионов наблюдений были оцифрованы и добавлены в цифровую базу данных.

Для оцифровки содержимого судовых журналов был разработан сложный рабочий процесс, состоящий из нескольких этапов: сбор всех метаданных для конкретного журнала, оптическое сканирование журналов и, наконец, преобразование в электронный вид (ввод с клавиатуры) содержимого. Все оцифрованные данные, полученные в результате каждого этапа, хранятся в системе базы данных. Наконец, данные, прошедшие контроль качества, включаются в морской метеорологический архив МСГ, а также в ИКОАДС. Усилия по оцифровке, не только в МСГ, продолжаются десятилетиями в рамках различных проектов, большинство из которых подробно описаны в этой статье. Поэтому неудивительно, что содержимое различных архивов данных носит фрагментарный характер, например, некоторые журналы были оцифрованы лишь частично, или записи в базе данных относятся к разным периодам оцифровки. Для других комплектов данных ссылки на соответствующие записи метаданных были потеряны с течением времени. В ходе программ обмена данными некоторые данные были продублированы в нескольких архивах. Следовательно, ещё одной проблемой, параллельно с интеграцией новых оцифрованных данных, является консолидация и обеспечение однородности существующих архивов данных. Приоритетом для МСГ в этом контексте является присвоение отсутствующих идентификаторов судов каждому наблюдению. Это позволит выявлять пробелы в данных и применять более жёсткий контроль качества ко всем рейсам судов, что приведёт к значительному повышению качества существующих комплектов данных.

Усилия по оцифровке содержимого исторических архивов МСГ продолжаются. Помимо метеорологических судовых журналов, в настоящее время оцифровываются, проходят контроль качества и передаются в международные базы данных несколько архивов наземных станций (более подробная информация о деятельности по спасению данных МСГ доступна здесь).

Работа по оцифровке МСГ по-прежнему в основном опирается на ручной ввод данных наблюдений. Разновидности старинных немецких почерков и необычные формы записи данных являются постоянной проблемой для систем автоматического распознавания текста. Автоматический ввод данных в будущем может значительно ускорить эту работу. Однако управление метаданными спасённых данных, а также обработка и сканирование старых и ветхих документов по-прежнему требуют большой тщательной работы для создания высококачественных современных комплектов данных, получаемых в результате использования этих ценных источников исторических данных.

Figure 2: Ships’ positions where new-to-science marine-meteorological and sea-ice observations have been recovered from historical records

Рисунок 2. Места плавания судов, для которых новые для науки данные морских метеорологических наблюдений и наблюдений за морским льдом были восстановлены из исторических записей: а) Северное полушарие, b) Южное полушарие. Жёлтым цветом показаны данные, восстановленные в рамках проекта гражданской науки Old Weather из федеральных источников США, в первую очередь с судов ВМС и береговой охраны. Для мест, выделенных оранжевым цветом, данные извлечены из судовых журналов в рамках проекта гражданской науки Southern Weather Discovery (SWD), осуществляемого Национальным институтом водных и атмосферных исследований Новой Зеландии (NIWA). Приблизительно 1–2% из 130 тысяч изображений с данными морских метеорологических наблюдений, переданных в NIWA, вводились с клавиатуры посредством SWD, осуществление которого ускорится, как ожидается, в ближайшие годы, чтобы улучшить пространственновременной охват Южного полушария.

НУОА/Вашингтонский университет/ Национальные архивы США

The United States Steamer “Powhatan” in a cyclone of Hatteras – From a sketch by G.T. Douglass, U.S.N. – [See Page 374.] in Harper’s Weekly, May 12, 1877.

Пароход Соединённых Штатов «Похатан», попавший в циклон Хаттерас — Из рисунка Г. Т. Дугласа, США — [см. стр. 374.] в Harper's Weekly, 12 мая 1877 года

НУОА и Вашингтонский университет (Объединённый институт исследований климата, океана и экосистем) сотрудничают с Национальными архивами США с 2011 года. За этот период в рамках совместного проекта были получены цифровые изображения с высоким разрешением 4618 томов судовых журналов федеральных судов, датируемых между 1844 и 1955 годами. Все они находятся в открытом доступе по всему миру по Каталогу национальных архивов. На сегодняшний день с помощью этих ресурсов было получено около 1,5 миллионов новых для науки почасовых метеорологических данных в рамках проекта гражданской науки Old Weather. Как показано на рисунке 2а, более 600 000 наблюдений за погодой и морским льдом в Арктике были дополнительно усовершенствованы за счёт кропотливой реконструкции маршрутов судов до почасового разрешения с использованием «счисления пути» и информации штурмана, содержащейся в журналах (то есть данных о маршруте судна и пройденном пути относительно известного начального положения).

Процесс создания цифровых копий, ввода с клавиатуры и контроля качества метеорологических данных, полученных на основе этих копий, и передачи этих данных в ИКОАДС и Международный банк данных о приземном давлении (ISPD) продолжается. Данные о морском льде, восстановленные с помощью Old Weather, использовались для проверки реконструкции объёма морского льда в Арктике за последнее столетие, основанной на использовании моделей (Schweiger et al., 2019, Wood et al., 2019), также преобразованные метеорологические данные доступны для исследований в области машинного обучения в части распознавания рукописного ввода (HCR).

Об огромном потенциале для спасения данных наглядно свидетельствует размер комплекта в США, который остаётся в основном неиспользованным. Начиная с 1847 года судовые журналы ВМФ США, Службы береговой охраны, Таможенной службы и Службы береговой и геодезической съёмки содержат 24-часовые записи о погоде, включая записи о 7–10 переменных каждый час, хотя однообразия в отношении информации о переменных не было фактически до окончания Гражданской войны в США (1861–1865 годы). В Национальном архиве насчитывается примерно 22700 судовых журналов, датированных периодом с 1801 по 1941 год. До 1915 года большинство томов содержали данные наблюдений за один год, а затем — с 1915 по 1941 год, журналы в основном были объединены в тома, содержащие данные ежемесячных наблюдений. По консервативным оценкам, только половина этих журналов содержит все 24-часовые наблюдения, и это означает, что необходимо восстановить 75500000 метеорологических записей. Без сомнения, есть ещё десятки миллионов не восстановленных метеорологических записей периода Второй мировой войны и после её окончания.
 

Датский метеорологический институт/ Национальный архив Дании

Национальный архив Дании содержит огромные коллекции бортовых журналов. Стало возможным идентифицировать более 7000 архивных ящиков, заполняющих более 700 метров полок журналами и другими морскими данными за период, начиная уже с середины семнадцатого века. На сегодняшний день оцифрована лишь очень небольшая часть этих данных.

В последнее время многие морские страны предоставляют свои данные, но датские данные, помимо солидного возраста, имеют две особенности:

  1. Между Данией и другими частями Датского королевства существовало регулярное морское сообщение. Это позволяет нам получить обширную информацию о ветре, погоде, температуре и протяжённости ледового покрова на пути в Гренландию и Исландию и обратно.
  2. Эресуннская пошлина являлась налогом, который должно было платить каждое судно, проходящее через пролив Эресунн между Данией и сегодняшней Швецией (в то время пролив был датским). В отдельные годы эта пошлина обеспечивала около трети национального бюджета Дании. Поэтому король постановил, что суда не будут проходить без уплаты пошлин, и в нескольких местах вдоль пролива Эресунн и в проливе Большой Бельт были выставлены датские суда, чтобы обеспечить это. Судовые журналы этих судов интересны тем, что записи в этих журналах имеют высокое временное разрешение, и тем, что относятся к XVII веку.

Национальный архив и Датский метеорологический институт разрабатывают проект под названием ROPEWALK (Спасение старых данных усилиями граждан: архивы погоды и климата на основе записей в бортовых журналах) по оцифровке этого огромного количества данных. В максимально возможной степени будут использоваться методы машинного обучения, а затем оставшиеся данные будут оцифрованы волонтёрами, как это было в других сопоставимых проектах. Оцифрованные данные пройдут контроль качества и будут предоставлены научному сообществу.
 

Национальный институт водных и атмосферных исследований

Национальный институт водных и атмосферных исследований (NIWA) в Новой Зеландии занимается спасением метеорологических данных в качестве вклада в АКРЕ (посредством участия в АКРЕ Тихий океан и АКРЕ Антарктика) с 2009 года. По этому каналу также передаются данные в ISPD. В течение последнего десятилетия внимание NIWA было сосредоточено главным образом на восстановлении высокоширотных метеорологических наблюдений в юго-западной части Тихого океана и в Южном полушарии за период 1800–1950 годов.

NIWA хранит миллионы наблюдений, относящихся к середине 1850-х годов, и в настоящее время прилагаются усилия по созданию цифровых копий и каталога метаданных, чтобы провести верификацию находящихся на хранении физических документов и данных, введённых с клавиатуры и хранящихся в цифровых архивах. В Новой Зеландии было обнаружено ещё несколько ценных исторических метеорологических документов (Lorrey and Chappell, 2016), которые используются для реконструкции синоптических погодных режимов и сравниваются с морскими наблюдениями, спасёнными другими научными организациями.

В последние годы NIWA занимается платформой гражданской науки Southern Weather Discovery (SWD), размещённой на сайте проекта Zooniverse (southweatherdiscovery.org), и восстановил ~ 250000 морских метеорологических наблюдений в Южном полушарии, способствует спасению метеорологических данных и завершает эксперименты по вводу реплицированных данных (рис. 2b). Он также активно сотрудничает с Microsoft в проекте «Искусственный интеллект» (AI) в интересах Земли», где сравниваются данные наблюдений, ввод которых осуществлён вручную и автоматически.
 

Проблемы и действия

Основные проблемы, с которыми сталкивается сообщество по спасению морских данных, можно разделить на две категории: доступ к историческим записям и преобразование рукописей в цифровой формат.

В первой категории судовые журналы, которые, как правило, содержат наибольшее количество высококачественных морских метеорологических данных, часто имеют возраст 100 или более лет и считаются документами национального значения. Государственные архивы, которые обычно несут ответственность за хранение и сохранность этих подчас ветхих документов, по понятным причинам осторожны в работе с ними. Однако нередко встречаются другие препятствия, такие как взимание платы за доступ (помимо платы за само преобразование в формат изображения), или другие запреты, которые существенно ограничивают использование таких документов в масштабах, необходимых для спасения данных.

Во второй категории преобразование в действенный цифровой формат в свою очередь является острой проблемой. В настоящее время этот этап выполняется с помощью либо ручного ввода, либо двойного слепого метода, либо с использованием гражданской науки (краудсорсинг). Эти подходы весьма полезны, если нацелены на конкретные регионы или периоды времени с недостаточным охватом данными, такие как Северный Ледовитый или Южный океаны, или на решение отдельно взятого изучаемого вопроса. Однако крупномасштабное преобразование огромного количества неиспользуемых морских метеорологических данных, которые реально существуют, потребует эффективного решения на основе искусственного интеллекта/машинного обучения.

Наконец, оцифрованные записи должны быть как можно более полными с подробными метаданными (где это возможно). Это особенно важно при работе с ошибками в данных, которые зависят от знаний о таких параметрах, как солнечное излучение, скорость и направление ветра, влажность и температура воздуха. Для метаданных может быть важна такая информация, как места хранения термометров или обеспечение их защиты от внешних воздействий, расположение экранов, платформы для наблюдений и особенности других приборов. Что касается температуры поверхности моря, то информация об оборудовании для измерений в машинном отделении, или о том, какой тип ёмкости для отбора проб океана использовался, имеется в редких случаях, к тому же часто бывает недостаточно информации о том, как проводились измерения (Kent and Kennedy, 2021). Также важна документация с описанием методов и т.п., которую иногда можно найти в справочниках морских наблюдателей. В связи с вышесказанным возникает необходимость повторно обработать старые данные, чтобы получить от их использования как можно больше, а также оценить, какие данные являются полными, а какие — нет. Успеху всех этих усилий очень сильно способствовал бы доступ к более устойчивым источникам финансирования.

Действия, которые начинают предприниматься для рассмотрения вышеуказанных потребностей, включают следующее:

  • В США НУОА недавно подняло на более высокий уровень развитие гражданской науки и машинного автоматического преобразования данных, предоставив возможности для целевого финансирования малого бизнеса и возможности для использования инкубатора информационных технологий Программы высокопроизводительных вычислений и коммуникаций NOAA.
  • Частные благотворительные организации всё активнее участвует в поддержке науки о климате в областях, где финансирование традиционно было затруднительным.
  • Объединение усилий Программы ЕС «Коперник», ВМО, АКРЕ, МСГ, Фонда Ньютона СК, НУОА, NIWA и аналогичных инициатив и финансовых потоков, которые всё активнее работают вместе с национальными метеорологическими службами, чтобы восстановить и улучшить инфраструктуру фундаментальных данных для удовлетворения потребностей в высокопроизводительном реанализе и новых приложениях искусственного интеллекта в этой области.

В цифровом формате существует технология, чтобы ассимилировать все морские метеорологические наблюдения, собранные каждым судном каждый день за последние два столетия. То, что стало известно о долгосрочном состоянии и будущем системы Земля в результате такого всеобъемлющего реанализа, может оказаться чрезвычайно важным в будущем.

    Поделиться: