Концепция двухуровневого архива

В начале 80-х годов в пулковской группе радиоизлучения Солнца была разработана концепция двухуровневого архива наблюдательных данных и необходимое для работы с таким архивом программное обеспечение [[#monitor<#630]], реализованное на ЕС ЭВМ. Суть этой концепции состоит в следующем. Весь архив наблюдательного материала состоит из двух глобальных частей:

• Архив первого уровня;
• Архив второго уровня.

Первичные данные наблюдений, сформированные программами регистрации, составляют архив уровня 1 ("АРХИВ-1"). Формат "АРХИВ-1" является аппаратурно-зависимым. Данные в этом формате содержат большое количество служебной информации, необходимой только для первичной обработки, зачастую необработанные данные калибровок, возможные сбойные отсчеты, которые в ряде случаев достаточно легко корректируются программными методами. Естественно, что по мере развития наблюдательных комплексов и систем регистрации менялся и формат "АРХИВа-1", причем, если внедрялся принципиально новый наблюдательный комплекс на базе ЭВМ нового типа, то и формат менялся кардинальным образом. Количество служебной информации в файле с данными по мере развития систем регистрации на РАТАН-600 постепенно росло от минимальной, как это было в первой очереди системы сбора, выходные файлы которой содержали только дату и время наблюдения и минимум информации о режиме регистрации, до исчерпывающего набора всех данных, необходимых для обработки наблюдения. Служебная информация развитого "АРХИВа-1" включает в себя помимо астрономической большое количество информации о режиме работы приемной аппаратуры и системе регистрации, что позволяет выполнить первичную обработку, но требует детального знания конкретного наблюдательного комплекса и методики наблюдений на нем. Поэтому данные в формате "АРХИВ-1" пригодны только для внутреннего использования и не могут передаваться астрофизикам, работающим в других организациях.

Естественно, что для астрофизической обработки и интерпретации желательно иметь данные, во-первых, в едином формате, вне зависимости от того, какая система регистрации использовалась, и, во-вторых, без излишней аппаратурной информации, которая нужна только для первичной обработки.

Данные наблюдений подвергнутые первичной обработке и записанные в аппаратурно-независимом формате составляют архив второго уровня. Первичная обработка включает обработку калибровок (при необходимости, поскольку некоторые системы регистрации выполняли обработку калибровок и в первичный архив записывались уже результаты, а не сами массивы данных с калибровками), коррекцию нефатальных сбоев аппаратуры, необходимые перекодировки числовых и символьных полей (поскольку системы регистрации были разработаны на базе различных ЭВМ), сшивку сканов Солнца за переключения усиления во время регистрации, при необходимости ручной ввод дополнительной (в частности, астрономической) информации, хранение которой не было предусмотрено в первичном архиве, но которая необходима для дальнейшей астрофизической обработки и т.п., а также формирование файлов в формате архива второго уровня.

В качестве формата такого уровня был разработан и внедрен формат "АРХИВ-2", реализованный на ЕС ЭВМ на магнитных лентах. Подробнее о формате "АРХИВ-2" см. в .

Архив второго уровня (понятие архив второго уровня не следует путать с форматом "АРХИВ-2", "АРХИВ-2" -- это название конкретного формата, который в течение длительного времени использовался как реализация архива второго уровня) является базовым архивом наблюдательного материала для всех периодов наблюдений, независящим от используемой системы сбора. Данные архива второго уровня могут передаваться сторонним пользователям, не знакомым с деталями приемной аппаратуры РАТАН-600, для астрофизической обработки.

Данные в "АРХИВе-2" хранятся не с исходным временным интервалом между точками, с которым производилась регистрация, а в сжатом виде, причем в "новой" версии коэффициент сжатия был различным для разных каналов в зависимости от длины волны, поскольку, если исходить из возможностей пространственного разрешения радиотелескопа, для исследования структуры источников нет смысла снимать отсчеты слишком часто. Это позволило сократить объем файлов с данными. Однако в настоящее время, несмотря на то, что наблюдения Солнца на третьем облучателе РАТАН-600 проводились в режиме пассажного инструмента, стали актуальны задачи исследования не только пространственной структуры источников, но и временных флуктуаций радиоизлучения в них, которые могут быть зарегистрированы за время прохождения источника через диаграмму направленности. Это приводит к необходимости вновь обратиться к первичному архиву и формировать архив второго уровня заново, но уже без сжатия данных, сохраняя исходный интервал между точками.
 

2000-06-21