CATS-manual

База данных CATS - система поддержки астрофизических каталогов

Описание базы данных CATS

Гигантский рост публикации научных статей в области астрономии превратил ручной библиографический поиск в трудоемкое занятие. Особенно много времени занимает поиск идентификаций радиоисточников среди источников в других диапазонах.
Уже несколько лет такие работающие в режиме "on-line" базы данных (БД), как Симбад SIMBAD (Страсбургский Центр астрономических данных), NED "Внегалактическая база данных НАСА/ИПАК" (США, Пасадена), LEDA и "Лион-Медонская внегалактическая база данных" (Франция, Лион), являются главным и свободным источником накопленной информации по астрономическим объектам. Ежемесячно по несколько тысяч обращений со всего мира регистрируется в эти БД. В значительной доле публикаций по астрономическим наблюдениям этим службам выносится благодарность. Хотя перечисленные БД дают довольно полную информацию по звездам и галактикам, в них сильно не хватало (на конец 1995 г.) данных по быстро растущему числу открываемых радиоисточников.
В то время авторы начали создание CATS прежде всего как системы поддержки наблюдений, проводимых на радиотелескопе РАТАН-600. Именно постоянная работа с каталогами при обработке и интерпретации наблюдений на радиотелескопе РАТАН-600 стала побудительной причиной создания радиоастрономической базы данных каталогов более широкого использования. После написания удобного интерфейса такая возможность была реализована в рамках локальной сети САО. С организацией доступа САО в Интернет такая база данных, ориентированная на WEB технологию, стала широко использоваться астрономическим сообществом. Как показывает статистика, обрабатывается 2500-3000 обращений в месяц. Авторы убеждены, что данные из CATS помогут астрономам при обработке астрофизических наблюдений. Авторы постоянно дополняют CATS интерпретационными CGI-программами, а последнее время и Ява-апплетами.

Природа тысяч радиоисточников, занесенных в каталоги, неизвестна, хотя они были обнаружены в обзорах довольно давно. Классическим примером может служить источник 4С+04.66 из 4-ого Кембриджского каталога, известный с 60-х годов. Только в 1978 он был отождествлен со знаменитой рентгеновской и яркой оптической двойной системой SS433, одной из компонент которой, вероятно, является черная дыра или нейтронная звезда.

Теперь же после завершения двух крупных обзоров неба FIRST и NVSS, число неотождествленных радиоисточников возросло до многих сотен тысяч.

Ниже карта сокращенных названий каталогов "Доска объявлений CATS" показывает только малую часть всех каталогов CATS, но для многих астрономов эти акронимы звучат как имена старых друзей. (Подробный список приведен ниже).
Щелкнув "мышкой" в области с сокращенным названием каталога, можно обратиться к документации по данному обзору, где приведены основные параметры и структура каталога. View of available catalogs

В России только в Астрономическом институте СПбГУ (Санкт-Петербург) была создана аналогичная база данных внегалактических источников в скоплениях RAC .

База данных CATS (CATalogs support System) постоянно пополняется новыми каталогами в разных диапазонах электромагнитного спектра и ноябре 1998 г. более 250 каталогов были включены в CATS. Все эти каталоги подключаются к программам поиска: select/match и контектсному поиску.

Коллекция данных

Табличные данные каталогов поступали на РАТАН-600 разными путями. Версия N43 MASTER LIST попала к нам еще в 80 гг. Создавались каталоги и по обзорам, проведенным в САО. Стоит отметить большой Зеленчукский обзор ГАИШ и обзор ХОЛОД, в которых были каталогизированы тысячи радиоисточников.
Большую помощь авторам оказал д-р Хайнс Андернах, который на взаимной основе передал многие каталоги для CATS. Он собрал гигантскую коллекцию разных каталогов и таблиц. Мы поддерживаем свежие версии списка Андернаха. На март 1999 г. в нем около 600 радиокаталогов и таблиц и около 400 каталогов и таблиц из других диапазонов.
Самая свежая версия списка Андернаха расположена на FTP-сервере: ftp://ftp.astro.ugto.mx/pub/outgoing/heinz/cats.and
В всех этих файлах помечены каталоги, входящие в CATS.

Х. Андернах не только собрал наиболее полный набор таблиц данных по внегалактическим радиоисточникам и приобрел большой опыт использования имеющихся баз данных для кросс-идентификации и выборки источников, но он также обладает уникальной библиографической коллекцией ссылок статей по оптическому отождествлению радиоисточников, которая не входит в единственную существующую компиляцию оптических отождествлений Верона и Верона (1983). Этот список содержит свыше 400 ссылок по почти 40000 источникам, только малая часть которых имеется в электронном виде.

Ниже приведен список документации по основным каталогам CATS, где можно найти таблицы входящих в CATS каталогов галактик, квазаров, многочастотных радиокаталогов, каталогов объектов,. Там приведены ADS-ссылки на оригинальные публикации и пр.

Каталоги CATS .

Структура данных

В настоящее время CATS представляет собой набор астрофизических каталогов, их описаний и программ работы с каталогами.
Отбор каталогов для CATS основан на трех принципах:
включать все радиокаталоги, созданные на основе обзоров неба;
включать все крупные (>1000 объектов) незвездные каталоги из других диапазонов;
включать каталоги объектов из других диапазонов, в которых использованы радиоданные.
Авторы рассчитывают, что вся необходимая информация для работы с данным каталогом будет доступна через создаваемую документацию, а по мере появления доступа к оригинальным публикациям, будет приводится URL-ссылка. Сейчас в документацию по каталогам добавлена ссылка на базу данных публикаций ADS. Каждая ссылка на оригинальную статью имеет 19-символьный биб-код.

Основной упор в CATS сделан на работу с радиокаталогами и отдельными таблицами, полученными в наблюдениях в сплошном спектре. Таких таблиц включено в CATS около 160. Причем все самые объемные каталоги с числом источников (записей) больше 1000 включены в CATS. Поэтому в первую очередь создается матобеспечение для работы с радиоданными.

Астрофизические каталоги размещены в отдельных файлах, отсортированных как правило по прямому восхождению (В1950), размером полчаса по прямому восхождению (для данных IRAS), в один час (для различных каталогов телескопов Green Bank, Texas и т.д., а также MASTER.LIST), 4 часа или 24 часа, т.е. в одном файле (как УТР, Болонгские, Кембриджские каталоги и др.). Каталоги источников располагаются в подсправочниках (директориях) на собственном сервере CATS (http://cats.sao.ru/) (ПК IBM K6-200) и ВЭБ-сервере (http://www.ratan.sao.ru/~cats/) (Ultra Sparc station). В этих справочниках (директориях) располагаются файлы описаний (readme) для каталогов, а также программы select (выбор по параметрам из данного каталога) и match (программа кросс-идентификации по списку) или командные файлы для использования общими программами (c_sel и с_match). Информация об именах директорий, исполняемых программ и файлов документаций содержится в файле описаний cats_descr, с которым работает программа cats_base, обслуживающая директиву для оболочки (shell-script) catswork.

Во-первых, это обычные каталоги, полученные по результатам радиообзоров, состоящие из с названия источника, измеренных координат, потока на частоте обзора и реже угловых размеров источника. Могут добавляться ошибки координат, потоков и размеров. Наконец часто как дополнительные параметры входят перекрестное отождествление с радио- или оптическими объектами. Очень информативными являются несколько каталогов обзора IRAS. Данные по обнаруженным источникам включают четыре диапазона и отождествления с 35 разными астрофизическими каталогами. В CATS включены все каталоги, полученные с помощью наблюдений на космической обсерватории "Эйнштейн", многие обзоры рентгеновского спутника ROSAT.

Во-вторых, компиляционные каталоги - коллекции данных обзоров на многих частотах, отдельных оригинальных измерений. Классический пример - MASTER LIST (Диксон, 1970). Такие каталоги удобны для спектральных оценок. Их недостатком является отсутствие каких-либо индикаторов отождествления источников друг с другом.
Важным этапом в создании таких компиляционных каталогов являются две версии каталога Кюра и др. (1979, 1981), где данные по измерениям уже отсортированы для каждого источника, сделана взаимная привязка в рамках единой шкалы потоков калибровочных источников. Недавно каталог Кюра и др. (1979) был дополнен измерениями из новых обзоров: GB6, PMN, TEXAS, FIRST, NVSS и др. Эти данные использованы в программах построения спектров. К таким же каталогам следует отнести и версию каталога PKSCAT90 и компиляцию данных по источникам в полосе обзора ХОЛОД (Бурсов и др. 1996). Существует компиляция данных по измерениям поляризации источников (Табара и др. 1979).

Наконец, существует промежуточные каталоги с представлением в таблице данных измерений и компиляции других данных. Например, в каталог GB6 входят данные Техасского каталога, обзора в Гринн Бэнк на 1.4 ГГц и спектральные индексы. Каталоги пульсаров (Тэйлор и др., 1993, 1995), кроме измеряемых величин: координат, периодов, производных периода, потоков и др. включают и множество производных параметров (например: мера дисперсии, расстояние, магнитное поле, светимость и пр. для пульсаров).

Мы и сами начали создавать такие каталоги. Так каталог GALCEN состоит из компиляции около 4000 радиоисточников в области Галактического центра из шести разных радиокаталогов: Техасского на 365 МГц, трех Боннских на 1.4, 2.7 и 4.85 ГГц, Паркского обзора на 5 ГГц и обзора в Нобеяме на 11 ГГц.
Недавно создан компиляционный каталог измерений потоков ОСН, включающий данные по ~200 ОСН. Он используется в процедуре "on-line" для построения спектров ОСН.
Также впервые мы включили в CATS атлас распределений яркости по 80 ОСН, составленный в основном по данным измерений С.А. Трушкина в галактическом обзоре Галактики и отдельных наблюдениях.
CATS расширяется за счет совершенствования программных возможностей работы с табличными данными, поиска кросс-идентификаций, подключением графики и элементов интерпретации.

Программы нижнего уровня: select и match

База данных позволяет производить две основные функции:
1) выборка по параметрам из каталогов;
2) кросс-идентификация списка пользователя с каталогами базы данных.
В первом случае используются программы типа select, во втором случае - программы типа match. Здесь применен двоякий подход - программы поиска разрабатываются для сложных астрофизических каталогов отдельно и позволяют работать и со стандартными параметрами (пределы выборки по экваториальным и галактическим координатам, плотностям потоков, эпохи ввода-вывода), и с параметрами, определенными только в данном каталоге (спектральные индексы, набор частот, размеры, поляризация и т.д.). Если же таблица или каталог имеет простую форму - то для него применяют программы c_sel и c_match, которые имеют опцию настройки считывания основных параметров каталога по шаблону. Последний способ ускоряет подключение каталога к базе данных. Все программы работают и со сжатыми (*.gz, *.Z) файлами каталогов.

Программы высокого уровня

К программам высокого уровня относятся командные файлы, которые оперируют с программами нижнего уровня и позволяют работать различным пользователям в своих каталогах в локальной сети РАТАН-600, а также внешнему пользователю cats. Это программы catswork, с_sel, cats_sel, cats_match, cats_doc и cats_sel. Программа catswork вызывает все остальные программы. Соответствующие описания для каждой программы можно получить, используя команду 'man'.
Впервые в практике работы с каталогами созданы графические программы для построения спектров источников из многочастотных каталогов. Подключены четыре каталога: Kuhr'79/Kuhr'81, PKSCAT90, RC_COLD и SNR. Ниже приведен пример построения спектра источника 3С48 из каталога Кюра (1981) и ОСН G11.2-0.3. plotting of spectrum

plotting of spectrum

Доступ к CATS и обращение с помощью email

Для увеличения скорости доступа база данных CATS размещена в виде "зеркальных" копий на двух серверах САО РАН, функционирующих в локальных субсетях РАТАН и ННП САО. В обоих случаях реализованы следующие виды работ:

доступ к поисковой системе через telnet://cats@cats.sao.ru/ или
telnet://cats@www.ratan.sao.ru;
доступ к файлам данных и описаниям через ftp://ftp.sao.ru/pub/cats/ или
ftp://www.ratan.sao.ru/;
гипертекстовый доступ: http://cats.sao.ru/
или http://www.ratan.sao.ru/~cats;
доступ к поисковой системе через электронную почту по адресу: cats@sao.ru ;
доступ к CATS и другим общедоступным файлам через электронную почту (подробные правила работы с файловым сервером можно получить, послав письмо с единственным словом help по адресу: observ@ratan.sao.ru );
работа на сервере РАТАН-600 или с любого компьютера (с ОС Linux) в локальной сети САО, к которому подмонтирована файловая система сервера с расположенными на ней утилитами и базой данных CATS.

Первый и последний виды работы построены с помощью системы последовательных меню. При гипертекстовом доступе ввод параметров для выборки источников в заданной области или для поиска координатных совпадений оформлен в виде форм. При этом удобнее использовать графические браузеры для X-Window и Windows: Mosaic, Netscape, Internet Explorer, но можно пользоваться и текстовыми браузерами типа Lynx. Собственно поисковые программы, реализующие CGI, написаны для Unix на Shell и C.
Поскольку обработка большого списка отождествляемых источников может занимать продолжительное время, для пользователя будет более удобна обработка его запросов через электронную почту (E-mail). Ниже приводится примеры задания команд поисковой системы при доступе к CATS через электронную почту (подробное описание можно получить, послав пустое письмо по адресу cats@sao.ru :

Пример письма-запроса для получения выборки всех радиоисточников с плотностью потока свыше 0.5 Ян в заданной граничными координатами области неба c выводом результата в виде FITS файла размером не более 50 Кбайт:
```
mail -s "" cats@sao.ru
cats select
 ra min=12:30 max=12:40:15.  dec > 0 < 5' 46"
 catalogs r epoch=1950  flux > 0.5
 out fits, size=50
cats end
```
Пример письма-запроса для получения результатов поиска координатных совпадений трех источников с заданными ошибками (x по RA; y по DEC):
```
mail -s "" cats@sao.ru
cats match catalogs a
 window box x=60" y=40'
 sources:
 s1 02:02:00    +31:23:16    1950
 s2 02:23:10     00:03:00    1950
 s3 21:26:33.9  -18:34:33.0  1950
cats end
```

Существенным развитием поисковых средств стало подключение системы быстрого индексного поиска GLobal IMPlicit SEarch и ее гипертекстового расширения WebGlimpse (U. Manber at al.) Средства этой свободно распространяемой системы способны в течение секунд производить поиск информации (в нашем случае: имена источников и каталогов, фамилии авторов и т.п. в различных комбинациях) среди множества файлов по заданному шаблону и формировать список ссылок в гипертекстовом виде, удобном для дальнейшей работы. WebGlimpse позволяет легко расширить систему поиска не только внутри локальной файловой системы CATS, но и среди документации, размещенной на аналогичных серверах в Internet.

Использование CATS

Авторы не имеют полной информации по внешнему использованию базы данных. Общая статистика показывает, что число пользователей постоянно растет и превышает 2000 в месяц.
Можно заметить, что наряду с популярными поисковыми задачами, пользователи обращаются к широко представленной документации по каталогам CATS. Сами авторы провели несколько крупных кросс-идентификаций, представленных в списке литературы. Отметим, что кросс-идентификация техасского и ИК каталогов IRAS принесла несколько неожиданных результатов по обнаружению пекулярных источников в Галактике. Авторы планируют провести такое же исследование с источниками из каталога всего неба спутника ROSAT.
Таким образом, база данных CATS становится основой для постановке и проверки новых наблюдательных программ на телескопах САО. В конечном итоге созданная база данных станет частью общей информационной системы радиотелескопа РАТАН-600, включающей работу антенны, дистанционные наблюдения, архивизацию, обработку и интерпретацию.

Авторы искренне благодарны Российскому Фонду фундаментальных исследований за поддержку (грант РФФИ No 96-07-89075).

Литература

Верходанов О.В., Трушкин С.А. Работа с базой данных каталогов на РАТАН-600: организация, программы, описания. Версия 1. Отчет САО РАН N 228. C.1-52. 1994г.

Verkhodanov O.V., Trushkin S.A. Active database of astrophysical catalogs at RATAN-600. Препринт САО РАН No 106. P.66-74. Нижний Архыз. 1995.

Верходанов О.В., Трушкин С.А. Активная база астрофизических данных каталогов на РАТАН-600. Семинар РФФИ "Базы данных и информационные системы в радиоастрономии". Пущино. 1995. Тезиcы докладов. С.3.

Верходанов О.В., Трушкин С.А. 1995. CATS - активная база данных астрофизических каталогов на РАТАН-600. Тезисы докладов XXVI радиоастрономической конференции. С.-Петербург. ИПА РАН. С.252-254.

Trushkin S.A., Andernach H., Micol A., Gubanov A.G., Verkhodanov O.V., Titov V.B., Chernenkov V.N. Public Databases for Radio Astronomy: a joint venture between East and West. In Proc. of the Third International Workshop on "Advances in Databases and Information Systems". 1996, Sept.10-13. Moscow Engineering Physical Inst. Publishing, V.2, p. 37-41.

Andernach H., Trushkin S.A., Gubanov A.G., Verkhodanov O.V., Titov V.B., Micol A. Preparing a public database of radio sources. Baltic Astronomy, 1997, V.6, No 2. P.259-262.

Verkhodanov O.V., Trushkin S.A., Chernenkov V.N. CATS: a database system of astrophysical catalogues. Baltic Astronomy, 1997, V.6, No 2. P.275-278.

Verkhodanov O.V., Trushkin S.A., Andernach H., Chernenkov V.N. 1997. The CATS database to operate with astrophysical catalogs. In "Astronomical Data Analysis Software and Systems VI", eds. G.Hunt and H.E.Payne. ASP Conference Series, V.125, P.322-325.

Verkhodanov O.V., Chernenkov V.N., Trushkin S.A. 1997. Furter advance in the CATS database operation. First year of WWW access. In Proc. of the First East-Europian Symposium on Advances in Databases and Information Systems (ADBIS'97). Санкт-Петербургский университет. Сентябрь 2-5, 1997. Издательство "Невский Диалект". V.2, P. 73-77.

Andernach H., Trushkin S. Current Status of Radio Source Databases. Proceedings "Observational Cosmology with the New Radio Surveys", eds. M. Bremer, N. Jackson and I. Perez-Fournon, Kluwer Acad. Press, ASSL vol. 226, p.67-68, (/astro-ph/9703141).

Верходанов О.В., Кононов В.К., Трушкин С.А., Черненков В.Н. Система описания данных галактических и внегалактических источников. XXVII радиоастрон. конф., СПб. ИПА РАН, 1997, т.1, 316-329.

Трушкин С.А., Верходанов О.В. Свойста объектов ITA-каталога, спектры и NVSS отождествления XXVII радиоастрон. конф., СПб. ИПА РАН, 1997, т.1, 328-329.

Верходанов О.В., Трушкин С.А. Кросс-идентификация техасского каталога на 365 МГц и трех основных каталогов спутника IRAS. XXVII радиоастрон. конф., СПб. ИПА РАН, 1997, т.1, 332-334.

Черненков В.Н., Верходанов О.В., Трушкин С.А. Система поиска астрофизической информации в базе данных CATS XXVII радиоастрон. конф., СПб. ИПА РАН, 1997, т.1, 324-325.

Back to begin of manual