Зачем нужен этот проект?

В данном репозитории собран каталог доменов федеральных органов власти, организаций и иных учреждений домене gov.ru и на специализированных государственных доменах.

Цель создания каталога - в помощи проекту "Национальный цифровой архив" https://ruarxive.org в каталогизации и архивации сайтов органов власти и государственных Интернет-проектов.

В данный каталог включаются только:

• домены относящиеся к государственным и муниципальным веб-сайтам
• имеющие веб-интерфейс для использования неограниченным кругом лиц (не включаются сайты почтовых служб или закрытые авторизацией)
• финансируемые за счёт бюджетных средств

Структура

Файл federal/roots.txt содержит корневые домены относящиеся к органам власти или государственным проектам и инициативам. Включает:

• домены 1-го уровня органов власти такие как mvd.ru, mid.ru
• домены 1-го уровня проектов и инициатив такие как gosuslugi.ru
• домены 2-го уровня в зоне gov.ru для органов власти, такие как rosnedra.gov.ru и duma.gov.ru
• домены 2-го уровня для госпроектов такие как budget.gov.ru и bus.gov.ru

В файле federal/roots.txt группы доменов разделены строками начинающимися с символа "#".

Обработанные данные

В каталоге "refined" собраны данные прошедшие ручную верификацию и обработку.

• feddomains.csv - домены в ведении федеральных органов власти
• organizations.csv - организации управляющие доменами федеральных органов власти
• govsystems.csv - государственные информационные системы к которым домены привязаны
• asn.csv - подсети (ASN) с привязкой к ним доменов
• regions.csv - регионы к которым привязаны домены федеральных органов власти

Эти данные подготавливаются с рабочей базы в Airtable и экспортируются в данный каталог по мере обновления Доступ к базе https://airtable.com/tblrWqT4mBakeR0E5 можно запросить письмом на [email protected]

Федеральная власть

В каталоге "federal/lists" собраны списки поддоменов по отдельным доменам, списки формируются вручную и поиском ботами по сайтам органов власти и на других сайтах.

Список корневых доменов собран в файле "federal/roots.txt", а в файле "federal/full.txt" объединённый список корневых доменов и всех поддоменом федеральной власти.

Субъекты федерации

Для каждого субъекта федерации в папке "regional" создаётся подпапка с кодом субъекта в каждой из которых содержится 2 файла: roots.txt - список корневых доменов госпроектов и органов в этом регионе и full.txt - список всех доменов и поддоменов сайтов найденных на корневых доменах.

Ограничения

В данном репозитории идёт подоменный сбор доменов и поддоменов, но не по организациям. Для классификации по организациям собранные домены и поддомены необходимо накладывать на структуру власти и на конкретные задачи по архивации данных конкретного государственного органа, проекта или бюджетной организации.

Инструментарий

Как искать домены сайтов госорганов и проектов?

• ссылками на корневом сайте .gov.ru и на других сайтах
• поиском по Google, Bing или Яндекс с запросом в формате "site:*.domain.xyz"
• через госреестры: госуслуги, госзакупки и другие официальные реестры госорганизаций
• через каталоги сайтов в сети
• через DNS Dumpster https://dnsdumpster.com/
• через Censys https://censys.io
• через сервис firststat.ru

Найденные домены можно добавить патчем к файлу federal/roots.txt или добавив файл с названием домена в папку "lists" со списком доменов

Для патча достаточно сделать запрос на изменение и отправить его через pull https://github.com/infoculture/govdomains/pulls также можно отправить домен, домены на проверку через запрос в issues https://github.com/infoculture/govdomains/issues

Использование

Все материалы репозитория доступны под свободной лицензией Creative Commons 3.0 SA

Поддерживается АНО "Информационная культура" Контакты: infoculture.ru, [email protected], [email protected]