В данном репозитории собран каталог доменов федеральных органов власти, организаций и иных учреждений домене gov.ru и на специализированных государственных доменах.
Цель создания каталога - в помощи проекту "Национальный цифровой архив" https://ruarxive.org в каталогизации и архивации сайтов органов власти и государственных Интернет-проектов.
В данный каталог включаются только:
- домены относящиеся к государственным и муниципальным веб-сайтам
- имеющие веб-интерфейс для использования неограниченным кругом лиц (не включаются сайты почтовых служб или закрытые авторизацией)
- финансируемые за счёт бюджетных средств
Файл federal/roots.txt содержит корневые домены относящиеся к органам власти или государственным проектам и инициативам. Включает:
- домены 1-го уровня органов власти такие как mvd.ru, mid.ru
- домены 1-го уровня проектов и инициатив такие как gosuslugi.ru
- домены 2-го уровня в зоне gov.ru для органов власти, такие как rosnedra.gov.ru и duma.gov.ru
- домены 2-го уровня для госпроектов такие как budget.gov.ru и bus.gov.ru
В файле federal/roots.txt группы доменов разделены строками начинающимися с символа "#".
В каталоге "refined" собраны данные прошедшие ручную верификацию и обработку.
- feddomains.csv - домены в ведении федеральных органов власти
- organizations.csv - организации управляющие доменами федеральных органов власти
- govsystems.csv - государственные информационные системы к которым домены привязаны
- asn.csv - подсети (ASN) с привязкой к ним доменов
- regions.csv - регионы к которым привязаны домены федеральных органов власти
Эти данные подготавливаются с рабочей базы в Airtable и экспортируются в данный каталог по мере обновления Доступ к базе https://airtable.com/tblrWqT4mBakeR0E5 можно запросить письмом на [email protected]
В каталоге "federal/lists" собраны списки поддоменов по отдельным доменам, списки формируются вручную и поиском ботами по сайтам органов власти и на других сайтах.
Список корневых доменов собран в файле "federal/roots.txt", а в файле "federal/full.txt" объединённый список корневых доменов и всех поддоменом федеральной власти.
Для каждого субъекта федерации в папке "regional" создаётся подпапка с кодом субъекта в каждой из которых содержится 2 файла: roots.txt - список корневых доменов госпроектов и органов в этом регионе и full.txt - список всех доменов и поддоменов сайтов найденных на корневых доменах.
В данном репозитории идёт подоменный сбор доменов и поддоменов, но не по организациям. Для классификации по организациям собранные домены и поддомены необходимо накладывать на структуру власти и на конкретные задачи по архивации данных конкретного государственного органа, проекта или бюджетной организации.
Как искать домены сайтов госорганов и проектов?
- ссылками на корневом сайте .gov.ru и на других сайтах
- поиском по Google, Bing или Яндекс с запросом в формате "site:*.domain.xyz"
- через госреестры: госуслуги, госзакупки и другие официальные реестры госорганизаций
- через каталоги сайтов в сети
- через DNS Dumpster https://dnsdumpster.com/
- через Censys https://censys.io
- через сервис firststat.ru
Найденные домены можно добавить патчем к файлу federal/roots.txt или добавив файл с названием домена в папку "lists" со списком доменов
Для патча достаточно сделать запрос на изменение и отправить его через pull https://github.com/infoculture/govdomains/pulls также можно отправить домен, домены на проверку через запрос в issues https://github.com/infoculture/govdomains/issues
Все материалы репозитория доступны под свободной лицензией Creative Commons 3.0 SA
Поддерживается АНО "Информационная культура" Контакты: infoculture.ru, [email protected], [email protected]