Базы зарегистрированных доменов для погружения в глубокую сеть

[martyr]

В последние годы гугл, а затем и яндекс резко сократили выдачу результатов поиска. Там стало невозможно найти большую часть сайтов. К сожалению и DuckDuck ничем не лучше. Интересно, что гугл нагло обманывает пользователей, заявляя например, что нашел 3000 страниц результатов, а когда вы доходите до 100ой страницы, он вдруг извиняется - кончились результаты. Вот она - иллюзия выбора во всей красе. Еще недавно гугл выдавал многократно больше результатов, а теперь интернет как будто исчезает на глазах.

При этом, из поиска гугл только по официальным отчетам с 2013 года только по запросам правительства РФ было удалено несколько миллионов результатов. Цензура все сильнее зажимает в тиски. В глубокий интернет погрузиться становится все тяжелее. Удел большинства юзеров - плавать в той части сети, которую для них выбрали корпорации и правительства.

Я нашел для себя одно решение как найти сайты, которые не показывают поисковики, но которые доступны в сети (обычно это и зовется глубокой сетью). Для этого понадобятся полные списки существующих сайтов. Найти их можно много где, но почти везде надо заплатить 20-60$. Но если покопаться, то можно порою найти то же самое бесплатно. Например тут. База сайтов на домене ру содержит 5млн доменов и весит 70МБ. Тут же есть база на .com. Судя по моему беглому взгляду, она весьма полна, содержит даже не популярные сайты и сайты визитные карточки сделанные на базе конструкторов типа WIX. Но в ней много уже закрытых. Однако, она все равно очень подходит для выуживания всяких редких материалов. Также, имея такую базу можно исследовать статистику сети. Например, узнать доли сайтов по тематике.

Еще нашел один вариант, в этой базе кроме доменов указана дата регистрации и еще что-то. С той же ссылки можно вытянуть и базы по доменам .su и .рф если заменить ru в ссылке.

Если найдете другие места, где можно скачать базы, пишите в тему, всем будет на пользу.

(п с был сайтик в содружестве тор, который отслеживал цензуру в сети по всему миру. Там еще осьминог везде изображался. Очень хорошие базы имел этот сайт, потерял его, не подскажете адресок?)