💾 Archived View for stalker.shpakovsky.ru › about.gmi captured on 2023-01-29 at 02:37:44. Gemini links have been rewritten to link to archived content
⬅️ Previous capture (2022-06-03)
-=-=-=-=-=-=-
20 text/gemini; lang=ru
Идея скрипта родилась из попытки хоть как-то отследить изменения в русскоязычном гемини-сообществе. Не все из нас транслируют свои обновления в Антенну или ещё куда - кто по принципиальным соображениям, кто из скромности. Этот скрипт помогает тем, кто не хочет самостоятельно посещать каждую капсулу в поисках обновлений.
"Антенна" - агрегатор подписок, в основном англоязычных
Скрипт раз в сутки (в 6:00 утра по московскому времени - это 9 вечера по центральноамериканскому и час дня по владивостокскому) обходит все известные русскоязычные капсулы (список взят из Русского сообщества "Точка G") и формирует ежедневный отчет. Скрипт старается быть как можно менее назойливым - делает трёхсекундные задержки между запросами разных страниц одного сайта и по возможности избегает тяжелых нетекстовых файлов. Также мы уважаем файл robots.txt, если он есть.
В течение дня результаты работы скрипта могут модерироваться вручную. При этом удаляются артефакты работы скрипта: из двух одинаковых страниц (например, gemini://example.com/ и gemini://example.com/index.gmi) в отчете оставляем только одну; возвращаем страницы, которые скрипт удалил из индекса из-за сетевой ошибки; если в один день страница была удалена, а на завтра восстановлена - то считаем, что она не изменилась. Кроме того, если скрипт отказался скачивать какой-либо сайт (из-за изменений в файле robots.txt или превышения лимита количества страниц), то такой сайт докачивается ручным запуском скрипта.
Количество страниц русскоязычной гемисферы, указанное в начале каждого дня, не всегда можно использовать для сравнения дней между собой - они могут меняться не только из-за изменений в гемисфере, но также из-за изменения настроек скрипта и модерации. Если Вы заметили несоответствие - вероятно, я что-то где-то подкрутил :)
Если кто-то хочет добавить или удалить свою (или чужую) капсулу из списка для ежедневной проверки, заглянуть в исходный код или высказать своё мнение - пишите мне на мыло. Почтовый адрес совпадает с именем домена (stalker.shpakovsky.ru), только надо заменить первую точку (.) на собачку (@). 🐕
Полезные ссылки:
Исходный код скрипта на Github
Неисправленный результат работы последнего запуска скрипта
Лог последнего запуска со списком всех посещенных адресов
Список адресов, запрещенных роботу для посещения (вручную обновляемый аналог robots.txt)