💾 Archived View for any-key.press › yah2g › report_0.6.gmi captured on 2024-08-18 at 17:12:08. Gemini links have been rewritten to link to archived content

-=-=-=-=-=-=-

Запись дневника разработки yah2g: robots.txt

Я тут мимоходом заметил, что мой экземпляр yah2g стал использоваться facebook'ом для индексирования Gemini. Непорядок.

Предыдущая запись дневника разработки yah2g

Усмиряем роботов

Видимо после того, как я включил свой экземпляр в список Awesome Gemini на github до него дотянулись руки у facebook.

https://github.com/kr1sp1n/awesome-gemini/

В логах работы сервиса было много обращений, которые очень сильно смахивали на индексирование. IP адреса клиентов были разные, но все резолвились в `*.fbsv.net`. Это сеть ботов facebook'а.

Что бы противостоять такому безобразию в yah2g был добавлен robots.txt, который указывается при старте сервиса опцией `--robots`.

Комментарии через ActivityPub (Fediverse) можно оставить здесь:

https://honk.any-key.press/u/continue/h/zh8vrVchkRfB956X26