💾 Archived View for betahowto.duckdns.org › archive:yggdrasil:sites_and_services:search_services:ygg… captured on 2024-03-21 at 16:13:45. Gemini links have been rewritten to link to archived content

-=-=-=-=-=-=-

YGGo

Проект переведен в статус архивного. Разработка продолжена в рамках новой минималистичной площадки Yo! ( gemini://betahowto.duckdns.org/yggdrasil:sites_and_services:search_services:yo ) на базе поискового сервера Manticore.

YGGo - проект с открытым исходным кодом ( https://github.com/YGGverse/YGGo ) и базой данных ( https://github.com/YGGverse/YGGo#database-snaps ), первоочередно ориентирован на поиск в сети Yggdrasil, но также поддерживает конфигурацию для работы с другими сетями.

Индексатор поддерживает различные типы данных, включая мультимедийные форматы. Реализованы базовые алгоритмы PR, поиск по слово-формам, словари лематизации.

Помимо поиска, проект реализует сохранение снимков истории страниц (snaps) по принципу Webarchive ( https://web.archive.org/ ).

Добавлена возможность кластерного хранения снимков посредством протокола FTP, для распределения данных и минимизации требований к дисковому пространству вычислительного сервера.

На момент написания материала, содержит в индексе около 700,000 страниц.

Архитектура

Исходный код написан на языке PHP 8. Клиентская часть, как и в остальных проектах ( https://github.com/orgs/YGGverse/repositories ) YGGverse - не использует JavaScript.

В первом прототипе ( https://github.com/YGGverse/YGGo/tree/sqliteway ) использовалась база данных SQLite и полнотекстовый поиск FTS5.

Вскоре был осуществлен переход на MySQL и поисковый сервер Sphinx.

Проект предусматривает открытый обмен поисковыми индексами, имеется поддержка JSON API, также периодически публикуются дампы просканированных страниц.