💾 Archived View for geminiprotocol.net › docs › eo › kunulo › robots.gmi captured on 2024-03-21 at 15:30:03. Gemini links have been rewritten to link to archived content
⬅️ Previous capture (2023-12-28)
-=-=-=-=-=-=-
Tiu ĉi dokumento priskribas adapton de la fakta norma mekanismo robots.txt de la reto por regi aliron al Gemini-rimedoj fare de aŭtomataj klientoj (poste rotoj).
Gemini-servilaj administrantoj povas uzi robots.txt por sciigi ilian deziratan rot-politiko laŭ maŝinlegebla formato.
Aŭtoroj de aŭtomataj Gemini-klientoj (ekz. serĉilaj rampiloj, retaj prokuriloj, ktp.) estas forte rekomenditaj kontroli por tiaj politikoj kaj obei ilin kiam trovitaj.
Servilaj administrantoj devus kompreni, ke ne eblas devigi robots.txt politikon kaj devas esti pretaj uzi, ekz., fajroŝirmilajn regulojn por bloki aliron fare de malkondutaj rotoj. Ĉi tio same veras por kaj Gemini kaj la reto.
Gemini-servilaj administrantoj povas servi robotan politikon por sia servilo ĉe la URL kun la vojo /robots.txt, ekz. la servilo example.net devus servi sian politikon ĉe gemini://example.net/robots.txt.
La dosiero robots.txt devus esti servita kun MIME-meditipo text/plain
La formato de la dosiero robots.txt estas laŭ la originala robots.txt specifo por la reto, t.e.:
La nura nebagatela malsamo inter robots.txt en la reto kaj en Gemini estas, ke ĉar Gemini administrantoj ne povas facile malkovri kiuj rotoj aliras sian Gemini-ujon kaj kial (ĉar Gemini-klientoj ne sendas uzantagenton), Gemini-rotoj estas kuraĝigitaj obei direktivojn por "virtualaj uzantagentoj" laŭ ilia celo/funkcio. Ĉi tiuj estas priskribitaj malsupre.
Malgraŭ ĉi tiu malsamo, Gemini-rotoj devus ankoraŭ respekti robots.txt direktivojn celitajn al User-agent *, kaj povas ankaŭ respekti direktivojn celitaj al sia propra ununura User-agent, kiuj ili, ekz., elstare reklami ĉe la Gemini-paĝo de ajnaj publikaj servoj, kiuj ili provizas.
Malsupre estas difinoj pri diversaj "virtualaj uzantagentoj", ĉiuj el kiuj kongruas komunan kategorion de roto. Gemini-botoj devus respekti direktivojn celitaj al ajna virtuala uzantagento kiuj kongruas sian agadon. Evidente, maleblas pripensi perfektajn difinojn pri ĉi tiuj uzantagentoj kiuj permesas malambiguan kategorigadon de rotoj. Rotaj aŭtoroj estas kuraĝigitaj erari fkanke de singardemo kaj klopodi sekvi la "spiriton" de ĉi tiu sistemo, anstataŭ la "litero". Se boto kongruas la difinon de pluraj virtualaj uzantagentoj kaj ne povas ŝanĝi sian konduton laŭ fajngrana maniero, ĝi devus obei la pleg limigan aron de direktivoj venanta de la kombinaĵo de ĉiuj aplikeblaj virtualaj uzantagentoj.
Gemini-rotoj kiuj alporti enhavon por konstrui publikan longdaŭran arĥivojn de Gemini-spaco, kiuj servos malnovan Gemini-enhavon eĉ post la originala ŝanĝiĝis aŭ malaperiĝis (analoga al "Wayback Machine" de archive.org), devus respekti robots.txt direktivojn celitajn al User-agent "archiver".
Gemini-rotoj kiuj alporti enhavon por konstrui ŝerĉeblajn indeksojn de Gemini-spacoj devus respelti robots.txt direktivojn celitajn al Uset-agent "indexer".
Gemini-rotoj kiuj alportad enhavon por studi grandskalajn statistikajn ecojn de Gemini-spaco (ekz. nombro de domajnoj/paĝoj, disvasteco de MIME-meditipoj, respondaj grandecoj, TLS-versioj, ofteco de rompitaj ligiloj, ktp.), sen regastigado, ligado al, aŭ permeso por ŝerĉado de ajna alportita enhavo, devus respekti robots.txt direktivojn celitajn al User-agent "researcher".
Gemini-rotoj kiuj alportad enhavo por traduki tiun enhavon en HTML-on kaj publike servi la rezulton per HTTP(S) (por farigi Gemini-spacon alirebla al norma retumilo) devus respekti robots.txt direktivojn celitajn al User-agent "webproxy".