Crawler AI, robots.txt e llms.txt: cosa deve fare una piccola impresa

Nell’ultimo anno molti proprietari di siti hanno scoperto di avere i crawler delle AI bloccati senza saperlo. A volte per una scelta fatta dal proprio hosting o dal firewall, a volte per un plugin di sicurezza. Il risultato: le AI che cercano sul web non possono leggere le loro pagine, e citano i concorrenti.

Cos’è un crawler e perché le AI ne hanno diversi?

Un crawler è un programma che visita le pagine web per leggerne il contenuto. Le aziende che sviluppano AI ne usano di diversi tipi, con scopi diversi:

• Crawler di addestramento: raccolgono pagine per addestrare i modelli futuri.
• Crawler di ricerca: indicizzano pagine da mostrare e citare nelle risposte con ricerca web.
• Agenti su richiesta: visitano una pagina quando un utente chiede all’AI di leggerla.

La distinzione è importante perché puoi trattarli in modo diverso.

Tre tipi di crawler

AddestramentoRaccolgono per i modelliPuoi decidere se consentirli.Scelta tua

RicercaIndicizzano per citareServono per comparire nelle risposte.Lascia entrare

Su richiestaVisitano per un utenteQuando qualcuno chiede all’AI di leggere una pagina.Lascia entrare

Quali sono i crawler principali?

Crawler (user agent)	Azienda	Scopo principale
Googlebot	Google	Indice di Google Search, incluse le AI Overviews
Google-Extended	Google	Controllo sull’uso dei contenuti per i modelli Gemini (non influisce su Google Search)
OAI-SearchBot	OpenAI	Ricerca in ChatGPT
GPTBot	OpenAI	Addestramento dei modelli
ChatGPT-User	OpenAI	Visite su richiesta dell’utente
PerplexityBot	Perplexity	Indice di ricerca di Perplexity
ClaudeBot	Anthropic	Raccolta per i modelli Claude
Bingbot	Microsoft	Indice di Bing, usato anche da Copilot

I nomi e i comportamenti cambiano nel tempo: controlla periodicamente la documentazione ufficiale di ciascuna azienda.

Conviene bloccare i crawler delle AI?

Dipende dall’obiettivo. Per un’azienda che vive di clienti locali, essere citata dalle AI è un vantaggio, e il contenuto del sito (servizi, orari, zona, prodotti) è fatto apposta per essere diffuso. In questo caso bloccare i crawler di ricerca è controproducente.

Diverso è il caso di chi produce contenuti originali di valore (guide, ricerche, fotografie) e non vuole che vengano usati per addestrare modelli. Può bloccare i crawler di addestramento e lasciare aperti quelli di ricerca.

Com’è fatto un robots.txt equilibrato?

Un esempio che lascia entrare la ricerca e blocca l’addestramento:

# Motori di ricerca e ricerca nelle AI: consentiti
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Addestramento dei modelli: non consentito
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Tutti gli altri
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.tuosito.it/sitemap_index.xml

Se invece vuoi la massima visibilità possibile, puoi semplicemente non bloccare nessuno di questi crawler.

Ricorda che il robots.txt è una richiesta, non una barriera tecnica: i crawler seri la rispettano, altri no.

Il robots.txt basta?

No. Molti blocchi avvengono a un altro livello:

• Firewall e servizi di protezione che bloccano automaticamente i bot sconosciuti o le AI.
• Plugin di sicurezza con regole aggressive.
• Hosting con protezioni predefinite.

Controlla le impostazioni di questi strumenti, non solo il robots.txt. Un modo pratico per verificare: chiedi a ChatGPT o a Perplexity, con la ricerca attiva, di riassumere una pagina specifica del tuo sito. Se non ci riescono, qualcosa li blocca.

Cos’è llms.txt e serve davvero?

llms.txt è una proposta nata nel 2024: un file in formato Markdown, pubblicato nella radice del sito, che presenta ai modelli linguistici un riassunto del sito e i link alle pagine più importanti.

Ciò che va detto con chiarezza:

• Non è uno standard ufficiale e non è adottato in modo generale dai motori.
• Google ha dichiarato di non usarlo per la ricerca.
• Non garantisce citazioni né migliora il posizionamento.

Può essere utile come esercizio di chiarezza e per strumenti che lo leggono quando un utente lo fornisce. Costa poco crearlo. Ma se il tempo è poco, è molto meglio investirlo in pagine chiare, dati coerenti e dati strutturati.

Un esempio minimo:

# Trattoria Esempio

> Ristorante di cucina sarda a Paese Esempio (Sud Sardegna),
> aperto dal martedì alla domenica a cena.

## Pagine principali
- [Menu](https://www.trattoriaesempio.it/menu): piatti, prezzi, opzioni senza glutine
- [Prenota](https://www.trattoriaesempio.it/prenota): prenotazione online e telefono
- [Eventi](https://www.trattoriaesempio.it/eventi): serate a tema e degustazioni

Domande frequenti

Leggi anche

• GEO e AEO: come farsi citare da ChatGPT, Gemini e Google AI Overviews
• Dati strutturati per PMI: lo schema markup che aiuta Google e le AI
• Come capire se ChatGPT e le AI parlano della tua azienda