Domande Frequenti • Casuale

Cos'è il file robots.txt?

Il file robots.txt controlla l'accesso dei motori di ricerca al sito, permettendo o limitando l'indicizzazione dei contenuti. Scopri come crearlo e configurarlo in modo efficace.

Visualizzazioni 822Aggiornato 1 anPubblicato il 15/10/2018da Cătălin Adrian

Introduzione

Il file robots.txt è un file di testo semplice che fa parte del protocollo di esclusione dei robot (REP - Robots Exclusion Protocol). Contiene istruzioni per i motori di ricerca su come accedere e indicizzare il sito. Per avere effetto, il file robots.txt deve essere posizionato nella cartella radice del sito (ad esempio, https://domeniu.ro/robots.txt).

Importanza del file robots.txt

Il file robots.txt è fondamentale per gestire l'interazione dei robot con il sito. Ci sono molti robot che possono indicizzare il sito in modo aggressivo, il che può influire sulle sue performance. Utilizzando questo file, è possibile:

  • Controlla l'accesso dei motori di ricerca ai contenuti del sito.
  • Consente l'indicizzazione solo da parte dei robot desiderati (es. Google, Bing).
  • Restrizioni all'accesso a cartelle o file sensibili.

Esempi di utilizzo

1. Bloccare di un motore di ricerca specifico

Per bloccare l'accesso al motore di ricerca Bing (bingbot), includete le seguenti righe nel file robots.txt:


User-agent: bingbotDisallow: /

Spiegazione:
User-agent: Specifica il motore di ricerca per il quale si applicano le impostazioni.
Disallow: Definisce le sezioni del sito a cui il robot non ha accesso. Il simbolo / blocca l'accesso all'întro sito.

2. Blocco di tutti i motori di ricerca

Per impedire a tutti i motori di ricerca di accedere al sito, utilizzate:


User-agent: *Disallow: /

Spiegazione: Il simbolo * (wildcard) nel campo User-agent si applica a tutti i motori di ricerca, mentre / blocca l'accesso all'intero sito.

3. Blocco dell'accesso solo a determinate cartelle o file

Per bloccare l'accesso a una cartella e a un file specifico, configurare:


User-agent: *Disallow: /blog/Disallow: /newsletter.php

Spiegazione: Tutti i motori di ricerca saranno bloccati dall'indicizzare la cartella /blog/ e il file newsletter.php.

Creazione del file robots.txt

Per creare un file robots.txt, puoi utilizzare un generatore online, che ti aiuta a personalizzare le regole rapidamente e senza errori. Esempi di generatori online possono essere trovati tramite una ricerca: Generatore robots.txt.

Dopo aver creat il file, caricatelo nella directory radice del sito utilizzando un gestore di file o un client FTP.