Robots.txt

Robots.txt ist eine Textdatei, welche auf dem Server einer Webseite gespeichert wird.  Durch diese Textdatei können Crawler von Suchmaschinen davon abgehalten werden Unterseiten der Webseite zu durchsuchen und zu indexieren.  So können bestimmte Unterseiten von den Suchergebnissen ausgeschlossen werden.

Ähnliche Begriffe

Robots.txt

Wie hilfreich ist dieser Beitrag?

4.5 Sterne basierend auf 1 Bewertungen