Welche Funktionen haben die Serverdateien .htacess, robots.txt und sitemap.xml?

Die .htacess-Datei sorgt dafür, das sich die Webseite nur einmal im Web befindet, zur Vermeidung von Duplicate Content. Die "www"-Adresse wird auf die Adresse ohne "www" umgeleitet oder umgekehrt. Sie ist eine serverspezifische Datei.

In der robots.txt können Verzeichnisse, Datei oder Seiten festgelegt werden die verfolgt oder nicht verfolgt werden sollen.

Die sitemap.xml listet alle Seiten auf die indexiert werden sollen. (Nur für den Crawler)
Die sitemap.xml muss immmer aktuell sein!

Alle drei Seiten müssen auf dem Server im root-Verzeichnis liegen.