3 Seiten die auf keinem Webserver fehlen sollten!

.htaccess

 wikipedia..htaccess

.htacess sorgt dafür, das sich die Webseite nur einmal im Web befindet.
Die "www"-Adresse wird auf die Adresse ohne "www" umgeleitet oder umgekehrt ;-)

Vorgang:

• .htaccess anlegen (bei WordPress ist die Datei auf dem Server angelegt)
• Datei im Editor öffnen
• Code:
RewriteEngine ON 

Options +SymLinksIfOwnerMatch 

RewriteCond %{HTTP_HOST} ^www.erstgrafik.de 

RewriteRule (.*) http://erstgrafik.de/$1 [R=301,L] 

.htaccess-Datei auf Server legen

 

robots.txt

 wikipedia robots.txt

In der robots.txt können Seiten festgelegt werden die nicht verfolgt werden sollen.

User-agent: * Disallow: /

bedeutet: jeder Crawler der auf der Seite vorbeikommt darf meine Seite NICHT lesen!
Nur sinnvoll wenn eine Seite gerade aufgebaut wird!

# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden
User-agent: *
Disallow: /default.html 
Disallow: /Temp/ # diese Inhalte verschwinden bald
Disallow: /Privat/Familie/Geburtstage.html # Nicht geheim, sollen aber nicht in Suchmaschinen gelistet werden.

xml-Sitemap

 wikipedia Sitemaps-Protokoll
  (Menükarte für den Crawler)

xml-Sitemap Generator
http://www.xml-sitemaps.com/
hier werden bis zu 500 Seiten indiziert 

beide Daten auf den Server hochlanden (CSS-Datei sollten auch komprimiert werden!)
compressed XML sitemap sitemap.xml.gz
un-compressed XML sitemap sitemap.xml


 Der "side"-Befehl listet alle Unterseiten einer URL auf
z.b. side: http://pro-webmarketing.de