Crawling und Indexierung – Themen
Google crawlt und parst deine Inhalte, um sie in der Google Suche und anderen Google-Produkten anzuzeigen. In den Artikeln unter „Crawling und Indexierung“ wird beschrieben, wie du Einfluss auf die entsprechenden Abläufe nehmen kannst. Außerdem erfährst du, wie du verhinderst, dass Google bestimmte Inhalte auf deiner Website crawlt.
Nachfolgend findest du eine kurze Beschreibung der einzelnen Seiten. Einen Überblick über das Crawling und die Indexierung erhältst du in unserem Leitfaden zur Funktionsweise der Google Suche.
| Themen | |
|---|---|
| Von Google indexierbare Dateitypen | Google kann die Inhalte der meisten Arten von Seiten und Dateien indexieren. Sieh dir eine Liste der häufigsten Dateitypen an, die von der Google Suche indexiert werden können. |
| URL-Struktur | Organisiere deine Inhalte am besten so, dass URLs logisch und in einer Weise aufgebaut sind, die Nutzer lesen und verstehen können. |
| Sitemaps | Mit einer Sitemap kannst du Google über neue oder aktualisierte Seiten auf deiner Website informieren. |
| Crawler-Verwaltung | |
| robots.txt | Mit einer robots.txt-Datei kannst du Suchmaschinen-Crawlern mitteilen, welche Seiten oder Dateien sie von deiner Website anfordern können und welche nicht. |
| Kanonisierung | Hier erfährst du, was URL-Kanonisierung ist und wie du Google über duplizierte Seiten auf deiner Website informierst, um übermäßiges Crawling zu vermeiden. Hier kannst du nachlesen, wie Google duplizierte Inhalte automatisch erkennt und wie mit ihnen verfahren wird. Außerdem wird beschrieben, wie allen erkannten duplizierten Seitengruppen eine kanonische URL zugewiesen wird. |
| Websites für Mobilgeräte | Hier erfährst du, wie du deine Website für Mobilgeräte optimieren und dafür sorgen kannst, dass sie korrekt gecrawlt und indexiert wird. |
| AMP | Wenn du AMP-Seiten hast, erfährst du hier, wie AMP in der Google Suche funktioniert. |
| JavaScript | Beim Design deiner Seiten und Apps sind einige Unterschiede und Beschränkungen zu beachten, damit Crawler deine Inhalte auch richtig crawlen und rendern. |
| Metadaten für Seiten und Inhalte |
|
| Entfernen | |
| Websiteverschiebungen und -änderungen | |