Общие сведения о сканировании и индексировании
Здесь перечислены статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, и как предотвратить сканирование тех или иных материалов на сайте.
Ниже приводятся краткие описания всех тем. Общая информация о сканировании и индексировании приведена в руководстве по принципам работы Поиска.
| Темы | |
|---|---|
| Какие типы файлов может индексировать Google | Google может обрабатывать веб-страницы и файлы практически любого формата. Ознакомьтесь со списком наиболее распространенных типов файлов, которые могут быть проиндексированы роботами Google. |
| Структура URL | Попробуйте упорядочить контент так, чтобы структура URL могла быть понятна человеку. |
| Файлы Sitemap | С помощью этого файла вы можете сообщить Google об изменении страниц своего сайта или о добавлении новых. |
| Работа с поисковыми роботами |
|
| Файл robots.txt | Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие – нет. |
| Нормализация | Узнайте о том, что такое нормализация URL и как сообщить Google о наличии на вашем сайте одинаковых страниц, чтобы избежать лишнего сканирования. В статьях на эту тему описывается, как Google автоматически распознает страницы с идентичным контентом, обрабатывает их и назначает канонический URL обнаруженным группам одинаковых страниц. |
| Мобильные сайты | Прочитайте, как оптимизировать сайт для мобильных устройств и правильно настроить сканирование и индексирование. |
| Страница AMP | Если на вашем сайте есть AMP-страницы, узнайте, как технология AMP используется в Google Поиске. |
| JavaScript | При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами. |
| Метаданные страниц и контента |
|
| Удаление | |
| Перенос и изменение сайтов | |