Маркетингfield-notes.md

Базовое SEO: подготовка сайта и добавление в поиск

Базовое SEO перед добавлением сайта в поиск: домен и HTTPS, доступ роботов, robots.txt, noindex, canonical, Sitemap и подтверждение прав в панелях вебмастеров.

Автор / Дмитрий, Malomalsky & CoОпубликовано / Обновлено / ≈ 8 мин чтения
В библиотеке страниц путь через m* ведёт от поискового вопроса к полезному ответу и обращению.
Кому полезно

Владельцам новых сайтов и специалистам, которые готовят запуск.

Что вас ждёт

Подготовите сайт к обходу и индексированию, подтвердите права в Яндекс Вебмастере и Google Search Console и передадите карту сайта.

Ритм чтения

Около 8 минут. Можно читать по порядку или перейти к нужной главе.

SEO — методология с проверяемыми действиями

Классическое «белое» SEO — последовательная работа с доступностью, структурой и содержанием сайта в рамках правил поисковых систем. Значительная часть базовых требований описана в документации Google и Яндекса. Начинать стоит с неё: подготовить страницы, дать роботу возможность их обнаружить и прочитать, затем сообщить поисковой системе адрес сайта.

Здесь пройдём путь от подготовки нового сайта до отправки карты сайта и первых проверок индексирования. Подключение Метрики, Google Analytics, настройка событий и оценка трафика разобраны в пошаговом руководстве «Подключение аналитики и оценка поведения» со скриншотами и примерами. Счётчик посещений не является обязательным условием попадания сайта в поиск.

Что значит «добавить сайт в поисковик»

У поисковой системы есть индекс — база обработанных страниц. Это не каталог с заявкой на обязательное размещение. Робот может обнаружить сайт по внешним ссылкам без регистрации владельца в каких-либо сервисах.

Мы добавляем сайт в Яндекс Вебмастер и Google Search Console, подтверждаем права и передаём карту сайта. Это помогает сообщить о страницах и получить доступ к диагностике. Добавление в панель не означает включения страниц в индекс.

  1. Обнаружение: система узнаёт URL.
  2. Обход: робот запрашивает страницу и необходимые ресурсы.
  3. Индексирование: система обрабатывает содержание и решает, включать ли страницу в индекс.
  4. Показ в выдаче: система выбирает результаты под конкретный запрос.

Отправленная страница ещё не обязательно просканирована; просканированная — не обязательно проиндексирована. Присутствие в индексе не обещает высоких позиций.

Связанные страницы сайта, робот и библиотека поискового индекса.
Поисковик сначала обнаруживает и обходит страницу, затем решает, включать ли её в индекс.

1. Выберите постоянный адрес

До отправки сайта определите основной домен и вариант адреса, например https://example.com/. Настройте DNS, действующий TLS-сертификат и доступ из интернета. Локальный адрес и временный туннель для демонстрации не подходят на роль постоянного адреса проекта.

Если доступны HTTP и HTTPS, версии с www и без www, настройте постоянные редиректы 301 или 308 на выбранную версию. Внутренние ссылки, канонические адреса и Sitemap должны использовать тот же вариант. Старые адреса перенаправляйте на соответствующие страницы, а не все на главную.

Подготовьте доступ к DNS или возможность разместить HTML-файл либо метатег на сайте: это понадобится для подтверждения прав. Владельцем ресурсов в панелях должен оставаться заказчик; исполнителю можно выдать отдельный доступ.

2. Подготовьте содержание и навигацию

Составьте список страниц для поиска: главная, услуги или категории, карточки товаров, материалы, контакты. Для каждой определите назначение и вопрос пользователя. Страница услуги должна объяснять, какую работу выполняют, для кого, на каких условиях и как связаться с исполнителем. Пустой шаблон с заголовком не заменяет описание.

  • Напишите осмысленный title каждой важной страницы и понятный основной заголовок H1.
  • Добавьте индивидуальный description. Поисковик может использовать его в сниппете, но вправе выбрать текст самой страницы.
  • Проверьте факты, контакты и условия. Уберите заглушки и демонстрационные записи.
  • Свяжите страницы обычными HTML-ссылками <a href="…">: из меню — в разделы, из разделов — к материалам.
  • Проверьте мобильную версию: текст читается, меню работает, изображения и баннеры не перекрывают содержание.

Не создавайте десятки одинаковых страниц под перестановки ключевых слов. Для старта полезнее небольшой законченный сайт с понятной навигацией. Подробности — во введении Google в SEO.

3. Проверьте сервер и доступ робота

Рабочие страницы должны возвращать HTTP 200 и нужное содержание. Несуществующий URL — код 404 или 410, а не сообщение «Ничего не найдено» с кодом 200. Исправьте битые ссылки, циклы редиректов и ошибки сервера на основных маршрутах.

Откройте сайт без авторизации. Убедитесь, что сервер, CDN или защита от ботов не требуют входа, CAPTCHA либо специальной cookie для чтения публичных страниц. Не закрывайте CSS и JavaScript, необходимые для отображения. Если содержание собирается в браузере, отдельно проверьте, видит ли поисковая система итоговый текст и ссылки.

В WordPress проверьте пункт «Попросить поисковые системы не индексировать сайт» в настройках чтения. Затем проверьте фактический HTML и HTTP-заголовки: плагины и сервер могут добавлять собственные ограничения независимо от этой настройки.

Модель сайта с замком HTTPS, связанными страницами и увеличительным стеклом.
До отправки сайта проверьте HTTPS, ответы сервера, внутренние ссылки и доступность содержания.

4. Разделите обход и индексирование

Файл /robots.txt управляет обходом. Проверьте, что для нужного робота нет Disallow: / или запрета на публичные разделы. Учитывайте все группы User-agent: правила для конкретного робота могут отличаться от общих.

Запрет обхода не равен запрету индексирования. Google может сохранить URL, известный по внешним ссылкам, даже если содержимое закрыто в robots.txt. Для исключения публичной страницы используют метатег robots со значением noindex или HTTP-заголовок X-Robots-Tag: noindex. Робот должен загрузить страницу, чтобы прочитать запрет. Подробнее — в документации Google о robots.txt.

На страницах для поиска случайного noindex быть не должно. Для личных кабинетов, документов клиентов и тестового стенда используйте авторизацию: robots.txt и noindex не защищают данные от доступа.

5. Приведите в порядок дубли

Один материал может открываться по нескольким URL: с параметрами, по старому пути, в печатной версии. Выберите предпочтительный адрес. Для окончательно перенесённой страницы настройте постоянный редирект. Если альтернативная версия нужна, для одинакового или очень близкого содержания можно указать rel="canonical" на предпочтительный URL.

Canonical — сигнал о предпочтительной версии, а не безусловная команда. Не направляйте его со всех страниц на главную. Внутренние ссылки и Sitemap должны поддерживать тот же выбор. Каноническая страница должна открываться и быть доступной для индексирования.

6. Подготовьте Sitemap

Sitemap — файл со списком URL для поисковой системы. Новому сайту он помогает сообщить о страницах, на которые пока мало внешних ссылок. Небольшой сайт с хорошей навигацией может обнаруживаться и без карты. Sitemap не заменяет внутренние ссылки и не гарантирует индексирование.

  • Включайте предпочтительные абсолютные HTTPS-адреса страниц, которые хотите видеть в поиске.
  • Исключите редиректы, ошибки, страницы с noindex, тестовые и закрытые разделы.
  • Проверьте, что карта открывается без входа и содержит XML, а не HTML-страницу ошибки.
  • Если используете lastmod, указывайте дату существенного изменения страницы, а не время каждого запроса карты.

В WordPress карта может находиться по адресу /wp-sitemap.xml, у SEO-плагина — например, /sitemap_index.xml. Проверьте свою конфигурацию. Добавьте её адрес в robots.txt строкой Sitemap: https://example.com/wp-sitemap.xml. Назначение и форматы описаны в документации Sitemap.

Дерево страниц передаёт адреса в два поисковых архива.
Одну подготовленную карту сайта можно передать в Яндекс Вебмастер и Google Search Console.

7. Добавьте сайт в панели вебмастеров

Яндекс Вебмастер

  1. Откройте Яндекс Вебмастер под аккаунтом владельца и добавьте адрес сайта.
  2. Подтвердите права HTML-файлом, метатегом или DNS-записью по инструкции сервиса. Не удаляйте подтверждение после проверки: права могут проверять повторно.
  3. В разделе «Индексирование → Файлы Sitemap» передайте адрес карты и проверьте результат обработки.
  4. В разделе «Индексирование → Переобход страниц» отправьте главную и приоритетные страницы. Затем проверьте диагностику и сведения о страницах в поиске.

Способы подтверждения описаны в справке Яндекса. Устанавливать Метрику для этих действий не требуется.

Google Search Console

  1. Откройте Google Search Console и добавьте ресурс. Доменный ресурс охватывает протоколы и поддомены и подтверждается через DNS. Ресурс с префиксом URL охватывает конкретный префикс, например https://example.com/, и допускает другие способы подтверждения.
  2. Подтвердите права согласно инструкции сервиса. DNS, HTML-файл или метатег позволяют сделать это без установки Google Analytics; доступные методы зависят от типа ресурса.
  3. В разделе «Файлы Sitemap» отправьте карту сайта и проверьте обработку.
  4. Через «Проверку URL» проверьте главную и приоритетные страницы. Запустите проверку опубликованного URL и при необходимости запросите индексирование.

Подробности — в справке Google о добавлении ресурса и проверке URL. Успешная проверка доступности ещё не означает включения страницы в индекс.

8. Проверьте результат подготовки

  • Выбран постоянный домен, работает HTTPS, альтернативные адреса перенаправляются на основные.
  • Страницы заполнены, связаны ссылками и возвращают корректные HTTP-коды.
  • Робот может загрузить содержание; случайные запреты robots.txt и noindex сняты.
  • Канонические адреса, внутренние ссылки и Sitemap согласованы.
  • В обеих панелях подтверждены права, карта передана, приоритетные URL проверены.

После отправки дайте системе время на обработку. Единого срока включения в индекс нет. Если страница не появилась, смотрите причину в панели: запрет, недоступность, дубль, другая каноническая версия или решение пока не индексировать содержание. Исправляйте конкретную причину: повторная отправка одного URL сама по себе проблему не устраняет.

Следующий шаг — понять, что делают посетители после перехода из поиска. Перейдите к статье «Подключение аналитики и оценка поведения»: установите счётчик, настройте цели и проверьте путь от посещения до заявки.

Официальная документация

Для дальнейшей работы используйте основные требования Google к сайтам и инструкцию Яндекса «Как добавить сайт в поиск». Проверяйте фактические страницы, ответы сервера и настройки: наличие SEO-плагина само по себе не подтверждает готовность сайта.

Давайте создадим что-то полезное
Ваша идея.
Следующий шаг.

Начнём с задачи. Вместе найдём решение.

Написать в Telegram ↗

От идеи к ясной задаче.

Шаг 1 из 3
В каком направлении нужна помощь?