Размер шрифта
Цвет фона и шрифта
Изображения
Озвучивание текста
Обычная версия сайта
Правильные сайты
+7 (343) 237-27-47
+7 (343) 237-27-47
E-mail
info@prav-site.ru
Адрес
Екатеринбург, ул. Малышева 51, оф 21/07
Режим работы
Пн. – Пт.: с 9:00 до 18:00
Услуги
  • Разработка сайтов
    • Интернет-магазин
    • Разработка сайта на 1С-Битрикс
    • Cайт оптовой компании
    • Cайт производственной компании
    • Cайт услуг
  • Продвижение сайтов
    • SEO-аудит сайта
    • Продвижение по позициям
    • Продвижение по трафику
  • Контекстная реклама
    • Настройка Яндекс Директ
  • Техническая поддержка
    • Восстановление сайта на 1С-Битрикс после взлома
    • Доработка сайтов Битрикс
    • Интеграция с 1С
    • Наполнение сайта контентом
    • Поддержка сайтов на шаблонах Аспро
    • Программные доработки
  • Битрикс24
    • Внедрение Битрикс24
Компания
  • О компании
  • История
  • Сертификаты
  • Партнеры
  • Сотрудники
  • Отзывы
  • Вакансии
  • Реквизиты
Наши проекты
  • Продвижение
  • Разработка
Контакты
  • Контактная информация
  • Реквизиты компании
  • Задать вопрос
Продукты
  • Готовые сайты
    • Интернет-магазины
    • Корпоративные сайты
    • Отраслевые сайты
  • Продукты 1С-Битрикс
    • Лицензии 1С-Битрикс
    • Продления 1С-Битрикс
  • Перенос сайта на битрикс
  • CRM системы
Екатеринбург
0
  • Контакты
  • ...
    Екатеринбург
    +7 (343) 237-27-47
    +7 (343) 237-27-47
    E-mail
    info@prav-site.ru
    Адрес
    Екатеринбург, ул. Малышева 51, оф 21/07
    Режим работы
    Пн. – Пт.: с 9:00 до 18:00
    0 Корзина
    Правильные сайты
    Услуги
    • Разработка сайтов
      Разработка сайтов
      • Интернет-магазин
      • Разработка сайта на 1С-Битрикс
      • Cайт оптовой компании
      • Cайт производственной компании
      • Cайт услуг
    • Продвижение сайтов
      Продвижение сайтов
      • SEO-аудит сайта
      • Продвижение по позициям
      • Продвижение по трафику
    • Контекстная реклама
      Контекстная реклама
      • Настройка Яндекс Директ
    • Техническая поддержка
      Техническая поддержка
      • Восстановление сайта на 1С-Битрикс после взлома
      • Доработка сайтов Битрикс
      • Интеграция с 1С
      • Наполнение сайта контентом
      • Поддержка сайтов на шаблонах Аспро
      • Программные доработки
    • Битрикс24
      Битрикс24
      • Внедрение Битрикс24
    Компания
    • О компании
    • История
    • Сертификаты
    • Партнеры
    • Сотрудники
    • Отзывы
    • Вакансии
    • Реквизиты
    Наши проекты
    • Продвижение
    • Разработка
    Контакты
    • Контактная информация
    • Реквизиты компании
    • Задать вопрос
    Продукты
    • Готовые сайты
      • Интернет-магазины
      • Корпоративные сайты
      • Отраслевые сайты
    • Продукты 1С-Битрикс
      • Лицензии 1С-Битрикс
      • Продления 1С-Битрикс
    • Перенос сайта на битрикс
    • CRM системы
      Правильные сайты
      Услуги
      • Разработка сайтов
        Разработка сайтов
        • Интернет-магазин
        • Разработка сайта на 1С-Битрикс
        • Cайт оптовой компании
        • Cайт производственной компании
        • Cайт услуг
      • Продвижение сайтов
        Продвижение сайтов
        • SEO-аудит сайта
        • Продвижение по позициям
        • Продвижение по трафику
      • Контекстная реклама
        Контекстная реклама
        • Настройка Яндекс Директ
      • Техническая поддержка
        Техническая поддержка
        • Восстановление сайта на 1С-Битрикс после взлома
        • Доработка сайтов Битрикс
        • Интеграция с 1С
        • Наполнение сайта контентом
        • Поддержка сайтов на шаблонах Аспро
        • Программные доработки
      • Битрикс24
        Битрикс24
        • Внедрение Битрикс24
      Компания
      • О компании
      • История
      • Сертификаты
      • Партнеры
      • Сотрудники
      • Отзывы
      • Вакансии
      • Реквизиты
      Наши проекты
      • Продвижение
      • Разработка
      Контакты
      • Контактная информация
      • Реквизиты компании
      • Задать вопрос
      Продукты
      • Готовые сайты
        • Интернет-магазины
        • Корпоративные сайты
        • Отраслевые сайты
      • Продукты 1С-Битрикс
        • Лицензии 1С-Битрикс
        • Продления 1С-Битрикс
      • Перенос сайта на битрикс
      • CRM системы
        Екатеринбург
        +7 (343) 237-27-47
        E-mail
        info@prav-site.ru
        Адрес
        Екатеринбург, ул. Малышева 51, оф 21/07
        Режим работы
        Пн. – Пт.: с 9:00 до 18:00
        0
        Правильные сайты
        Телефоны
        +7 (343) 237-27-47
        E-mail
        info@prav-site.ru
        Адрес
        Екатеринбург, ул. Малышева 51, оф 21/07
        Режим работы
        Пн. – Пт.: с 9:00 до 18:00
        0
        Правильные сайты
        • Услуги
          • Услуги
          • Разработка сайтов
            • Разработка сайтов
            • Интернет-магазин
            • Разработка сайта на 1С-Битрикс
            • Cайт оптовой компании
            • Cайт производственной компании
            • Cайт услуг
          • Продвижение сайтов
            • Продвижение сайтов
            • SEO-аудит сайта
            • Продвижение по позициям
            • Продвижение по трафику
          • Контекстная реклама
            • Контекстная реклама
            • Настройка Яндекс Директ
          • Техническая поддержка
            • Техническая поддержка
            • Восстановление сайта на 1С-Битрикс после взлома
            • Доработка сайтов Битрикс
            • Интеграция с 1С
            • Наполнение сайта контентом
            • Поддержка сайтов на шаблонах Аспро
            • Программные доработки
          • Битрикс24
            • Битрикс24
            • Внедрение Битрикс24
        • Компания
          • Компания
          • О компании
          • История
          • Сертификаты
          • Партнеры
          • Сотрудники
          • Отзывы
          • Вакансии
          • Реквизиты
        • Наши проекты
          • Наши проекты
          • Продвижение
          • Разработка
        • Контакты
          • Контакты
          • Контактная информация
          • Реквизиты компании
          • Задать вопрос
        • Продукты
          • Продукты
          • Готовые сайты
            • Готовые сайты
            • Интернет-магазины
            • Корпоративные сайты
            • Отраслевые сайты
          • Продукты 1С-Битрикс
            • Продукты 1С-Битрикс
            • Лицензии 1С-Битрикс
            • Продления 1С-Битрикс
          • Перенос сайта на битрикс
          • CRM системы
        • Екатеринбург
          • Города
          • Екатеринбург
        • 0 Корзина
        • +7 (343) 237-27-47
          • Телефоны
          • +7 (343) 237-27-47
        • Екатеринбург, ул. Малышева 51, оф 21/07
        • info@prav-site.ru
        • Пн. – Пт.: с 9:00 до 18:00

        Robots.txt

        Главная
        —
        Статьи
        —
        SEO термины
        —Robots.txt
        SEO термины
        22 августа 2017

        Robots.txt - специальный файл, размещенный в корневой структуре сайта, используемый с целью ограничения доступа поисковых систем к содержимому сайта. При наличии сразу нескольких субдоменов представленный файл должен обязательно находиться в корневом каталоге их всех. Robots.txt является дополнением к общепринятому стандарту Sitemap. Использование файла базируется на добровольных началах. Стандарт был принят в конце января 1994 года. С этого времени он используется большим количеством популярных поисковых систем.

        Файл Robots.txt позволяет частично управлять процессом индексирования сайта поисковыми роботами. Его структура состоит из целого набора инструкций для поисковых роботов, используя которые, появляется возможность указания файлов, каталогов или страниц сайта, индексация которых для владельца является нежелательной. С другой стороны, Robots.txt также можно применять и совершенно в противоположных ситуациях, когда оптимизатор хочет указать поисковой машине, какие именно файлы сайта необходимо добавить в индекс в первую очередь.

        Необычные директивы

        В зависимости от необходимости решения определенных задач, пользователь имеет возможность установить в файле Robots.txt дополнительные директивы. Наибольшей популярностью пользуются следующие:

        • Allow. По сравнению с директивой Disallow, оказывает обратное действие, разрешая доступ к конкретной части сайта. Реализована поддержка всеми популярными поисковыми системами. Примечательно, что представленная директива позволяет разрешить доступ к определенному файлу или группе файлов, запрещая при этом индексировать остальную информацию, размещенную в каталоге. Каждый документ, который надо индексировать, нужно прописывать отдельно;
        • Crawl-delay. С помощью представленной директивы обеспечивается возможность установления максимального времени, которое робот обязан выдерживать между прогрузкой веб-страниц. Если алгоритм будет слишком часто загружать страницы, это окажет пагубный характер, поскольку создается излишняя нагрузка на сервер (см. "Хостинг"). Впрочем, использование этой директивы не является обязательной. Дело в том, что по умолчанию поисковые системы задают оптимальное количество времени, которое надо выдержать. Оно составляет от 1 до 2 секунд.
        • Комментарии
        Загрузка комментариев...
        Назад к списку
        • SEO термины 102
        • Введение в поиск 1
        • Веб-аналитика 3
        • Внешняя опимизация 4
        • Внутренняя оптимизация 4
        • Продажи 1
        • Разработка сайтов 1
        • Сопровождение клиентов 4
        Компания
        О компании
        История
        Сертификаты
        Партнеры
        Сотрудники
        Отзывы
        Вакансии
        Реквизиты
        Каталог
        Готовые сайты
        Продукты 1С-Битрикс
        Перенос сайта на битрикс
        CRM системы
        Услуги
        Разработка сайтов
        Продвижение сайтов
        Контекстная реклама
        Техническая поддержка
        Битрикс24
        Блог
        Наши работы
        Вопросы и ответы
        +7 (343) 237-27-47
        +7 (343) 237-27-47
        E-mail
        info@prav-site.ru
        Адрес
        Екатеринбург, ул. Малышева 51, оф 21/07
        Режим работы
        Пн. – Пт.: с 9:00 до 18:00
        info@prav-site.ru
        Екатеринбург, ул. Малышева 51, оф 21/07
        © 2025 правильные-сайты.рф
        Политика конфиденциальности
        Карта сайта
        0 Корзина

        Ваша корзина пуста

        Исправить это просто: выберите в каталоге интересующий товар и нажмите кнопку «В корзину»
        Перейти в каталог