Полная настройка robots.txt

В рамках этой работы я тщательно настрою ваш robots.txt. За что отвечает этот файл? robots.txt — это текстовый файл в формате .txt, который размещается в корневой папке сайта и дает поисковым роботам инструкции в формате разрешить/запретить индексацию определенной страницы/раздела сайта. Что именно будет сделано в рамках работы? Закрыты все дубликаты и технические страницы Удалена директива "Host", которая сейчас не работает Указаны карты сайта Закрыты страницы, возвращающие код 404 (страница не найдена) Проверена корректность (ошибок нет) + БОНУС! Я бесплатно загружу robots.txt на ваш сайт (требуется FTP-доступ). Также могу предоставить файл robots.txt, а вы загрузите его в корневой каталог сайта. Какой результат вы получите в итоге? – Будет проверена возможность индексации всех важных страниц сайта – Увеличится скорость индексации сайта – Все дубликаты и технические страницы будут удалены из индекса