Полная настройка robots.txt

В рамках данной услуги я тщательно настрою файл robots.txt. За что отвечает этот файл? robots.txt — это текстовый файл в формате .txt, который размещается в корневой папке сайта и дает указания поисковым роботам в формате разрешения/запрета на индексацию определенных страниц/разделов сайта. Что именно будет сделано в рамках работы? Закрыты все дубликаты и технические страницы, удалена директива "Host", которая сейчас не работает. Закрыты страницы, отдающие код 404 (страница не найдена), указаны карты сайта. Проверена валидность (ошибок нет) + БОНУС! Бесплатно загружу robots.txt на ваш сайт (требуется FTP-доступ). Также могу предоставить файл robots.txt, а вы загрузите его в корневой каталог сайта. Какой результат вы получите в итоге? – Будет проверена возможность индексации всех важных страниц сайта – Увеличится скорость индексации сайта – Все дубликаты и технические страницы будут удалены из индекса