Создам или настрою robots.txt и sitemap.xml

Создам или настрою robots.txt и sitemap.xml. При заходе на сайт все поисковые роботы в первую очередь ищут robots.txt. Если вы вебмастер, вы должны знать назначение и синтаксис robots.txt. Robots.txt — это текстовый файл, расположенный в корневом каталоге сайта, в котором записаны специальные инструкции для поисковых роботов. Эти инструкции могут запрещать индексацию некоторых разделов или страниц сайта, рекомендовать поисковому роботу соблюдать определенный интервал времени между загрузками документов с сервера и т. д. Но что делать, если поисковой системе, наоборот, нужно сказать, какие страницы сайта индексировать в первую очередь, а какие — во вторую? С помощью robots.txt это сделать нельзя. XML Sitemap (карта сайта) был специально создан для решения этой проблемы.