Создам или перенастрою robots.txt и sitemap.xml

Создам или настрою файлы robots.txt и sitemap.xml. При обращении к сайту все поисковые роботы в первую очередь ищут файл robots.txt. Если вы вебмастер, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt — это текстовый файл, расположенный в корневом каталоге сайта, в котором записаны специальные инструкции для поисковых роботов. Эти инструкции могут запрещать индексацию некоторых разделов или страниц сайта, рекомендовать поисковому роботу соблюдать определённый интервал между загрузками документов с сервера и т. д. Но что, если поисковой системе, наоборот, нужно сказать, какие страницы сайта индексировать в первую очередь, а какие — во вторую? С помощью файла robots.txt это сделать нельзя. Для решения этой задачи специально был создан XML-карта сайта.