Men robots.txt va sitemap.xml fayllarini yarataman yoki sozlayman
Veb-saytga kirishda barcha qidiruv robotlari birinchi navbatda robots.txt faylini qidiradi. Agar siz webmaster bo'lsangiz, robots.txt maqsadi va sintaksisini bilishingiz kerak.
Robots.txt fayli saytning asosiy katalogida joylashgan matn fayli bo'lib, unda qidiruv robotlari uchun maxsus ko'rsatmalar yozilgan. Ushbu ko'rsatmalar saytdagi ba'zi bo'limlar yoki sahifalarni indekslashni taqiqlashi mumkin, qidiruv robotiga hujjatlarni serverdan yuklab olish o'rtasida ma'lum vaqt oralig'iga rioya qilishni tavsiya qiladi va hokazo.
Ammo qidiruv tizimiga, aksincha, saytning qaysi sahifalarini birinchi navbatda indekslash kerakligini va qaysi sahifalarni ikkinchi darajali indeksatsiya qilish kerakligini aytish kerak bo'lsa-chi?
Robots.txt fayli yordamida buni amalga oshirish mumkin emas.
XML sayt xaritasi ushbu muammoni hal qilish uchun maxsus ixtiro qilingan.
.png)
