robots.txt va sitemap.xml yarataman yoki sozlayman.
Veb-saytga kirishda barcha qidiruv robotlari birinchi navbatda robots.txtni qidiradi. Agar siz webmaster bo'lsangiz, robots.txt maqsadi va sintaksisini bilishingiz kerak.
Robots.txt saytning asosiy katalogida joylashgan matn fayli bo'lib, unda qidiruv robotlari uchun maxsus ko'rsatmalar yozilgan. Ushbu ko'rsatmalar saytdagi ba'zi bo'limlar yoki sahifalarni indekslashni taqiqlashi mumkin, qidiruv robotiga hujjatlarni serverdan yuklab olish o'rtasida ma'lum vaqt oralig'iga rioya qilishni tavsiya qiladi va hokazo.
Ammo qidiruv tizimiga, aksincha, saytning qaysi sahifalarini birinchi navbatda indekslash kerakligini va qaysi sahifalarni ikkinchi darajali indeksatsiya qilish kerakligini aytish kerak bo'lsa-chi?
Robots.txt yordamida buni amalga oshirish mumkin emas.
XML Sitemap (sayt xaritasi) ushbu muammoni hal qilish uchun maxsus ixtiro qilingan.
.png)
