Ushbu xizmatda men robots.txt faylingizni yaxshilab sozlayman.
Ushbu fayl nima uchun javobgar?
robots.txt - bu .txt formatidagi matn fayli bo'lib, u saytning asosiy papkasiga joylashtirilgan va saytning ma'lum bir sahifasini/bo'limini indekslashga ruxsat berish/rad etish formatida robotlarni qidirish bo'yicha ko'rsatmalar beradi.
Xizmat doirasida aniq nima qilinadi?
1. Barcha dublikatlar va texnik sahifalar yopiq
2. "Host" direktivasi o'chirildi, hozirda ishlamayapti.
3. Ish joyining xarita(lar)i ko'rsatilgan
4. 404 kodini qaytaradigan sahifalar yopiq (sahifa topilmadi)
5. Haqiqiyligi tekshirildi (xatolar yo'q)
+ BONUS!
Men robots.txt-ni veb-saytingizga bepul yuklayman (FTP kirish talab qilinadi).
Men robots.txt faylini ham taqdim eta olaman, siz uni saytning asosiy katalogiga yuklaysiz.
Oxir-oqibat qanday natijaga erishasiz?
– Saytning barcha muhim sahifalarini indekslash imkoniyati tekshiriladi
– Saytni indekslash tezligi oshadi
– Barcha dublikatlar va texnik sahifalar indeksdan olib tashlanadi
.png)
