Robots.txt dosyası önemlidir. Çünkü Google index ile doğrudan alakalıdır.
Robots.txt dosyası oluştururken Seo eklentilerinden faydalanabilirsiniz. Artı olarak istediğiniz yönlendirmelerde sağlayabilirsiniz.
Şekil A) Aşağıdaki kodu dosyanıza eklerseniz arama motorları indexlemez.
Disallow: seogurusu.com/orneksayfa.html/
Şekil B) Aşağıdaki kodu dosyanıza işlediğinizde arama motorları indexler.
Allow: seogurusu.com/orneksayfa.html/
*Ref saldırıları için
Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*
Klasik WordPress Robots.txt Dosyası
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*
Sitemap: seogurusu.com/sitemap.xml.gz
Örneğin; All in Seo eklentisini kullanıyorsunuz ilgili ayarları yapmanız yeterli. İsterseniz müdahil olup index ya da noindex yapabilirsiniz.
