Robots.txt dosyası önemlidir. Çünkü Google index ile doğrudan alakalıdır.

Robots.txt dosyası oluştururken Seo eklentilerinden faydalanabilirsiniz. Artı olarak istediğiniz yönlendirmelerde sağlayabilirsiniz.

Şekil A) Aşağıdaki kodu dosyanıza eklerseniz arama motorları indexlemez.

Disallow: seogurusu.com/orneksayfa.html/

Şekil B) Aşağıdaki kodu dosyanıza işlediğinizde arama motorları indexler.

Allow: seogurusu.com/orneksayfa.html/

*Ref saldırıları için

Disallow: /*ref=*

Disallow: /*?ref=*

Disallow: /?ref=*

Klasik WordPress Robots.txt Dosyası

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /*ref=*

Disallow: /*?ref=*

Disallow: /?ref=*

Sitemap: seogurusu.com/sitemap.xml.gz

Örneğin; All in Seo eklentisini kullanıyorsunuz ilgili ayarları yapmanız yeterli. İsterseniz müdahil olup index ya da noindex yapabilirsiniz.