Bugün wordpress’imde robot.txt olmadığını farkettim. Peki nedir bu robot.txt diyecek olursanız kısaca açıklayayım. Robot.txt özünde tabir-i caizse arama motoru terbiyecisi diyebiliriz. (:

Yani arama motorlarının sitenizdeki sınırlarını belirler ve bu sayede spiderlar sitenizde istedikleri gibi cirit atamazlar. Siz hangi klasorleri indexlemesini istiyorsanız onları indexler. Aşağıda vereceğim kodları bir not defterine yapıştırdıkdan sonra dosya ismini “robot.txt” yapıp sitenizin ana dizinine atmanız yeterli olacaktır.

Sevgiyle Kalın.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Popularity: 25% [?]