Merhaba,
Bu makalemizde robots.txt dosyasının ne olduğundan ve ne amaçla kullanıldığından bahsedeceğiz.
Web siteleri bildiğiniz gibi birçok arama motoru tarafından taranır ve taranan bu sayfalar arama motorlarında index olarak kullanıcılara sunulur. Birşey aradığımızda eşleşen sonuçları arama motorları önümüze sunar.
Peki bunun illegal amaçlı yapılabileceğini hiç düşünmüş müydünüz? Yani bir kişi Google ‘da arama yaparak birçok web sitesinin giriş paneline ulaşabilir. Elbette şifreleri bilmeden giriş yapamaz ancak saldırı planlayan birinin işini neden kolaylaştıralım ki?
O yüzden yapılması gereken şey arama motorlarının bazı sayfalarınızı indexlememesidir. Yani bir arama motoru sizin yönetim paneline giriş sayfasını indexlemesinin ne gereği var? O yüzden robots.txt dosyaları oluşturulur. Site sahibi bu dosyayı, www.siteismi.com/robots.txt olacak şekilde FTP ‘den gönderir ve işlem tamamlanır.
Peki robots.txt ‘nin içeriği nasıl olacak?
Kısaca robots.txt ‘de başkalarının görmesini istemediğiniz tüm sayfaları dahil edebilirsiniz. Ancak şunu da hatırlatmakta fayda var, bu işi gerçekten bilen ve size saldırı düzenlemek isteyen biri adres çubuğuna www.siteniz.com/robots.txt diye yazarak gizlemiş olduğunuz sayfaların listesini de görebilir. Ancak bunu sadece sizin sitenizi hedef alan kişiler uygular. Bizim burda amacımız, bir tür yazılımlar kullanarak tüm siteleri tarayan kişiler için önlem almaktır. Bu kişiler Google aracılığıyla birçok sitenin admin paneline ulaşıp brute-force yöntemiyle şifrenizi ele geçirebilir.
Örneğin WordPress tabanlı bir site için aşağıdaki robots.txt örneği gayet yeterlidir.
Disallow: /wp-admin/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/upgrade
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Allow: /wp-content/uploads
Örneğin Blogger tabanlı bir site için de aşağıdaki örnek kullanılabilir.
Disallow:
User-agent: *
Disallow: /search?q=*
Disallow: /*?updated-max=*
Allow: /