Çoğunlukla, botlar ve örümcekler nispeten zararsızdır. Örneğin, Google’ın botunun web sitenizi taramasını ve dizine eklemesini istiyorsunuz. Ancak, botlar ve örümcekler bazen sorun olabilir ve istenmeyen trafik sağlayabilir. Bu tür istenmeyen trafik şunlarla sonuçlanabilir:
- Trafiğin nereden geldiğinin gizlenmesi.
- Kafa karıştırıcı ve anlaşılması zor raporlar.
- Google Analytics’te yanlış ilişkilendirme .
- Ödediğiniz artan bant genişliği maliyetleri.
- Diğer rahatsızlıklar.
İyi botlar ve kötü botlar vardır. İyi botlar arka planda çalışır ve nadiren başka bir kullanıcıya veya web sitesine saldırır. Kötü botlar, bir web sitesinin arkasındaki güvenliği bozar veya büyük bir kuruluşa (tek bir makinenin kaldıramayacağı bir şey) DDOS saldırıları gerçekleştirmek için geniş, büyük ölçekli bir botnet olarak kullanılır. İşte botlar hakkında bilmeniz gerekenler ve kötülerin sitenizi taramasını nasıl önleyeceğiniz.
Bot Nedir?
Bir botun tam olarak ne olduğuna bakmak, onu neden engellememiz ve sitemizi taramasını engellememiz gerektiğini belirlemeye yardımcı olabilir. “Robot”un kısaltması olan bot, belirli bir görevi tekrar tekrar tekrarlamak için tasarlanmış bir yazılım uygulamasıdır. Birçok SEO uzmanı için, botları kullanmak, bir SEO kampanyasını ölçeklendirmekle birlikte gider. “Ölçeklendirme”, daha iyi sonuçları daha hızlı almak için mümkün olduğunca çok işi otomatikleştirmeniz anlamına gelir.
Botlar Hakkında Yaygın Yanılgılar
Tüm botların kötü olduğu ve sitenizden kesin olarak yasaklanması gerektiği gibi bir yanılgı ile karşılaşmış olabilirsiniz. Ancak bu gerçeklerden daha fazla olamazdı. Google bir bottur. Google’ı engellerseniz, arama motoru sıralamalarınızın ne olacağını tahmin edebilir misiniz? Bazı botlar kötü niyetli olabilir, sahte içerik oluşturmak için tasarlanmış veya verilerinizi çalmak için yasal web siteleri gibi davranabilir. Ancak, botlar her zaman kötü aktörler tarafından çalıştırılan kötü amaçlı komut dosyaları değildir. Bazıları, ortak tekrarlayan görevleri otomatikleştirmek veya arama motorlarından faydalı bilgileri kazımak gibi SEO profesyonellerinin işini kolaylaştırmaya yardımcı olan harika araçlar olabilir. SEO uzmanlarının kullandığı bazı yaygın botlar Semrush ve Ahrefs’tir. Bu botlar, arama motorlarından faydalı verileri sıyırır, SEO uzmanlarının görevleri otomatikleştirmesine ve tamamlamasına yardımcı olur ve SEO görevleri söz konusu olduğunda işinizi kolaylaştırabilir.
Botların Sitenizi Taramasını Neden Engellemeniz Gerekir?
Pek çok iyi bot varken, kötü botlar da var. Kötü botlar, özel verilerinizi çalmanıza veya başka şekilde çalışan bir web sitesini kapatmanıza yardımcı olabilir. Ortaya çıkarabileceğimiz tüm kötü botları engellemek istiyoruz. Sitenizi tarayabilecek her botu keşfetmek kolay değil, ancak biraz araştırma ile artık sitenizi ziyaret etmek istemeyeceğiniz kötü niyetli botları bulabilirsiniz. Peki neden botların web sitenizi taramasını engellemeniz gerekiyor? Botların sitenizi taramasını engellemek isteyebileceğiniz bazı yaygın nedenler şunları içerebilir:
Değerli Verilerinizi Koruma
Belki de bir eklentinin değerli tüketici verilerinizi çalmak isteyen çok sayıda kötü niyetli botu cezbettiğini fark etmişsinizdir. Veya bir botun, sitenizin her yerine kötü bağlantılar eklemek için bir güvenlik açığından yararlandığını buldunuz. Veya birisi sürekli olarak bir bot ile iletişim formunuzu spam yapmaya çalışıyor . Değerli verilerinizin bir bot tarafından ele geçirilmesini önlemek için belirli adımlar atmanız gereken yer burasıdır.
Bant Genişliği Aşımları
Bir bot trafiği akışı alırsanız, bant genişliğiniz de hızla artacak ve bu da, sahip olmayı tercih etmeyeceğiniz öngörülemeyen fazlalıklara ve ücretlere yol açacaktır. Bu durumlarda, rahatsız edici botların sitenizi taramasını kesinlikle engellemek istiyorsunuz. Ücretlendirilmeyi hak etmediğiniz bant genişliği için binlerce dolar ödediğiniz bir durum istemezsiniz. Bant genişliği nedir? Bant genişliği, sunucunuzdan istemci tarafına (web tarayıcısı) veri aktarımıdır. Bir bağlantı denemesi üzerinden her veri gönderildiğinde, bant genişliğini kullanırsınız. Botlar sitenize eriştiğinde ve bant genişliğini boşa harcadığınızda, aylık tahsis edilen bant genişliğinizi aşmanız nedeniyle fazla kullanım ücretlerine maruz kalabilirsiniz. Barındırma paketinize kaydolduğunuzda en azından ev sahibinizden bazı ayrıntılı bilgiler almış olmanız gerekir.
Kötü Davranışı Sınırlamak
Kötü niyetli bir bot bir şekilde sitenizi hedef almaya başladıysa bunu kontrol altına almak için adımlar atmanız yerinde olacaktır. Örneğin, bu botun iletişim formlarınıza erişemeyeceğinden emin olmak istersiniz. Botun sitenize erişemediğinden emin olmak istiyorsunuz. Bot, en kritik dosyalarınızı tehlikeye atmadan önce bunu yapın. Sitenizin düzgün bir şekilde kilitli ve güvenli olmasını sağlayarak, bu botları çok fazla zarar vermemeleri için engellemek mümkündür.
Botları Sitenizden Etkili Bir Şekilde Engelleme
Botları sitenizden etkili bir şekilde engellemek için iki yöntem kullanabilirsiniz. Birincisi robots.txt aracılığıyla. Bu, web sunucunuzun kökünde bulunan bir dosyadır. Genellikle, varsayılan olarak bir tane olmayabilir ve bir tane oluşturmanız gerekir. Bunlar, sitenizden çoğu örümceği ve botu engellemek için kullanabileceğiniz son derece kullanışlı birkaç robots.txt kodudur:
Sunucunuzdan Googlebot’a İzin Vermeyin
Herhangi bir nedenle Googlebot’un sunucunuzu taramasını durdurmak istiyorsanız, kullanacağınız kod aşağıdaki koddur:
User-agent: Googlebot
Disallow: /
Bu kodu yalnızca sitenizin dizine eklenmesini önlemek için kullanmak istiyorsunuz. Bunu bir hevesle kullanmayın! Botların sitenizi taramasını kesinlikle istemediğinizden emin olmak için belirli bir nedeniniz olsun. Örneğin, hazırlama sitenizi dizinin dışında tutmak istemek yaygın bir sorundur. İçeriğinizi ikiye katladığınız ve bunun sonucunda yinelenen içerik sorunları yarattığınız için Google’ın hazırlama sitenizi ve gerçek sitenizi taramasını istemezsiniz .
Sunucunuzdan Tüm Botlara İzin Vermemek
Tüm botların sitenizi taramasını engellemek istiyorsanız, kullanmak isteyeceğiniz kod aşağıdaki gibidir:
User-agent: *
Disallow: /
Bu, tüm botlara izin vermeme kodudur. Yukarıdan hazırlama sitesi örneğimizi hatırlıyor musunuz? Belki de sitenizi hepsine tam olarak dağıtmadan önce hazırlama sitesini tüm botlardan hariç tutmak istiyorsunuz. Veya sitenizi dünyaya sunmadan önce bir süreliğine gizli tutmak isteyebilirsiniz. Her iki durumda da, bu sitenizi meraklı gözlerden gizleyecektir.
Botların Belirli Bir Klasörü Taramasını Engelleme
Herhangi bir nedenle, botların atamak istediğiniz belirli bir klasörü taramasını engellemek istiyorsanız, bunu da yapabilirsiniz. Kullanacağınız kod aşağıdadır:
User-agent: *
Disallow: /folder-name/
Birinin botları bir klasörden çıkarmak istemesinin birçok nedeni vardır. Belki de sitenizdeki belirli içeriğin dizine eklenmediğinden emin olmak istiyorsunuz. Veya bu klasör belirli türde yinelenen içerik sorunlarına neden olabilir ve siz onu taramadan tamamen çıkarmak istersiniz. Her iki durumda da, bu bunu yapmanıza yardımcı olacaktır.
Robots.txt ile Sık Yapılan Hatalar
SEO uzmanlarının robots.txt ile yaptığı birkaç hata vardır. En yaygın hatalar şunları içerir:
- Hem robots.txt hem de noindex dosyasında izin verme özelliğini kullanma.
- Gerçekten belirli bir URL’yi kastettiğinizde, eğik çizgiyi / (kökten aşağı tüm klasörler) kullanma.
- Doğru yolu dahil değil.
- robots.txt dosyanızı test etmiyorsunuz.
- Engellemek istediğiniz kullanıcı aracısının doğru adını bilmemek.
Sayfada Robots.txt Dosyasında Hem Disallow’u Hem de Noindex’i Kullanmak
Google’dan John Mueller, robots.txt dosyasında hem izin vermemeyi hem de sayfanın kendisinde noindex kullanmamanız gerektiğini belirtti. Her ikisini de yaparsanız, Google noindex’i görmek için sayfayı tarayamaz, bu nedenle sayfayı yine de dizine eklemeye devam edebilir. Bu nedenle, ikisini birden değil, yalnızca birini veya diğerini kullanmalısınız.
Gerçekten Belirli Bir URL’yi Kastettiğinizde Eğik Çizgiyi Kullanma
Disallow’dan sonraki eğik çizgi, “bu kök klasörden aşağı, tamamen ve tamamen sonsuza kadar” anlamına gelir. Sitenizdeki her sayfa, siz değiştirene kadar sonsuza kadar engellenecektir. Web sitesi denetimlerinde bulduğum en yaygın sorunlardan biri, birisinin yanlışlıkla “İzin Verme:” seçeneğine bir eğik çizgi eklemesi ve Google’ın sitenin tamamını taramasını engellemesidir.
Doğru Yolu Dahil Etmemek
Anlıyoruz. Bazen robots.txt dosyasını kodlamak zor bir iş olabilir. Başlangıçta tam olarak doğru yolu hatırlayamıyordunuz, bu yüzden dosyayı gözden geçirdiniz ve onu kanatlandırdınız. Sorun, bu benzer yolların hepsinin bir karakter kapalı oldukları için 404’lerle sonuçlanmasıdır. Bu nedenle, belirli URL’lerde kullandığınız yolları her zaman iki kez kontrol etmek önemlidir. robots.txt dosyasına robots.txt dosyasında çalışmayacak bir URL ekleme riskini almak istemezsiniz.
Kullanıcı Aracısının Doğru Adını Bilmemek
Belirli bir kullanıcı aracısını engellemek istiyorsanız ancak o kullanıcı aracısının adını bilmiyorsanız, bu bir sorundur. Hatırladığınızı düşündüğünüz adı kullanmak yerine biraz araştırma yapın ve ihtiyacınız olan kullanıcı aracısının tam adını bulun. Belirli botları engellemeye çalışıyorsanız, bu ad çabalarınızda son derece önemli hale gelir.
Botları ve Örümcekleri Başka Neden Engellersiniz?
SEO uzmanlarının botların sitelerini taramasını engellemek istemesinin başka nedenleri de vardır. Belki de gri şapkalı (veya siyah şapkalı) PBN’lere derinden bağlılar ve özel blog ağlarını meraklı gözlerden (özellikle rakiplerinden) gizlemek istiyorlar. SEO uzmanlarının rekabetlerini değerlendirmek için kullandıkları yaygın botları engellemek için robots.txt’i kullanarak bunu yapabilirler.
Botları Engellemek için HTACCESS Dosyanızı Kullanma
Bir APACHE web sunucusundaysanız, belirli botları engellemek için sitenizin htaccess dosyasını kullanabilirsiniz. Örneğin, ahrefsbot’u engellemek için htaccess’te kodu nasıl kullanacağınız aşağıda açıklanmıştır. Lütfen dikkat: Bu koda dikkat edin. Ne yaptığınızı bilmiyorsanız, sunucunuzu çökertebilirsiniz. Bu kodu burada yalnızca örnek olması amacıyla sağlıyoruz. Bir üretim sunucusuna eklemeden önce araştırmanızı ve uygulamanızı kendi başınıza yaptığınızdan emin olun.
Order Allow,Deny
Deny from 51.222.152.133
Deny from 54.36.148.1
Deny from 195.154.122
Allow from all
Bunun düzgün çalışması için Ahrefs blogunda bu makalede listelenen tüm IP aralıklarını engellediğinizden emin olun. .htaccess’e kapsamlı bir giriş yapmak istiyorsanız , Apache.org’daki bu eğitimden başka bir yere bakmayın. Belirli bot türlerini engellemek için htaccess dosyanızı kullanma konusunda yardıma ihtiyacınız varsa, buradaki öğreticiyi takip edebilirsiniz .
Botları ve Örümcekleri Engellemek Biraz Çalışma Gerektirebilir
Ama sonunda buna değer. Botların ve örümceklerin sitenizi taramasını engellediğinizden emin olarak, diğerleriyle aynı tuzağa düşmezsiniz. Sitenizin belirli otomatik işlemlere karşı bağışık olduğunu bilerek içiniz rahat olabilir. Bu belirli botları kontrol edebildiğinizde, SEO uzmanı olan sizin için işleri çok daha iyi hale getirir. Gerekirse, her zaman gerekli botların ve örümceklerin sitenizi taramasını engellediğinden emin olun. Bu, gelişmiş güvenlik, daha iyi bir genel çevrimiçi itibar ve gelecek yıllarda çok daha iyi bir site ile sonuçlanacaktır.
Botların Sitenizi Taramasını Nasıl ve Neden Önlersiniz?