Semalt: Darodar Robots.txt Nasıl Engellenir

Robots.txt dosyası, web tarayıcılarının veya botların bir siteyi nasıl taraması gerektiğine ilişkin talimatları içeren tipik bir metin dosyasıdır. Onların uygulama çok sayıda optimize web sitelerinde yaygın olan arama motoru botlarında belirgindir. Robots Dışlama Protokolü'nün (REP) bir parçası olarak, robots.txt dosyası, web sitesi içeriğinin endekslenmesinin ve bir sunucunun kullanıcı isteklerini buna göre doğrulamasını sağlamanın önemli bir unsurunu oluşturur.

Semalt Kıdemli Müşteri Başarı Yöneticisi Julia Vashneva, bağlantının niş içindeki diğer alanlardan trafik kazanmayı içeren Arama Motoru Optimizasyonu'nun (SEO) bir yönü olduğunu açıklıyor. Bağlantı suyunu aktarmak için "takip" bağlantıları için, sunucunuzun sitenizle nasıl etkileşime girdiğine dair bir eğitmen olarak hareket etmek için web sitenize barındırma alanı içine bir robots.txt dosyası eklemek önemlidir. Bu arşivden, bazı belirli kullanıcı aracılarının nasıl davrandığına izin vererek veya izin vermeyerek talimatlar bulunur.

Bir robots.txt dosyasının Temel Biçimi

Bir robots.txt dosyası iki temel satır içerir:

Kullanıcı-aracı: [kullanıcı-aracı adı]

İzin verme: [URL dizesi taranmayacak]

Tam bir robots.txt dosyası bu iki satırı içermelidir. Ancak, bazıları çok sayıda kullanıcı aracısı ve yönergesi içerebilir. Bu komutlar, izin verme, izin vermeme veya tarama gecikmeleri gibi yönleri içerebilir. Genellikle her komut setini ayıran bir satır sonu vardır. İzin verme veya izin verme talimatlarının her biri, özellikle birden çok satır içeren robots.txt için bu satır sonu ile ayrılır.

Örnekler

Örneğin, bir robots.txt dosyası aşağıdaki gibi kodlar içerebilir:

Kullanıcı-aracı: darodar

İzin verme: / plugin

İzin verme: / API

İzin verme: / _comments

Bu durumda, bu, Darodar web tarayıcısının web sitenize erişmesini engelleyen bir robots.txt dosyasıdır. Yukarıdaki sözdiziminde kod, web sitesinin eklentiler, API ve yorumlar bölümü gibi yönlerini engeller. Bu bilgiden, bir robotun metin dosyasını etkili bir şekilde yürütmekten sayısız fayda elde etmek mümkündür. Robots.txt dosyaları çok sayıda işlev gerçekleştirebilir. Örneğin, şunları yapmaya hazır olabilirler:

1. Tüm web tarayıcılarının içeriğinin bir web sitesi sayfasına girmesine izin verin. Örneğin;

Kullanıcı aracısı: *

Disallow:

Bu durumda, tüm kullanıcı içeriğine bir web sitesine gitmesi istenen herhangi bir web tarayıcısı tarafından erişilebilir.

2. Belirli bir web içeriğini belirli bir klasörden engelleyin. Örneğin;

Kullanıcı aracısı: Googlebot

İzin verme: / example-alt klasörü /

Googlebot kullanıcı aracısı adını içeren bu sözdizimi Google'a aittir. Botun www.ourexample.com/example-subfolder/ dizesindeki herhangi bir web sayfasına erişmesini kısıtlar.

3. Belirli bir web sayfasından belirli bir web tarayıcısını engelleyin. Örneğin;

Kullanıcı-aracı: Bingbot

İzin verme: /example-subfolder/blocked-page.html

Bing aracı kullanıcı aracısı Bing web tarayıcılarına aittir. Bu tür robots.txt dosyası, Bing web tarayıcısının www.ourexample.com/example-subfolder/blocked-page dizesiyle belirli bir sayfaya erişmesini kısıtlar.

Önemli bilgi

  • Her kullanıcı robts.txt dosyanızı kullanmaz. Bazı kullanıcılar bunu görmezden gelmeye karar verebilir. Bu tür web tarayıcılarının çoğunda Truva atları ve kötü amaçlı yazılımlar bulunur.
  • Bir Robots.txt dosyasının görünür olması için, üst düzey web sitesi dizininde bulunması gerekir.
  • "Robots.txt" karakterleri büyük / küçük harfe duyarlıdır. Sonuç olarak, bazı yönlerden büyük harf kullanımı dahil hiçbir şekilde bunları değiştirmemelisiniz.
  • "/Robots.txt" kamu malıdır. Herkes bu bilgileri herhangi bir URL'nin içeriğine ekleyerek bulabilir. Gizli kalmasını istediğiniz temel ayrıntıları veya sayfaları dizine eklememelisiniz.