Robots.txt Dosyası Hakkında Bilgi

Ana Sayfa » İnternet » Webmaster » Robots.txt Dosyası Hakkında Bilgi
Robots.txt Dosyası Hakkında Bilgi

“robots.txt” birçok web site ve web programcısının yardımcısıdır. robots.txt dosyası arama motorları ve örümceklere sitenizde bulunan klasör ve dosyaların hangisini gezip ve hangisinin bu işlemin dışında bırakıldığına ve içeriğine bakmadan onlardan uzak durmayı sağlayan dosya tipidir.

Bu dosya temel olarak uzantısında görüldüğü gibi txt dosyasından oluşur. Bu dosya kullanılacak ise tüm web sitenizin yer aldığı ana dizinde bulunmalıdır. Yani şu anda siz fatihsaritas.com sitesindesiniz ve robots.txt bu ana dizinin içinde bulunmalı. https://www.fatihsaritas.com/robots.txt adresinden de dosyaya ulaşabilir olmalısınız.

Arama motorları bir sürü örümcek barındırırlar. Arama sitelerinin örümcekleri sitenizin ziyaret edildiği ilk saniyeyle hemen robots.txt’yi aramaya başlarlar. Site veya sayfanızın herhangi bir bölümüne girilmesini, ziyaret edilmesini istiyor veya istemiyorsanız bu dosyadan örümcekler izin alırlar. Bu dosyada bulunan izinler yani sizin fırsat verdiğiniz kadarıyla siteniz dolaşıma açılır. Yani kısaca bu robots.txt dosyaları sitenizin arama motorlarının indeksleyicisidir. Gözükmesini istediğiniz dokümanlar izne sahip olur ve sitenizde gözler önüne serilir.

importance-of-robots.txt-file

robots.txt’nin ne olduğunun anlatımı makalenin bu noktasında son buluyor. robots.txt’nin ne olduğu anlaşıldıysa gelelim teoriden gerçeğe geçiş aşamasına. İlk adım olarak bilgisayarınızda notepad’ı (not defterini) çalıştırmanız gerekmektedir. Bunun için başlat, programlar, donatılar ve oradan da not defteri sıralamasını izlemeniz gerekmektedir. Not defterinin içine;

User-agent: *Disallow:

yazmalısınız. Bu yazılanlar “burada yazan web sitemin tüm içeriği arama motorlarında görüntülenebilir” anlamına gelmektedir ve dosyalara ulaşıma izin vermiş oluruz. Web sitemizde dolaylı veya doğrudan olacak şekilde hiçbir biçimde gözükmesini istemediğimiz dosyaları ise;

User-agent: *Disallow: /klasoradi/

şeklinde tanımlamamız gerekir. Eğer gözükmesini istemediğimiz dosya bir tane değil de birden fazla ise disallow satırlarını arttırmamız lazım.

User-agent: *Disallow: /klasor1/Disallow: /klasor2/
Disallow: /klasor3/

bu şekilde eklemeler yapılabilir.

Ekleyen :Fatih SarıtaşTüm Yazıları İçin Tıklayınız

Robots.txt Dosyası Hakkında Bilgi - Yorumlar

YORUMLARINIZI PAYLAŞIN

 

Yapılan Yorumlar

BENZER İÇERİKLERİlginizi çekebilecek diğer içerikler

ISO Dil Kodları

ISO Dil Kodları 19 Ağustos 2015

e

ÖNE ÇIKAN KATEGORİLER

RASTGELE İÇERİKLER

Windows 7 – 8.1 Sürümüne Yükseltme iPhone 6 için en sağlam kılıf ! PS3 Kopya Oyun Nasıl Oynanır ? iPhone’dan vazgeçene 1000 lira! İşte Samsung Galaxy A5 ! Telefon Şarjınızın Çabuk Bitmesinin Sebebi

FACEBOOK'TA BİZ

fatihsaritas.com

Fatih Sarıtaş - Tüm Hakları Saklıdır

Çerkezköy escort bayan Eğirdir escort bayan Bolvadin escort bayan Bodrum escort bayan Akçakale escort bayan Bulancak escort bayan Ayvacık escort bayan Akçaabat escort bayan Akhisar escort bayan Didim escort bayan Dörtyol escort Bitlis mutlu son