WordPress Robots.txt Nedir – Detaylı Anlatım

Sitenizin Search Engine Result Pages (SERP), yani arama motoru sonuç sayfalarında daha yukarılarda yer alabilmesi için, arama motorlarının en önemli sayfaları keşfetmek için kullandığı botların işini kolaylaştırmanız gerekiyor. Düzgün şekilde ayarlanmış bir robots.txt dosyası sayesinde bu botları en çok görünmesini istediğiniz sayfalara yönlendirebilirsiniz.

Bu rehberde ele alacağımız konular şu şekilde:

1. robots.txt nedir ve niçin önemlidir
2. WordPress robots.txt nerede bulunabilir
3. Nasıl robots.txt dosyası oluşturulur
4. WordPress robots.txt nasıl olmalı
5. robots.txt dosyası nasıl test edilir ve Google Search Console’a gönderilir

Yazımızın sonuna geldiğimizde, kusursuz WordPress robots.txt ayarları nasıl yapılır öğrenmiş olacaksınız. O halde hemen başlayalım!

İçerikler

• WordPress robots.txt Nedir (ve Niçin İhtiyaç Duyulur)
• WordPress robots.txt Dosyası Konumu
• WordPress robots.txt Nasıl Olmalı ve Hangi Kuralları İçermeli
• WordPress robots.txt Dosyası Nasıl Oluşturulur (3 Yöntemle)
• 1. Yoast SEO Kullanımı
• 2. All in One SEO Pack Eklentisi Kullanımı
• 3. FTP Aracılığıyla WordPress robots.txt Oluşturma ve Yükleme
• WordPress robots.txt Dosyası Nasıl Test Edilir ve Google Search Console’a Gönderilir
• Sonuç

WordPress robots.txt Nedir (ve Niçin İhtiyaç Duyulur)

Yeni bir web sitesi oluşturduğunuzda, arama motorları uşaklarını (veya botlarını) göndererek tarama yapar ve içerdiği tüm sayfaların bir haritasını oluşturur. Bu sayede birisi ilgili bir anahtar kelime arattığında hangi sayfaları sonuç olarak göstereceklerini belirlerler. Temel seviye de bu oldukça basit görünmektedir.

Asıl problem, modern web sitelerinin sayfalar haricinde çok daha fazla öğe içeriyor olmaları. Örneğin WordPress, genellikle kendi dizinlerine sahip olan eklentiler kurmanıza izin verir. Bunların arama sonuçlarında görünmesini istemezsiniz çünkü içeriğinizle ilgili değildirler.

WordPress robots.txt dosyasının işi arama motorlarına bir dizi talimat vermektir. Onlara aslında şöyle der: “Şşt, buraya bakabilirsin ancak ötedeki diğer odalara grime!” Bu dosya istediğiniz kadar detaylı olabilir ve oluşturması oldukça kolaydır.

Pratikte arama motorları, bir robots.txt dosyası oluşturmamış olsanız bile yine de sitenizi tararlar. Ancak oluşturmamanız verimsizliğe yol açar. Bu dosya olmadığında içeriğinizi indekslemesi için bütün işi botlara bırakırsınız. Botlar aşırı kapsamlı olduğundan diğer kişilerin web sitenizde erişimi olmayan sayfaları arama sonucu olarak göstermesi muhtemeldir.

Daha da önemlisi, robots.txt dosyası olmadığında web sitenizi tarayan çok fazla bot olur. Bu durum performansı negatif olarak etkiler. Fark çok büyük olmasa da sayfa yüklenme hızı her zaman için öncelikleriniz arasında olmalıdır. Nitekim insanlar yavaş web sitelerden nefret eder (buna biz de dahiliz!).

WordPress robots.txt Dosyası Konumu

Bir WordPress sitesi oluşturduğunuzda sistem sunucunuzun ana klasöründe otomatik olarak sanal bir robots.txt dosyası oluşturur. Örneğin, eğer siteniz ornekwebsite.com konumundaysa, ornekwebsite.com/robots.txt adresini açabiliyor ve aşağıdaki gibi bir dosya görüyor olmalısınız:

1. User-agent: *
2. Disallow: /wp-admin/
3. Disallow: /wp-includes/

Bu örnekteki WordPress robots.txt ayarları oldukça basittir. Parça parça açıklamak gerekirse, User.agent: devamındaki bölüm kuralların hangi botlara uygulanacağını belirler. Yıldız işareti kuralların evrensel olduğu ve bütün botlara uygulanacağı anlamına gelir. Örneğimizde dosyamız botlara wp-admin ve wp-includes dizinlerine giremeyeceklerini söylemektedir. Bu oldukça mantıklıdır çünkü bu iki klasör oldukça hassas bilgiler içermektedir.

Ancak kendi dosyanıza daha fazla kural eklemek isteyebilirsiniz. İşe koyulmadan önce, bunun sanal bir dosya olduğunu anlamanız gerekiyor. Genellikle WordPress robots.txt dosyası konumu root diziniyle aynıdır ve sıklıkla public_html veya www (veya web sitenizin ismi) olarak anılır:

Ancak, varsayılan WordPress robots.txt dosyası herhangi dizinden erişilebilir durumda değildir. Çalışır ancak değişiklikler yapabilmeniz için kendi dosyanızı oluşturmalı ve root klasörüne yükleyerek eskisiyle değiştirmelisiniz.

Birazdan WordPress robots.txt dosyası oluşturmanın çeşitli yöntemlerini anlatacağız. Şimdi biraz WordPress robots.txt nasıl olmalı bunun üzerinde duralım.

WordPress robots.txt Nasıl Olmalı ve Hangi Kuralları İçermeli

Yukarıda WordPress tarafından oluşturulan örnek bir robots.txt dosyası gördünüz. Bu örnekte sadece iki kısa kural bulunuyor ancak çoğu web sitesi bundan çok daha fazlasını eklemektedir. Şimdi iki farklı robots.txt dosyasını karşılaştıralım ve farklarını görelim.

İşte ilk WordPress robots.txt örneğimiz:

1. User-agent: *
2. Allow: /
3. # Disallowed Sub-Directories
4. Disallow: /checkout/
5. Disallow: /images/
6. Disallow: /forum/

Bu sıradan robots.txt dosyası içinde forum da bulunan bir web sitesine ait. Arama motorları sıklıkla forumlardaki her bir başlığı indeksler. Forumunuzun ne için olduğuna bağlı olarak bu özelliği kapatmak isteyebilirsiniz. Bu sayede Google, kullanıcıların sıradan muhabbet ettiği yüzlerce başlığı indekslemez. Aynı zamanda belirli alt forumları görmezden gelmek ve arama motorlarının geri kalan herşeyi taramasını sağlamak için bazı kurallar belirleyebilirsiniz.

Ayrıca Allow: / şeklinde bir bölüm görüyorsunuz. Bu satır botlara web sitenizin sayfalarını tarayabileceklerini ancak belirlediğiniz istisnaları görmezden gelmelerini söyler. Aynı şekilde belirlediğimiz kuralların evrensel (yıldız işaretli) olduğunu farketmişsinizdir, tıpkı sanal WordPress robots.txt dosyası gibi.

Şimdi bir diğer WordPress robots.txt dosyasına göz atalım:

1. User-agent: *
2. Disallow: /wp-admin/
3. Disallow: /wp-includes/
4. User-agent: Bingbot
5. Disallow: /

Bu dosyada WordPress’in varsayılan olan belirlediği aynı kuralları girdik. Ancak bir de sitenizi Bing’in arama botunun taramasına izin vermeyen yeni bir kural ekledik. Bingbot, tahmin edeceğiniz üzere bu botun ismi.

Hangi arama motorunun web sitenize erişim sağlayacağı ve hangilerinin sağlayamayacağı konusunda oldukça spesifik kurallar belirleyebilirsiniz. Pratikte Bingbot tabiki oldukça faydalı (Googlebot kadar havalı olmasa da). Ancak piyasada bazı zararlı botlar da bulunuyor.

Kötü haber ise bu botlar her zaman için robots.txt dosyasındaki talimatları takip etmiyor (sonuç olarak biraz asiler). Unutmamak gerekir ki çoğu bot bu dosyada belirlediğiniz talimatları takip etse de, bunu yapmaya onları zorlamıyorsunuz sadece güzelce rica ediyorsunuz.

Eğer konu hakkında biraz araştırma yaptıysanız, WordPress sitenizde neye izin verip neyi engelleyeceğiniz konusunda oldukça fazla tavsiye ile karşılaşmışsınızdır. Ancak bizim tecrübemize göre, ne kadar az kural belirlerseniz o kadar iyi. WordPress robots.txt nasıl olmalı sorusuna örnek olarak tavsiyemiz aşağıdaki gibidir:

1. User-Agent: *
2. Allow: /wp-content/uploads/
3. Disallow: /wp-content/plugins/

Geleneksel olarak WordPress wp-admin ve wp-includes dizinlerine erişimi engellemeyi sever. Ancak bu artık faydalı bir yaklaşım olarak görülmüyor. Artı olarak eğer resimlerinize arama motoru optimizasyonu (SEO) için metadata ekliyorsanız, botların bu bilgiye ulaşmasını engellemenin herhangi mantıklı açıklaması yoktur. Bunun yerine yukarıdaki iki kural bütün temel sitelerin ihtiyacını karşılayacaktır.

Robots.txt dosyasında neler bulunacağı tamamen sitenize ve ihtiyaçlarınıza göre değişebilir. Bu yüzden kendi araştırmanızı mutlaka yapın!

WordPress robots.txt Dosyası Nasıl Oluşturulur (3 Yöntemle)

Robots.txt dosyasında nelerin bulunacağına karar verdikten sonra geriye sadece dosyayı oluşturmak kalıyor. Dilerseniz WordPress robots.txt ayarları bir eklentiyle veya manuel olarak düzenleyebilirsiniz. Bu bölümde dosyayı oluşturmak için en popüler iki eklentiyi nasıl kullanacağımızı ve dosyayı nasıl yükleyebileceğimizi öğreneceğiz!

1. Yoast SEO Kullanımı

Yoast SEO eklentisini anlatmaya gerek yok. WordPress’in en popüler SEO eklentisi ve yazılarınız ile sayfalarınızı anahtar kelimeleri daha iyi yansıtacak şekilde optimize etmenize olanak sağlıyor. Bunun haricinde içeriğinizin okunabilirliğini arttırma konusunda yardımcı oluyor ve bu sayede ziyaretçileriniz daha keyifli zaman geçirebiliyor.

Kullanım kolaylığından dolayı bizler Yoast SEO hayranıyız. Bu durum robots.txt dosyası oluştururken de geçerli. Eklentiyi yükleyip etkinleştirdikten sonra, admin panelinden SEO > Araçlar bölümünü açın ve Dosya Düzenleyicisi seçeneğine tıklayın.

Bu bağlantıya tıkladığınızda yeni bir sayfaya yönlendirileceksiniz ve buradan .htaccess dosyasını düzenleyebilirsiniz. Aynı zamanda Create robots.txt file butonuna tıklayabilirsiniz, Türkçe karşılığı “Robots.txt dosyası oluştur”.

Bu butona tıkladığınızda sekmede yeni bir editör göreceksiniz ve buradan doğrudan robots.txt dosyasını düzenlemeniz mümkün. Unutmayın, Yoast SEO kendi varsayılan kurallarını belirler ve bu da varolan sanal robots.txt dosyasının yerini alır.

Ne zaman yeni bir kural ekler veya çıkarırsanız, Türkçe karşılığı Robots.txt değişikliklerini kaydet olan Save changes to robots.txt butonuna tıklamayı unutmayın:

İşte bu kadar kolay! Şimdi aynı işi yapan bir başka eklentiye bakalım.

2. All in One SEO Pack Eklentisi Kullanımı

Konu WordPress SEO olduğunda, All in One SEO Pack bir diğer popüler eklentidir. Yoast SEO’nun sahip olduğu bir çok özelliğe sahiptir ancak bazı insanlar daha hafif bir eklenti olduğundan tercih etmektedir. Robots.txt konusunda ise eklenti aracılığıyla bir tane oluşturmak oldukça basit.

Eklentiyi yükledikten sonra All in One SEO > Feature Manager sayfasını açın. İçerisinde Robots.txt adında bir seçenek ve hemen yanında bir Activate butonu göreceksiniz. Bu butona tıklayın:

Şimdi All in One SEO menüsü altında yeni bir Robots.txt sekmesi belirecek. Eğer tıklarsanız dosyanıza yeni kurallar eklemek, değişiklikleri kaydetmek veya silmek için seçenekler göreceksiniz:

Unutmayın, bu eklentiyi kullanarak robots.txt dosyasına doğrudan değişiklikler yapamazsınız. Dosyanın kendisi gri rengini alır, Yoast SEO’nun aksine dilediğiniz herşeyi yazmanız mümkündür:

Bütün durumlarda, yeni bir kural eklemek basittir bu yüzden bu küçük dezavantajın canınızı sıkmasına izin vermeyin. Daha da önemlisi All in One SEO Pack ‘kötü’ botları engellemenize yarayan bir özellik içermektedir. Bu özelliğe All in One SEO sekmesinden ulaşabilirsiniz:

Bu yöntemi seçtiyseniz yapacaklarınız bu kadar. Ancak şimdi bu işi halletmek için bir eklenti kullanmak istemiyorsanız biraz da robots.txt dosyasını manuel olarak düzenlemekten bahsedelim.

3. FTP Aracılığıyla WordPress robots.txt Oluşturma ve Yükleme

Bir robots.txt dosyası oluşturmak en basit işlerden birisi. Tüm yapmanız gereken herhangi metin editörü açmak (Notepad veya TextEdit gibi) ve birkaç satır yazmak. Ardından bu dosyayı herhangi bir isim kullanarak, herhangi bir txt dosya türünde kaydedebilirsiniz. Bunu yapmak birkaç saniyeden fazla sürmez dolayısıyla WordPress robots.txt dosyasını eklenti kullanmadan bu şekilde düzenlemek isteyebilirsiniz.

Örnek bir dosya olarak şunu gösterebiliriz:

Bu rehberin amacına uygun olarak bu dosyayı doğrudan kendi bilgisayarımıza kaydettik. Kendi dosyanızı oluşturup kaydettiğinizde, FTP aracılığıyla web sitenize bağlanmanız gerekiyor. Bunu nasıl yapacağınızdan emin değilseniz, yeni başlayanlarında anlayabileceği FileZilla rehberimize göz atabilirsiniz.

Sitenize bağlandığınızda public_html klasörünü açın. Ardından tüm yapmanız gereken bilgisayarınızdaki robots.txt dosyasını sunucunuza yüklemek. Bunun için dilerseniz FTP programının üzerinde dosyaya sağ tıklayabilir veya dosyayı sürükleyip ilgili alana bırakabilirsiniz:

Dosyanın yüklenmesi birkaö saniyeden fazla sürmez. Gördüğünüz üzere bu yöntem bir eklenti kullanmak kadar basit.

WordPress robots.txt Dosyası Nasıl Test Edilir ve Google Search Console’a Gönderilir

WordPress robots.txt dosyanız oluşturulup yüklendikten sonra Google Search Console kullanarak herhangi bir hata olup olmadığını kontrol edebilirsiniz. Bu arama konsolu Google’ın içeriğinizin arama motorlarında nasıl göründüğünü test edebilmeniz için sunduğu bir dizi araçtan oluşuyor. Bu araçlardan birisi robots.txt checker, bir diğer adıyla kontrolcüsü. Bu aracı kullanmak için konsole giriş yaptıktan sonra robots.txt Tester sekmesine tıklayın:

İçerisinde WordPress robots.txt dosyası kodunu ekleyebileceğiniz bir editör göreceksiniz, hemen altındaki Submit butonuna tıklayın. Google Search Console size yeni kodu kullanmak isteyip istemediğinizi soracak. Manuel olarak göndermek için Ask Google to Update yani Güncellemek İçin Google’a Sor seçeğine tıklayın:

Şimdi platform dosyanızı inceleyerek hata olup olmadığını kontrol edecek. Eğer herhangi hata varsa bunları size gösterecek. Ancak şimdiye kadar birden fazla WordPress robots.txt dosyası gördüğünüzden muhtemelen dosyanız kusursuz bir durumda olacaktır!

Sonuç

Sitenizin görünürlüğünü arttırmak için arama motoru botlarının en doğru bilgiyi taradığına emin olmalısınız. Yazımızda da gördüğümüz gibi WordPress robots.txt dosyası bu botların sitenizle tam olarak nasıl etkileşime geçtiğini belirlemektedir. Bu sayede botlar ziyaretçilere daha ilgili ve kullanışlı içerik sağlayabiliyor.

WordPress robots.txt ayarları konusunda herhangi sorunuz mu var? Aşağıdaki yorumlar bölümünü kullanarak bizimle paylaşın!