Tarama Bütçesi (Crawl Budget) Nedir?

Tarama bütçesi (crawl budget), arama motorlarının belirli bir zaman dilimi içinde bir web sitesinde taradığı sayfa sayısıdır.

Arama motorları, tarama bütçesini, tarama sınırına (herhangi bir sorun olmadan ne sıklıkta tarayabilecekleri) ve tarama talebine (bir siteyi ne sıklıkta taramak istedikleri) göre hesaplar.

Tarama bütçesini boşa harcarsanız, arama motorları web sitenizi verimli bir şekilde tarayamaz. Sitenizin önemsiz kısımlarında saplanıp kalabilir ve bu da web sitenizin önemli sayfalarının index almamasına neden olabilir.

Tarama Bütçesi ve SEO

Sitenizin Google’da yükselmesi için öncelikle Google’ın sitenizi index’lemesi gerekmektedir. Sitenizdeki sayfa sayısı tarama bütçesini aşarsa Google sitenizi düzgün taramayabilir.

Tarama bütçesinin boşa harcanması SEO performansınıza zarar verebilir. Arama motorları, kısa süre içinde çok sayıda siteyi tarayabilir. Fakat Google ve Bing gibi arama motorları, spamı azaltmak için bir takım önlemler alır.

Web sitesinin boyutu, tarama bütçesini belirleyen ana faktörlerden biridir. Bu nedenle, eğer küçük bir web siteniz varsa, tarama bütçesi konusunda endişelenmenize gerek yok. Google, binden az URL’e sahip siteleri kolaylıkla tarayabilir.

5,000 – 10,000’den fazla sayfaya sahip bir web siteniz veya URL parametrelerine göre sayfaları otomatik olarak oluşturan siteniz varsa, tarama bütçesi ile ilgili sorunlarla karşılaşabilirsiniz. Böyle bir durumda, mutlaka tarama bütçesi optimizasyonu yapmalısınız.

Tarama Limiti

Tarama limiti, tarama bütçesinin önemli bir parçasıdır. Arama motorları bir web sitesinin tarama sınırını nasıl belirler? Bununla ilgili bazı faktörler aşağıdaki gibidir:

• Platformun kötü durumda olduğuna dair işaretler: İstek gönderilen URL’ler ne sıklıkta zaman aşımına uğruyor veya sunucu hataları veriyor?
• Sunucuda çalışan web sitelerinin sayısı: Web siteniz diğer yüzlerce web sitesiyle aynı sunucuda çalışıyorsa ve oldukça büyük bir web siteniz varsa, web sitenizin tarama limiti oldukça sınırlı olabilir. Çünkü tarama limiti sunucu düzeyinde belirlenir. Sunucunun tarama sınırını, üzerinde çalışan diğer tüm sitelerle paylaşırsınız.

Tarama Bütçesi Optimizasyonu Nasıl Yapılır?

Googlebot’u yönlendirerek mevcut tarama bütçesinin akıllıca kullanılmasını ve web sitenizin önemli sayfaların index’lenmesini sağlayabilirsiniz.

Öncelikli olarak önemsiz olan sayfalar belirlenmelidir. Özellikle bu, 404 hata kodu veren sayfaların yanı sıra, zayıf içerikli sayfaları da içerir. Tarama bütçesinin daha önemli sayfalar için kullanılması için bu sayfaların taranmaları engellenmelidir.

Daha sonra önemli sayfaların öncelikli olarak botlar tarafından sorunsuz taranacak şekilde tasarlanması gerekiyor. Tarama optimizasyonunun bir parçası olarak olası işlemler şunları içerir:

• Sitenizdeki sayfaların kolayca erişilebilir olmasını sağlamak için menü veya sidebar alanına kategori sayfalarınızın linklerini ekleyebilirsiniz.
• İçeriklerinizde önemli sayfalarınıza site içi linkler verebilirsiniz. Ancak bunu ziyaretçilere yardımcı olmak için yapmalısınız (örneğin, belirli konuda detaylı bilgi edinmeleri için ilgili içeriği önerebilirsiniz).
• Önemsiz sayfaların robots.txt dosyası üzerinden taranmalarını engelleyebilirsiniz.
• Önemsiz sayfalarınızın index almasını engellemek için meta veriler (noindex, nofollow) kullanabilirsiniz.
• Sadece en önemli sayfalarınızın URL’lerini içeren bir XML site haritası oluşturarak Search Console üzerinden Google’a gönderebilirsiniz.