Merhabalar,
Bugün bilgi bankamıza ekleyeceğimiz konu Yandex Örümcekleri'nin aşırı isteklerine istinaden artan CPU kullanımına ilişkin bilgi paylaşımı olacaktır.

Yandex botları sitelerimizi indexlemek için rastgele linklere istekler göndermekte ve CPU kaynak kullanımlarını oldukça yoğun bir şekilde meşgul etmektedir. CPU kullanımı yükseldikçe web sitelerimiz yavaş açılmaktadır ve gerek ziyaretçiler için gerekse SEO çalışmalarımız için olumsuz bir durum olacaktır.
Aşağıdaki komutu web sitenizin kök dizininde bulunan robots.txt dosyasına ekleyerek yandex botlarının sunucunuza saldırır gibi sayfaları dolaşmasının önüne geçebilirsiniz.

#trdeserver.com yandex makalesi
User-agent: Yandex
Crawl-delay: 2 # 2 saniyelik zaman aşımını belirtir

Bol Trafikler