News // Internet Bots überlasten Webserver

Internet Bots überlasten Webserver
 | 

Die Website eines Kunden war nicht mehr erreichbar. Einige auf dem Server ausgeführte Prozesse sorgten für dessen komplette Auslastung, obwohl es sich um einen Managed Server mit 4 CPU-Kernen handelt. In Zusammenarbeit mit unserem Hosting-Partner wurde die Ursache dieser außergewöhnlich hohen Serverlast gefunden: Internet Bots.

Was ist ein Internet Bot?

Internet Bots sind Computerprogramme, die von einer Website Daten für Suchmaschinen oder Monitoring-Tools sammeln. Unter den Bots gibt es auch schwarze Schafe, die beim Datensammeln (crawlen) auf Websites mit tausenden von Aufrufen den Server aus- bzw. überlasten. Dann sind die auf dem Server gehosteten Website nicht mehr erreichbar. Man könnte dies auch mit einem DDoS-Angriff vergleichen. Allerdings lassen sich durch Bots herbeigeführte Serverüberlastungen besser in den Griff bekommen.

Beheben des Problems – Aussperren der Bots

Die „bösartigen“ Bots lassen sich schnell über einen Eintrag in die .htaccess Datei auf dem Webspace aussperren. So war augenblicklich nach einem entsprechenden Eintrag in die .htaccess Datei des betroffenen Kundenservers die Serverlast verschwunden und die Website wieder erreichbar.

Eintrag in die .htaccess Datei

Den unten definierten Bots wird beim Aufruf der Seite ein 503 Statuscode ausgegeben, was so viel bedeutet, dass die Seite für die definierten Internet Bots nicht erreichbar ist. Somit richten diese kein weiteres Unheil mehr an.

###########503-for-Bots#############################
SetEnvIfNoCase User-Agent "Baiduspider" bots
SetEnvIfNoCase User-Agent "Ezooms" bots
SetEnvIfNoCase User-Agent "msnbot" bots
SetEnvIfNoCase User-Agent "Slurp" bots
SetEnvIfNoCase User-Agent "Yandex" bots
SetEnvIfNoCase User-Agent "MJ12bot" bots
SetEnvIfNoCase User-Agent "Java" bots
SetEnvIfNoCase User-Agent "AhrefsBot" bots

#### Retry 12h
Header always set Retry-After "43200" env=bots
RewriteCond %{ENV:bots} 1
RewriteRule .* - [R=503,L]
################################################

zurück
© 2019 // interaktiv manufaktur // Inh. Thomas Tiedtke // Füssen // Allgäu