Dominik Deobald

… wie schon mal vor einem halben Jahr (da war’s 3.0):

via BloggingTom

Dominik Deobald Internet did you know, facts, Internet, video, youtube

Dominik Deobald Internet computer, earth, history, Internet, video, youtube

Dominik Deobald Internet history, Internet, video, youtube

Im WWW wimmelt es inzwischen ja nur so von verschiedenen Bots. Manche füttern Suchmaschinen, manche machen anderes. Manche sind sinnvoll für Webseiten-Betreiber, manche nicht.

Ich habe inzwischen angefangen, besonders sinnlose, störende oder sogar schädliche Spider auszusperren, die unsere Webseiten herunterladen wollen. Immerhin verbrauchen die unsere Bandbreite und unsere Rechenleistung, die wir an anderer Stelle besser einsetzen können.

Einige Bots sind ja noch so nett und schauen erst mal in die robots.txt, ob sie Daten abrufen dürfen. Andere greifen einfach zu. Und die allerschlimmsten sind die, die sich noch nicht mal als Bot identifizieren. Gegen die ist nicht so leicht anzukommen – denn man erkennt sie einfach nicht.

Ein paar von dieser Sorte sperre ich grundsätzlich in der .htaccess anhand der IP aus:

1
2
3
4
5
6
7
8
9
10

SetEnvIfNoCase Remote_Addr "^82.99.30." banned
SetEnvIfNoCase Remote_Addr "^69.58.178." banned
SetEnvIfNoCase Remote_Addr "^69.84.207." banned
SetEnvIfNoCase Remote_Addr "^91.205.124." banned
SetEnvIfNoCase Remote_Addr "^86.162.11.102" banned
SetEnvIfNoCase Remote_Addr "^82.99.30." banned
 
order allow,deny
allow from all
deny from env=banned

Das ist allerdings nur ein Tropfen auf den heißen Stein… Diese IPs sind sehr spezifisch und sind einfach ein paar, die mir negativ aufgefallen sind.

Bei den folgenden Bots / User Agents ist das einfacher. Damit diese Regeln funktionieren muss vorher mod_rewrite mit “RewriteEngine On” eingeschaltet werden.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

RewriteCond %{HTTP_USER_AGENT} ^<a rel="nofollow" href="http://www.bagl.co.uk/">BAGL</a>/Nutch-0.9 [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^<a rel="nofollow" href="http://www.baidu.com/">Baiduspider</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^<a rel="nofollow" href="http://commoncrawl.org/">CCBot</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^Java/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft\ URL\ Control [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^Python-urllib [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^sonarv [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^<a rel="nofollow" href="http://www.touche.com.ve/">Touche</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^<a rel="nofollow" href="http://www.yanga.co.uk/">Yanga</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^Yeti/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^<a rel="nofollow" href="http://www.bdbrandprotect.com">BPImageWalker</a>/ [OR,NC]
RewriteCond %[HTTP_USER_AGENT} ^QRVA [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.naver.com/">NaverBot</a>/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.dontbuylists.com/">DBLBot</a>/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.discoveryengine.com/discobot.html">discobot</a>/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.dotnetdotcom.org/">DotBot</a>/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.majestic12.co.uk/projects/dsearch/mj12bot.php">MJ12bot</a>/ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.voila.fr/">VoilaBot</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Pockey [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*NetMechanic [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.sparkleware.com/superbot/">SuperBot</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*WebMiner [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.maximumsoft.com/products/wc_windows/overview.html">WebCopier</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Web\ Downloader [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*WebMirror [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Offline [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.spidersoft.com/webzip/">WebZIP</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.webreaper.net/">WebReaper</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Anarchie [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Mass\ Down [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.softbytelabs.com/de/bw/index.html">BlackWidow</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://webstripper.net/">WebStripper</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*WebHook [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Scooter [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://swish-e.org/">swish-e</a> [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*<a rel="nofollow" href="http://www.tenmax.com/teleport/pro/home.htm">Teleport</a>[NC]
RewriteRule ^.*$ - [F,L]

Was sperren diese Regeln aus?

• Eine Hand voll Tools, die komplette Webseiten herunterladen
  Etwa Teleport oder WebReaper. Es gibt keinen wirklichen Sinn, das zu tun. Hier könnten und sollte eigentlich auch wget mit drin stehen, aber das verwenden wir stellenweise intern.
• Diverse “Libraries”, die Programmierer verwenden können, um Webseiten abzurufen
  Etwa Java, Python-urllib und Microsoft URL Control. Diese Libraries werden oft verwendet, um SPAM-Bots zu schreiben oder um Webseiten zu “rippen”, um sie auf dem eigenen Webserver mit eigener Werbung zu spiegeln. Natürlich wird auf diesem Weg nicht die Library selbst ausgesperrt, sondern nur die User, die sich mit den Standard-UserAgents identifizieren. Ähnlich wie oben wget wäre hier auch auf Wunsch noch cURL einzufügen.
• Einige asiatische Suchmaschinen
  Zum Beispiel Baidu oder Naver. Auf diesem Weg verhindern  wir vielleicht, dass manche Personen uns finden, aber Asien gehört nicht wirklich zu unserer Zielgruppe.
• Einige sinnlose Suchmaschinen
  Das sind Suchmaschinen, die einfach (noch?) keine Relevanz haben oder die in unserer Zielgruppe keine Relevanz haben. Hier wären beispielsweise Yanga und Voila zu nennen. Stellenweise habe ich auch Cuil ausgesperrt (nicht in dieser Liste oben). In diesen Fällen steht die durch die Bots erzeugte Last auf unseren Servern in keiner Relation zu den auf diesem Weg erreichten Besuchern. Wenn beispielsweise ein Bot jeden Tag 1000 Dateien abruft, dann aber nur ein Besucher im Monat gebracht wird, dann macht das einfach keinen Sinn.
• Einige komplett sinnlose Bots
  Da zu nennen wären beispielsweise der MJ12bot und der CCBot. Die sammeln einfach nur Daten und behaupten, irgendwann mal was sinnvolles damit zu tun. Von Majestic12 gibt es immerhin inzwischen eine Alpha-Version von der Suchfunktion. Die Relevanz ist allerdings gleich null.

Etwas anders – der Vollständigkeit halber aber auch erwähnt – ist das hier:

1
2
3
4
5
6
7
8
9
10

RewriteRule wp-login\.php - [F,L]
RewriteRule xmlrpc\.php - [F,L]
RewriteRule wp-atom\.php - [F,L]
RewriteRule login_page\.php$ - [F,L]
RewriteRule include\.php$ - [F,L]
RewriteRule php.*my.*admin - [NC,F,L]
RewriteRule mysql - [NC,F,L]
RewriteRule typo3 - [NC,F,L]
RewriteRule xampp - [NC,F,L]
RewriteRule w00tw00t - [F,L]

Damit sperre ich diverse URLs, die gerne von Hackern aufgerufen werden, die einfach mal schauen, was es für Angriffsflächen gibt,  und beantworte sie mit 403 FORBIDDEN.

Eigentlich ziemlich sinnlos, denn die entsprechenden Dateien gibt’s auf den Servern ohnehin nicht – und wenn doch, dann will man sie normalerweise auch aufrufen können. Aber es werden auf diese Weise doch ein paar Bytes gespart, da die 403 FORBIDDEN Fehlermeldung im Normalfall kleiner ist als die 404 NOT FOUND Datei.

Außerdem sind 404 NOT FOUND Seiten oft auch irgendwie mit der Datenbank verknüpft. Die 403 FORBIDDEN Seite kann man einfach ausgeben, während man das 404 NOT FOUND in der Regel mit einer Hilfestellung für die User verbinden möchte. Hackern ist es in der Regel egal, ob sie einem den Server durch viele schnell aufeinander folgende Aufrufe lahmlegen. Von daher: einfach eine statische 403 FORBIDDEN Seite rausjagen. Das erzeugt nahezu keine Server-Last.

And last, but not least: Man kann dann in der Log-Datei die entsprechenden Aufrufe leichter identifizieren.

Dominik Deobald Internet .htaccess, bots, Internet, spider, suchmaschinen, traffic

Ich beobachte die OpenID-Thematik inzwischen seit einiger Zeit und beabsichtige auch, unsere zukünftigen Seiten mit OpenID-Unterstützung auszustatten – da ich für die Technik Potential sehe, das es sich zu unterstützen lohnt. Dummerweise krankt OpenID noch an einigen Problemen, weshalb es derzeit fatal wäre, OpenID als einzige Option sich einzuloggen anzubieten.

Die wichtigsten Probleme fassen Dare Obasanjo und jetzt auch Yahoo zusammen:

End-Nutzer kennen OpenID nicht

Wenn man die Möglichkeit anbietet, sich mit seiner OpenID einzuloggen, dann wissen die User oft nicht, was das überhaupt ist. Viele Leute haben bereits eine, weil sie bei Yahoo, Blogger oder einer anderen Webseite angemeldet sind – aber dass sie dadurch auch eine OpenID haben, das ist was ganz neues.

URL als Login-Name

Warum bitte eine URL? Wenn ich mich einlogge, dann bin ich https://me.yahoo.com/a/USERNAME? Das kann sich erstens niemand merken und zweitens ist es absolut ungewohnt. USERNAME@me.yahoo.com wäre doch viel einprägsamer. Mit E-Mail Adressen einloggen kennt jeder. Es muss ja noch nicht mal eine funktionierende Mail-Adresse sein – nur eine Pseudo-Adresse. Das würde schon reichen, um die Technik auch Laien etwas näher zu bringen. Was dann intern “unter der Haube” passiert, um den Login aufzurufen, das ist eine ganz andere Frage.

Zu offen?

Einer der großen Stärken von OpenID ist auch eine große Schwäche: Jeder kann OpenID Provider werden. Oder noch “schlimmer”: Jeder kann SEIN EIGENER OpenID Provider werden. Als Spammer würde ich mir gar nicht die Mühe machen, mich bei Yahoo zu registrieren, um mich dann bei Seiten mit OpenID-Login einloggen zu können. Ich würde einfach einen einfachen OpenID Autentifizierungs-Server irgendwo hin stellen, der alle Anfragen mit okay bestätigt. Und schon kommt man überall rein…

Alles in allem noch einige Hürden, die OpenID nehmen muss, bevor es den großen Durchbruch schaffen kann. Dennoch: Es wird kommen. Irgendwann wird es zu viel mit 1000 Logins und Passwörtern für ebensoviele Seiten und Communities…

Dominik Deobald OpenID Internet, login, OpenID, probleme