Rund ums Forum > Technik und Probleme

Was treiben die Spider eigentlich?

(1/6) > >>

khon_jaidee:
Ist mir schon manchmal aufgefallen - heute mal im Bild festgehalten:



Weiß jemand, wie die Spider programmiert sind, um solche (doch eigentlich eher "menschliche") Aktionen auszuführen? ???

unsichtbar:
Spider/Bots haben keinen richtige Browser und auch keinen Drucker um etwas auszudrucken  :)

Aber sie schnüffeln überall rum und wenn ein Spider z.B. auf die Seite http://forum.thailand-tip.com/index.php?action=printpage;topic=5048.0 geht um sich dessen Inhalt anzusehen, wird die Forumssoftware, welche die von dir abgebildete Statistik erstellt, diesen Besuch als "Druckt das Thema..." interpretieren.
Ebenso verhält es sich wenn der Spider die Seite besucht wo Kundenkonten angelegt werden können, in der Statistik steht gleich "Registriert ein neues Benutzerkonto", allerdings wird der Spider nicht das Formular ausfüllen sondern nur "lesen", resp. indexieren.

khon_jaidee:
Danke @unsichtbar für diese einleuchtenden Erklärungen. ;}

boehm:
@unsichtbar

Wie kann man im Netz sein ohne Browser?? Das verstehe ich nicht!

Können die sich überall einschleichen??

Böhm

unsichtbar:
@boehm

Spider/Bots bestehen aus einem Script welches sich von Link zu Link "hangelt" und dabei den Inhalt jeder Seite indexiert. Ein Browser benötigen die dafür nicht, deshalb "sehen" Bots z.B. auch keine Bilder oder Flash-Movies, sondern nur reinen Text (bis auf Ausnahmen).

Im Prinzip können die tatsächlich alles anschauen, aber es gibt sowas wie einen "Codex" für Bot-Programmierer sich an Einschränkungen zu halten. Ein solcher Bot wird zuerst die robots.txt abrufen, in der die Seiten aufgeführt sind die er nicht besuchen soll. Diese Datei kann von jedem Webseitenbetreiber selber geschrieben werden und so vermeiden das der Inhalt bestimmter Seiten plötzlich in den Google-Suchergebnissen auftaucht  ;)  Allerdings bestimmt der Programmierer des Bots ob er sich daran halten will.

Es gibt auch Bots die nichts anderes tun als nach installierten Programmen zu suchen (z.B. phpmyadmin für Zugriff auf die Datenbank), die als "Eingang" für Hacker missbraucht werden könnten.  Die "scannen" dann jeden möglichen Installationspfad und melden Treffer an einen Server zurück. In dem Fall kann man mit baldigen Besuch rechnen.  ;D

Navigation

[0] Themen-Index

[#] Nächste Seite