ThailandTIP Forum

Rund ums Forum => Technik und Probleme => Thema gestartet von: khon_jaidee am 26. März 2010, 08:29:03

Titel: Was treiben die Spider eigentlich?
Beitrag von: khon_jaidee am 26. März 2010, 08:29:03
Ist mir schon manchmal aufgefallen - heute mal im Bild festgehalten:

(http://i971.photobucket.com/albums/ae194/khon_jaidee/others/spider.jpg)

Weiß jemand, wie die Spider programmiert sind, um solche (doch eigentlich eher "menschliche") Aktionen auszuführen? ???
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: unsichtbar am 26. März 2010, 09:05:25
Spider/Bots haben keinen richtige Browser und auch keinen Drucker um etwas auszudrucken  :)

Aber sie schnüffeln überall rum und wenn ein Spider z.B. auf die Seite http://forum.thailand-tip.com/index.php?action=printpage;topic=5048.0 geht um sich dessen Inhalt anzusehen, wird die Forumssoftware, welche die von dir abgebildete Statistik erstellt, diesen Besuch als "Druckt das Thema..." interpretieren.
Ebenso verhält es sich wenn der Spider die Seite besucht wo Kundenkonten angelegt werden können, in der Statistik steht gleich "Registriert ein neues Benutzerkonto", allerdings wird der Spider nicht das Formular ausfüllen sondern nur "lesen", resp. indexieren.

Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: khon_jaidee am 26. März 2010, 18:25:56
Danke @unsichtbar für diese einleuchtenden Erklärungen. ;}
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: boehm am 26. März 2010, 18:38:48
@unsichtbar

Wie kann man im Netz sein ohne Browser?? Das verstehe ich nicht!

Können die sich überall einschleichen??

Böhm
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: unsichtbar am 26. März 2010, 19:36:44
@boehm

Spider/Bots bestehen aus einem Script welches sich von Link zu Link "hangelt" und dabei den Inhalt jeder Seite indexiert. Ein Browser benötigen die dafür nicht, deshalb "sehen" Bots z.B. auch keine Bilder oder Flash-Movies, sondern nur reinen Text (bis auf Ausnahmen).

Im Prinzip können die tatsächlich alles anschauen, aber es gibt sowas wie einen "Codex" für Bot-Programmierer sich an Einschränkungen zu halten. Ein solcher Bot wird zuerst die robots.txt abrufen, in der die Seiten aufgeführt sind die er nicht besuchen soll. Diese Datei kann von jedem Webseitenbetreiber selber geschrieben werden und so vermeiden das der Inhalt bestimmter Seiten plötzlich in den Google-Suchergebnissen auftaucht  ;)  Allerdings bestimmt der Programmierer des Bots ob er sich daran halten will.

Es gibt auch Bots die nichts anderes tun als nach installierten Programmen zu suchen (z.B. phpmyadmin für Zugriff auf die Datenbank), die als "Eingang" für Hacker missbraucht werden könnten.  Die "scannen" dann jeden möglichen Installationspfad und melden Treffer an einen Server zurück. In dem Fall kann man mit baldigen Besuch rechnen.  ;D
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: boehm am 26. März 2010, 21:32:43
@unsichtbar

Danke für die Infos, du kennst dich gut aus..... ;] ;] ;]

Unglaublich, was es alles gibt!  }}
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: namtok am 17. Februar 2011, 20:54:10
Bei MSN, Google und Yahoo, kann ich noch verstehen, dass die Artikel für ihre Suchmaschinen scannen, aber was macht eigentlich Baidu, eine chinesische Suchmaschine beim massenhaften scannen deutschsprachiger Webseiten  ???



MSN Spider    20:42:31    Schaut das Thema Ist es nun gefährlich für Urlauber? an.
Baidu    20:42:16    Schaut das Thema Krabi: Ende der Jetskis, Liegestühle und Wegelagerer am Strand an.
Baidu    20:41:32    Schaut das Thema Krabi: Ende der Jetskis, Liegestühle und Wegelagerer am Strand an.
Baidu    20:41:23    Schaut das Thema Krabi: Ende der Jetskis, Liegestühle und Wegelagerer am Strand an.
Baidu    20:41:20    Schaut das Thema Krabi: Ende der Jetskis, Liegestühle und Wegelagerer am Strand an.
brandwatch.net    20:40:45    Schaut das Board Partnerschaft, Sex und Liebeskasper an.
MSN Spider    20:38:29    Schaut das Thema Airportlink - Fortsetzung vom alten Forum an.
MSN Spider    20:37:16    Schaut das Thema ich und mein haus an.
brandwatch.net    20:36:17    Schaut das Board Meine Gesundheit an.
MSN Spider    20:34:45    Schaut das Thema "Pattaya Kapputt" .... manchmal schäme ich mich, Farang zu sein... an.
Baidu    20:34:24    Schaut das Thema Krabi: Ende der Jetskis, Liegestühle und Wegelagerer am Strand an.
Baidu    20:34:20    Schaut das Thema Krabi: Ende der Jetskis, Liegestühle und Wegelagerer am Strand an.
Baidu    20:34:12    Schaut das Thema Siam Paradise Bazar an.
Baidu    20:34:04    Schaut das Thema Siam Paradise Bazar an.
Google AdSense spider    20:33:43    Schaut den Board-Index von Forum - TIP Zeitung für Thailand an.
trendiction.com    20:33:11    Schaut das Thema Zugunglück in Sachsen-Anhalt mit 10 Toten an.
MSN Spider    20:31:16    Schaut das Thema Thail.STVO an.
MSN Spider    20:30:21    Schaut das Thema Zustände wie in Birma. . an.
MSN Spider    20:28:39    Schaut das Thema Die sind so! an.
yandex.com Bot    20:28:32    Schaut den Board-Index von Forum - TIP Zeitung für Thailand an.
MSN Spider    20:27:58    Schaut das Thema Krankenhauskosten "pur" an.
MSN Spider    20:27:56    Schaut das Thema Saigon / Vietnam - Stadtansichten @ Blackmicha an.
Baidu    20:27:15    Schaut das Thema Siam Paradise Bazar an.
MSN Spider    20:27:02    Schaut das Thema Samui und Phuket: Mafia "Taxis" und "Tuktuks" vermeiden an.
Baidu    20:26:53    Schaut das Thema Suche an.
Baidu    20:26:49    Schaut das Thema Suche an.
MSN Spider    20:24:48    Schaut das Thema Aktuelle Unwetter- und Tsunamiwarnungen an.
Yahoo spider    20:23:59    Schaut das Thema Weltwirtschaft an.



Schnappschuss aus:

http://forum.thailand-tip.com/index.php?action=who
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: boehm am 17. Februar 2011, 20:57:39
Ja, alles seltsam mit den Spidern.... :o :o
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: khon_jaidee am 17. Februar 2011, 21:15:54
Ich habe mal die beiden Themen zusammengeführt.
Die Antwort auf die Frage, was sie Spinnen hier so treiben, hat unsichtbar schon gegeben. ;}

Die Liste der Spider wurde kürzlich aktualisiert, nunmehr sind die meisten (bis auf sehr wenige Ausnahmen) in ihrer eigenen Rubrik in der Online-Liste aufgeführt.
Titel: Re:Wie geht das?
Beitrag von: dii am 11. April 2012, 20:40:56
 {:}

(http://i6.photobucket.com/albums/y207/tawee/tip/Bild2-1.jpg)
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: khon_jaidee am 12. April 2012, 04:54:58
Spider/Bots bestehen aus einem Script welches sich von Link zu Link "hangelt"

Damit ist im Prinzip schon die Antwort gegeben.
Der Google AdSense Spider hat das Thema Scheidung im Visier gehabt und dort den Link "Antworten" aufgerufen. Natürlich kann er in keinem Thema antworten, doch die Forensoftware wertet das "Klicken" des Spiders auf diesen Link als "Scheiben im Thema".

Es gibt noch kuriosere Aktionen, die die Spider vollführen: vom Drucken eines Themas über Thementeilungen und -zusammenführungen bis hin zum Editieren von Profilen ist nahezu alles dabei. Selbstredend scheitern die meisten dieser Aktionen an fehlenden Berechtigungen, doch das weiß das Spider-Programm ja erst einmal nicht und "klickt" halt auf alles, was es findet.
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: dii am 12. April 2012, 12:17:55
...is eh klar  ;D  hat es bloß so noch nicht gesehen  ;]
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: dart am 04. April 2013, 18:37:33
Kurze Frage an die IT Experten.

Wenn ich vor dem Servercrash mal unter "Wer ist online" nachgeschaut habe, konnte man immer mind. 7-9 Spider der Suchmaschinen finden.
Seit dem Neustart sehe ich da i.d. Regel nur einen Spider von "Google Adsense", was ja auch normal ist wenn man bei dem Google-Bannertausch mitmacht
Brauch es einfach etwas Zeit, bis sich die anderen Suchmaschinen über die Inhalte hermachen, oder muss das irgendwo neu angemeldet werden, schließlich läuft man unter einer neuen Adresse? ???
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: hmh. am 04. April 2013, 19:51:41
Auch wenn ich die allerneuesten offiziellen Zahlen nicht vorliegen habe: es wird mindestens Monate dauern, bis die uns wieder für voll nehmen.  :(

Das ging 2008 auch nicht über Nacht gleich unter die 75000 wichtigsten Internetseiten der Welt, das dauerte über ein Jahr, auf dem Höhepunkt waren wir Mitte 2009 bis Ende 2010.

Derzeit sind wir noch ziemlich weit davon entfernt, und Google schickt uns höchstens mal einen kleinen Daten-Suchtrupp vorbei.  :'(
Was auf dem Weg nach oben besonders gut hilft, sind gute Thailand-Beiträge und Nachrichten von der Hauptseite, die auf anderen, möglichst wichtigen Webseiten verlinkt werden.  }}

Oder möglichst viele Leute, die uns über Suchmaschinen suchen und finden.

Der umgekehrte Weg bringt uns gar nichts: Kochbeiträge, die nichts mit unserem Thema Thailand zu tun haben, und irgendwo im Intenet stehen oder auch Lows immer noch lesenswerte, aber nicht mehr hier geschriebene Geschichten, die hier verlinkt werden, bringen uns gar nichts. Im Gegenteil, damit puschen sich nur deren Webseitenbetreiber, indem sie unsere Lagerfeuerrunde zu sich umlenken, nachdem sie hier erst mal "angefüttert" wurden. Besonders nett und freundlich ist das eigentlich nicht, zumal wenn diese Leute dann auch noch sonst keine interessanten Thailand-Themen bei uns einbringen..  {;
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: namtok am 04. April 2013, 20:06:23
es hat sich in den letzten Tagen immerhin etwas getan.

Gibt man bei google tip forum thailand  ein, so erscheint bei mir nach dem eingetipptem th der Vorschlag  thailand forum tip online  und der führt beim Daraufklicken sofort zum Ziel.
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: dart am 04. April 2013, 20:06:55
Dazu eine Frage, wenn ich hier Nachrichten von irgendwelchen englischsprachigen Seiten einstelle, ist es dann kontraproduktiv wenn ich einen lesbaren Link zur Quelle angebe, wäre "Quelle Bangkok Post" besser?

Es wäre ja einfach auch einen Link (h)ttp:undsoweiter einzustellen. ???
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: hmh. am 04. April 2013, 20:37:43
Ich kann nur für mich sprechen, ich persönlich würde immer einen Link setzen außer in gewisse Jauchegruben, "unfreundliche" Webseiten o. ä. {--

In erster Linie ist das Forum für die Nutzer da, also für uns alle. Genutzt wird ein Forum unter anderem dann gerne, wenn es

1. viele Informationen zum Thema liefert, wenn man
2. diese Informationen schnell findet und wenn es
3. den Benutzer dabei möglichst nicht nervt, zum Beispiel durch zu viel Werbung oder themenfremde Beiträge ...  [-]

Ich wollte im letzten Beitrag nicht die Links auf andere Webseiten grundsätzlich kritisieren, vielleicht war das zu mißverständlich formuliert. Ich habe ja selbst seinerzeit mit den Links zu Lows Geschichten aus Hinterindien angefangen.
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: dart am 04. April 2013, 20:51:57
Das gehe ich völlig konform, Informationen sollten grundsätzlich frei verfügbar und möglichst schnell in einer Gemeinschaft "Forum" ausgetauscht werden.
Mein Gedankengang ging da auch eher in die theoretische Richtung, ob man nicht kurzfristig etwas optimieren kann, um die Suchmaschienen erstmal nicht auf andere Seiten zu leiten, die dann vermutlich höher bewertet werden.

Egal wie, packen wir es an, auch wenn es etwas dauert. [-]

Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: somtamplara am 04. April 2013, 21:41:24
Hab mal ganz frech die "Google Webmaster Tools" aufgerufen und "thailand-tip.com" "registriert".
Schaden wird es gewiss nicht (vielleicht hat ja auch schon jemand was aehnliches gemacht?).

Mehr kann ich nicht machen (z.B. Ueberpruefung auf "Probleme"), da ich ja nicht der Inhaber der Domain bin.
Dazu verlangt Google eine Bestaetigung.
https://www.google.com/webmasters/tools/home?hl=de (https://www.google.com/webmasters/tools/home?hl=de)
Also was fuer unseren Admin (falls nicht schon geschehen).
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: dart am 04. April 2013, 22:06:38

Was auf dem Weg nach oben besonders gut hilft... Nachrichten von der Hauptseite, die auf anderen, möglichst wichtigen Webseiten verlinkt werden.  }}

Möglichst wichtige Seiten, sind ja imho erstmal alle Seiten die ein deutlich höheres Google-Ranking mit Thailandbezug derzeit haben, wie soll man da ein Thema, aus dem Tip verlinken?
Die einschlägigen Thaiseiten/Foren werden zurecht keinen Lust auf Spam haben, das akzeptieren die möglicherweise, aus alter Freundschaft, 1-2 mal, dann ist aber auch Sense. ???
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: crazyandy am 06. September 2013, 22:08:55
 ??? ??? wo die sich alles rumtreiben :   Google AdSense spider  16:53:48 Registriert ein neues Benutzerkonto im Forum  {-- {-- wie im echten leben aber auch
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: dart am 11. September 2013, 16:40:11
Wenn man gelegentlich in die "Anzeige der neuesten Beiträge" schaut, wird tatsächlich von der Forensoftware gelegentlich angezeigt das ein Google AdSense Spider eine Thema druckt, oder in einem anderen Thema etwas schreibt.

Was bedeutet das denn tatsächlich, wie kann man das in den Terminus einer Suchmaschine übersetzen? ???
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: namtok am 11. September 2013, 16:49:49
Das wurde schon mal beantwortet, der Spider "probiert" halt alle "Knöpfe" aus, die er auf einer Seite vorfindet  und hat hier auf "schreiben" oder "Thema drucken"geklickt.

Damit ist im Prinzip schon die Antwort gegeben.
Der Google AdSense Spider hat das Thema Scheidung im Visier gehabt und dort den Link "Antworten" aufgerufen. Natürlich kann er in keinem Thema antworten, doch die Forensoftware wertet das "Klicken" des Spiders auf diesen Link als "Scheiben im Thema".

Es gibt noch kuriosere Aktionen, die die Spider vollführen: vom Drucken eines Themas über Thementeilungen und -zusammenführungen bis hin zum Editieren von Profilen ist nahezu alles dabei. Selbstredend scheitern die meisten dieser Aktionen an fehlenden Berechtigungen, doch das weiß das Spider-Programm ja erst einmal nicht und "klickt" halt auf alles, was es findet.
Titel: Re: Majestätsbeleidigung
Beitrag von: Benno am 23. August 2017, 18:12:22
@namtok, - warum versteckst du dich eigentlich immer im Tip-Forum wenn du Online bist ?

(https://abload.de/img/nn59s4s.png) (http://abload.de/image.php?img=nn59s4s.png)

Hast du etwa Angst vor dem Lèse majesté in Thailand aka Thai Criminal Code section 112 ?

Selbst ein Internet-Laie wie ich, sieht auf Anhieb welcher Tip-Moderator dahinter steckt.
Titel: Re: Re: Majestätsbeleidigung
Beitrag von: namtok am 23. August 2017, 18:19:18
Wie kommst du auf den Trichter ?  --C 

aktuell:

Zitat
namtok, Pladib, Benno und 4 Gäste betrachten dieses Thema.

Ich habe es mir allerdings vorhin zum Mittagessen genehmigt mal über 20 Minuten nicht "online" zu sein, weswegen ich auch nicht in der Liste der aktiven User aufgetaucht bin, wer der "Versteckte" ist, keine Ahnung, ich bin hier nicht Admin...

Titel: Re: Re: Majestätsbeleidigung
Beitrag von: Benno am 23. August 2017, 18:34:44

Na gut, du als Moderator nebst dem Administrator solltest es eigentlich wissen wer hier Versteck spielt.

Koennte es vielleicht ein bisher unendeckter Hacker sein der versucht das Tip-Forum heimlich zu destroyieren ?
Titel: Re: Was treiben die Spider eigentlich?
Beitrag von: nompang am 23. August 2017, 21:53:26
Lies doch das Thema, da ist das Beschrieben >: