Warning: file_get_contents(http://www.yigg.de/GetYiggs?exturl=http://www.leadbait.de/08.10.2007-google-news-bot-auf-irrwegen-40.html) [function.file-get-contents]: failed to open stream: HTTP request failed! HTTP/1.1 404 Not Found in /home/www/web327/html/leadbait.de/wp-content/themes/notso_freshd/single.php on line 20

Im Großen und Ganzen sind die Google Webmaster Tools ja eine durchaus feine Sache. Ein paar mehr oder wenige interessante Statistiken geben Aufschluss über das Befinden der eigenen Website und Googles Sicht auf diese. Unter anderem bieten die Webmaster Tools auch Informationen über das Verhalten des Google Bots und beimm Crawling auftretende Probleme. Das ganze wird dann noch schön aufgeschlüsselt nach Web-Crawl, Mobile-Crawl und, sofern die Domain in Google News gelistet ist, News-Crawl.

Letzterer zeigt seit kurzem bei einer meiner Domains eine Menge Fehler beim Crawling an – Grund genug der Sache mal auf den Grund zu gehen. Dabei stellte sich recht schnell raus, dass es sich nicht, wie im ersten Moment vermutet, um ein Problem mit der bei Google News nötigen eindeutigen Zahlenfolge in der URL handelt. Vielmehr crawlt Google fleißig die Threads des ebenfalls zum Projekt gehörenden Forums und nimmt diese in Google News auf.

Die teils doch journalistisch eher minderwertigen Forenergüsse machen sich natürlich mangels vernünftiger Titel und nicht immer perfekter Inhalte weniger gut in den News…

Leider ist mir noch nicht so ganz klar, warum der Google-News-Bot sich dermaßen verläuft – schließlich gibt man ja nicht umsonst bei der Anmeldung eine eindeutige News-URL an…