DMOZ als Basis für einen intelligenten Crawler

Hier mal eine, bzw. einige Fragen an die DMOZ Insider unter Euch.

1. Hat schon mal jemand versucht die Inhalte einzelner Kategorien zu Spidern und aus den Ergebnissen typische Muster zu generieren, welche dann einer Kategorie zugeordnet werden. Diese Muster könnten der kollektiven Intelligenz aller Editoren entsprechen. Ein weiterer Spider könnte dann das Web durchsuchen und die Seiten automatisch in den Kategorienbaum einordnen. Autonomy bietet vielleicht die Basistechnology dafür an. Wer weiß was? ;-)

Auch wenn es Dir nicht endgültig weiter hilft: Ich weiß, daß etwas in der Richtung mal probiert wurde. Leider habe ich keine Ahnung mehr welche Website das war und wie das schlussendlich ausgegangen ist, sorry.

In http://dmoz.org/Computers/Internet/Searching/Directories/Open_Directory_Project/Research_Papers/
könnte man vielleicht fündig werden...

http://www.seobythesea.com/?p=419 enthält eine interessante Zusammenstellung.