Wie funktioniert unser Crawler?

Um Ihre Webseite untersuchen zu können, müssen wir analysieren wie sie aussieht, welche Cookies verwendet werden und welche externen Module geladen werden.

Dies machen wir in drei Stufen:

Dies ist die einfachste Methode. Wir laden den Quelltext Ihrer Seite (bzw der drei konfigurierten Domains/Unterseiten) und untersuchen ihn auf eingebettete Tags.

In der zweiten Stufe verwenden wir ebenfalls nur die drei konfigurierten Domains, untersuchen diese allerdings dynamisch in einem aktuellen Browser. Hier können wir ermitteln, welche Module dynamisch nachgeladen werden und welche Cookies gesetzt werden.

Traditionelle Crawler surfen durch sämtliche Links die auf Ihrer Webseite verfügbar sind und arbeiten sich so durch große Teile des Webauftrittes. Diese Methode hat allerdings einige Nachteile:

• Passwortgeschützte oder nicht verlinkte Seiten (z.B. Suchresultate) werden nicht erfasst
• Ihre Seite wird unnötig blockiert, da sehr viele Zugriffe nötig sind. Gerade dynamische Seiten können dadurch bis zum Stillstand lahmgelegt werden
• Das Crawlen der gesamten Seite kann bei vielen Unterseiten sehr lange dauern - bis zu einigen Wochen.
• Wir würden sehr viele Ressourcen und Netzwerkbandbreite benötigen, was WebCare teuer machen würde.

Wir haben deshalb eine neue Methode entwickelt, um Ihre gesamte Seite zu erfassen: Swarm Crawling (auch als Crowd Crawling bezeichnet).

Dabei wird die Seite von Ihren Besuchern analysiert (durch den eingebundenen Cookie Banner) und die Ergebnisse (natürlich nur nach Einwilligung des Benutzers) anonymisiert zu uns gesendet.

Dadurch können wir sämtlich Nachteile des herkömmlichen Crawlens eliminieren und die gesamte Seite erfassen - ohne zusätzliche Ressourcen oder Belastung Ihres Webauftritts.

Kein anderer Anbieter bietet solch eine Funktionalität.