Was macht der Website-Crawler?
Der Crawler besucht Ihre Website-Seiten, extrahiert Textinhalte und speichert sie in der Wissensbasis Ihres Bots — alles innerhalb von Minuten ohne manuelle Uploads.
Funktionsweise
- Start-URL und URL-Filter eingeben.
- Crawl-Tiefe festlegen.
- Crawl starten — Navigation entfernt, Hauptinhalt behalten.
- Text wird in Chunks aufgeteilt und indexiert.
- Automatische Re-Crawls planen.
Robots.txt wird respektiert. Der Crawler darf nur auf eigenen oder autorisierten Websites eingesetzt werden.