Der Website-Crawler von AI Assistent scannt Ihre gesamte Website und verarbeitet den Inhalt automatisch zu nutzbarem Wissen für die KI. Sie müssen keine Inhalte manuell eintippen oder kopieren: Der Crawler findet alle Seiten selbst, liest den Text, strukturiert die Informationen und stellt sie dem Chatbot sofort zur Verfügung.
Der Crawler arbeitet von einer von Ihnen angegebenen Start-URL aus und folgt automatisch allen internen Links bis zu einer maximalen Tiefe, die Sie selbst festlegen. Sie können bestimmte URL-Muster ausschließen, zum Beispiel Admin-Bereiche oder Warenkorbseiten.
Nach dem ersten Crawl überprüft das System regelmäßig, ob neue oder geänderte Seiten vorhanden sind. Fügen Sie Ihrer Website ein neues Produkt hinzu? Der Crawler erkennt die Änderung und aktualisiert die Wissensbasis der KI, ohne dass Sie etwas tun müssen.
Der Crawler kombiniert sich nahtlos mit anderen Wissensquellen. Sie können indexierte Website-Inhalte mit manuell geschriebenen Wissensartikeln, hochgeladenen PDFs und Produktdokumentation ergänzen.