Wat doet de Website Crawler?
De Website Crawler bezoekt de paginas van uw website, extraheert de relevante tekstinhoud en slaat die op in de kennisbank van uw bot. Uw AI-chatbot heeft binnen minuten kennis van alles op uw website — zonder handmatig uploaden.
Hoe werkt de crawler?
- URL invoeren: Geef het startadres op en optioneel URL-patronen om in- of uit te sluiten.
- Diepte instellen: Bepaal hoeveel lagen diep de crawler mag gaan.
- Crawl starten: De crawler verwijdert navigatie en footer, en behoudt de hoofdinhoud.
- Indexering: De tekst wordt automatisch opgesplitst in chunks en geindexeerd in de vectordatabase.
- Hercrawl plannen: Stel een automatisch schema in (bijv. wekelijks) zodat uw kennisbank altijd actueel blijft.
Wat wordt wel en niet gecrawld?
De crawler respecteert robots.txt. Paginas met noindex of disallow worden overgeslagen. Afbeeldingen, videos en JavaScript-rendered content worden niet geextraheerd. Bij single-page applications is handmatig uploaden voorlopig de betere optie.
Privacy en ethisch gebruik
De crawler mag alleen worden ingezet op websites waarvoor u eigenaar of gemachtigde bent. Het crawlen van websites van derden is niet toegestaan.