Que fait le crawler de site web ?
Le crawler visite vos pages, extrait le texte et le stocke dans la base de connaissances de votre bot — en quelques minutes sans importation manuelle.
Fonctionnement
- Saisir l'URL de départ et les filtres.
- Définir la profondeur de crawl.
- Lancer le crawl — navigation supprimée, contenu principal conservé.
- Le texte est découpé et indexé automatiquement.
- Planifier des re-crawls automatiques.
Robots.txt est respecté. Le crawler ne peut être utilisé que sur des sites autorisés.