¿Qué hace el Rastreador web?
El Rastreador web visita las páginas de su sitio web, extrae el contenido de texto y lo almacena en la base de conocimientos de su bot — todo en minutos, sin ninguna carga manual.
Cómo funciona
- Introduzca la URL de inicio y los patrones opcionales de inclusión/exclusión de URL.
- Establezca la profundidad de rastreo.
- Inicie el rastreo — los elementos de navegación y pie de página se eliminan y el contenido principal se conserva.
- El texto se divide automáticamente en fragmentos e se indexa en la base de datos vectorial.
- Programe rastreos automáticos periódicos (semanales, mensuales) para mantener actualizada la base de conocimientos.
Limitaciones y uso ético
Se respeta el archivo robots.txt; las páginas con noindex/disallow se omiten. No se extraen imágenes, vídeos ni contenido renderizado por JavaScript. El rastreador solo puede utilizarse en sitios web de su propiedad o para los que esté autorizado a rastrear.