Chunking con Docling¶
El chunking es el proceso de dividir textos largos en fragmentos más pequeños y manejables antes de pasarlos a un modelo. Es un paso importante porque los modelos tienen una longitud máxima de contexto, y el chunking se asegura que la información relevante quepa en ese límite, preservando la coherencia, mejorando la recuperación y evitando la pérdida de contenido importante durante el procesamiento.
En este laboratorio exploraremos la importancia del chunking y las capacidades que ofrece Docling para crear fragmentos de texto adecuados a la estructura y semántica del documento.
Lee más sobre las distintas opciones de chunking en la documentación de Docling.
Prerrequisitos¶
Este laboratorio es un notebook de Jupyter. Sigue las instrucciones del trabajo previo para ejecutarlo.
Lab¶
Para ejecutar el notebook desde la línea de comandos en Jupyter usando el entorno virtual activo del trabajo previo, ejecuta:
jupyter notebook notebooks/Lab2_Chunking.ipynb
La ruta del notebook anterior es relativa a la carpeta docling-workshop del repositorio de git clonado durante la sección de preparación.