Durante décadas, buscar significaba hacer coincidir palabras. Escribías un término y el motor devolvía páginas que contenían exactamente ese término. La recuperación basada en AI funciona de manera diferente. En lugar de preguntar «¿esta página contiene estas palabras?», pregunta «¿este pasaje significa lo mismo que la pregunta?». Lo hace convirtiendo el texto en números, llamados embeddings, que codifican el significado, y luego comparando qué tan cerca están esos números en el espacio. Comprender este cambio es la base para ser encontrado por los sistemas de AI, porque el contenido que dice lo correcto con palabras diferentes ahora puede ganar, y el contenido repleto de palabras clave pero con poco significado puede perder.
La coincidencia de palabras clave busca palabras; los embeddings buscan el significado
La búsqueda tradicional por palabras clave, a menudo impulsada por un algoritmo llamado BM25, califica una página según la frecuencia con la que aparecen los términos exactos de la consulta, ponderada por la rareza de esos términos. Su debilidad es la brecha léxica: si un usuario pregunta por un 'automóvil' y tu página solo dice 'coche', un sistema de palabras clave puras puede perder la coincidencia por completo. La recuperación basada en embeddings se diseñó para cerrar esa brecha comparando el significado en lugar de las palabras superficiales, de modo que los sinónimos y las paráfrasis puedan coincidir incluso sin vocabulario compartido. Este es un comportamiento documentado de los modelos de recuperación densa, no una especulación.
Un embedding es una lista de números que sitúa el texto en un mapa de significados
Un modelo de embedding, normalmente un transformer como un codificador de estilo BERT, convierte un fragmento de texto en una lista de números de longitud fija llamada vector denso. El texto con un significado similar produce vectores similares, por lo que los números actúan como coordenadas en un mapa gigante donde se agrupan las ideas relacionadas. Las dimensiones exactas no son legibles por humanos y ningún número individual se asigna a un único concepto; el significado se distribuye por todo el vector. Por eso, dos frases redactadas de forma diferente sobre el mismo tema acaban cerca la una de la otra, aunque no compartan palabras clave.
La similitud se mide por la distancia, normalmente mediante la similitud de coseno
Para responder a una pregunta, el sistema convierte la consulta en un vector (embedding) y luego busca los vectores de contenido almacenados que estén más cerca de él. La cercanía se mide habitualmente con la similitud de coseno, que compara el ángulo entre dos vectores en lugar de su longitud, o con un producto escalar relacionado. Dado que comparar contra millones de vectores uno a uno es lento, los sistemas de producción utilizan la búsqueda Approximate Nearest Neighbor (ANN), que encuentra vectores muy cercanos de forma mucho más rápida que un escaneo exacto. El compromiso es una pérdida de precisión pequeña y generalmente aceptable a cambio de una gran ganancia de velocidad.
La coincidencia ocurre a nivel de fragmento (chunk), no en toda la página
Los sistemas de recuperación de AI generalmente no procesan una página completa como una sola unidad de embedding. Primero dividen los documentos en fragmentos (chunks) más pequeños, que suelen rondar los cientos de tokens, a menudo con cierta superposición entre fragmentos para que el significado no se corte en un límite. Cada fragmento obtiene su propio embedding, y en la recuperación los fragmentos compiten entre sí. Esto significa que un único pasaje claro e independiente puede ser seleccionado para una respuesta de AI, incluso si el resto de la página no tiene relación, razón por la cual las secciones bien estructuradas y enfocadas importan más que las largas paredes de texto indiferenciado.
La mayoría de los sistemas reales combinan ambos métodos, no solo los embeddings
Los embeddings son sólidos en cuanto al significado, pero más débiles en precisión exacta, como al coincidir con un código de producto específico, un número de modelo o un nombre propio. Por esa razón, la mayoría de los sistemas de recuperación en producción utilizan la búsqueda híbrida, ejecutando la búsqueda por palabras clave (BM25) y la búsqueda de vectores densos de forma conjunta, y fusionando las dos listas clasificadas, frecuentemente con un método llamado Reciprocal Rank Fusion que combina los resultados por rango en lugar de por puntuaciones incompatibles. Muchas canalizaciones (pipelines) añaden luego un paso de reclasificación (reranking) donde un modelo más costoso vuelve a calificar a los mejores candidatos. La conclusión práctica es que los términos exactos siguen importando junto con el significado claro; no se trata de elegir uno u otro.
- La recuperación de AI coincide con el significado, no solo con palabras exactas, por lo que el contenido que responde a una pregunta con claridad se puede encontrar incluso cuando utiliza un vocabulario diferente al del buscador.
- Un embedding es un vector denso, una lista de números, donde significados similares producen vectores cercanos; la cercanía se mide típicamente con similitud de coseno y se acelera con la búsqueda Approximate Nearest Neighbor.
- La coincidencia suele ocurrir a nivel de fragmento (chunk), por lo que las secciones enfocadas e independientes de unos cientos de palabras son más fáciles de recuperar y citar para los sistemas de IA que un texto largo e indiferenciado.
- La mayoría de los sistemas de producción utilizan búsqueda híbrida (palabras clave más embeddings) y, a menudo, un paso de reclasificación (reranking), por lo que los términos exactos como nombres y números de modelo siguen importando junto con un significado semántico claro.
- Implicación práctica para la visibilidad: escribe con naturalidad sobre el concepto real, estructura el contenido en fragmentos claros y mantén presentes los identificadores exactos en lugar de depender de la repetición de palabras clave.