Ir al contenido
Immanu
Secciones
Ver las cifrasCifras ES · EN

Nuevo modelo algorítmico matemático · formalizado · desarrollado por Immanu

Un nuevo modelo algorítmico matemático que optimiza considerablemente la infraestructura de la IA.

  • GPU
  • Disco
  • Tokens
  • Procesamiento
  • Energía

Sin cambiar el hardware. Complementa las técnicas de optimización que ya existen: potencia lo que ya existe.

Hoy, cada vez que un dato cambia, la infraestructura de la IA rehace trabajo que ya hizo: la GPU recalcula, el buscador vuelve a buscar y el disco reescribe. Nuestro modelo reemplaza la forma de decidir qué tocar cuando algo cambia. La misma GPU, el mismo disco y el mismo procesador hacen mucho menos trabajo, con la misma respuesta, exacta; y menos trabajo es capacidad y energía que quedan libres. Se instala en la infraestructura que ya existe, sin cambiar el modelo de IA.

Todas las cifras, explicadasUn recorrido rápido · 41 diapositivasVer las cifras

Y en energía: si cada GPU del mundo lo tuviera, quedarían libres de 435 mil a 2,37 millones de GPU equivalentes, y a lo más de 2,81 a 20,70 TWh de electricidad al año.

Ver el capítulo de la energía

Cómo leer las cifras

Cada cifra medida es un piso: las condiciones favorecen al rival. Cada una dice contra quién se midió, en qué condición y en qué unidad.

Cada cifra lleva sus rótulos. Toque o pase el cursor sobre cualquiera para ver qué significa.

De dónde sale la cifra

Lo contamos en una prueba, contra el rival en su forma estándar.

Calculado a partir de cifras medidas, con la fuente o el supuesto de cada factor a la vista; no se midió en un centro de datos.

Agrega un supuesto sobre usos que no medimos contra un rival; vale con la condición que se dice al lado, va aparte y nunca se suma.

En qué condición

Los datos cambian durante la prueba: entran, se corrigen, vencen o se borran, como en el uso real.

Los datos no cambian durante la prueba: es la mejor condición del rival.

Qué se compara

Compara solo la forma de decidir, en el mismo programa.

Compara el sistema entero contra el sistema entero, con los mismos cambios.

Muestra qué hace el rival cuando el dato cambia, sin inventar un cociente.

¿Qué problema resuelve?

Cuando algo cambia, los sistemas rehacen trabajo que ya hicieron.

Hoy, cada vez que algo cambia, una regla fija decide qué rehacer. Cada regla tiene sentido por sí sola; juntas, hacen que la GPU, el buscador, el disco y el procesador repitan trabajo que ya hicieron para llegar a la misma respuesta. Son las reglas de las herramientas que la industria ya usa.

GPU
Un dato cambia
Un agente corrige un dato a mitad de un documento largo.
La regla de hoy
La caché de prefijos del servidor de IA.
Lo que rehace
Vuelve a calcular todo lo que sigue.
Búsqueda
Un dato cambia
Un documento vence o cambia de permiso.
La regla de hoy
Volver a consultar todo.
Lo que rehace
La búsqueda entera, otra vez.
Disco
Un dato cambia
Un registro cambia.
La regla de hoy
El registro de escritura de la base.
Lo que rehace
Escribe cada página cambiada dos veces.
Procesador
Un dato cambia
Llega una versión nueva de un catálogo.
La regla de hoy
Rehacer el cruce.
Lo que rehace
El cruce completo, otra vez.
Ver más · especificacionesOcultar especificacionesLo que ya cobra el mercado por rehacer · lo que usa la industria · el mercado, según terceros
12,5×
lo que cuesta reescribir la memoria de la IA, contra releerla

Precio de lista de Anthropic. Rehacer ya tiene precio.

Lo que ya usa la industria, según cada fuente
  • vLLM se ofrece en AWS, Google Cloud y Azure.
  • SGLang, según su sitio, corre en más de 400 mil GPU.
  • pgvector se ofrece en Amazon, Google y Microsoft.
  • SQLite, según su sitio, está en más de un billón de bases.
El mercado, según terceros
  • Hardware para servir modelos de IA: de USD 106,15 mil millones en 2025 a USD 254,98 mil millones en 2030, según MarketsandMarkets (feb-2025).
  • Bases de datos vectoriales: de USD 2.652 millones en 2025 a USD 8.946 millones en 2030, según MarketsandMarkets (4-dic-2025).

Nuestro modelo reemplaza esa regla. Esto es lo que es, y lo que no es.

¿Qué es, exactamente? ¿Es una base de datos vectorial? ¿Un modelo de IA?

Una capa que decide. No es una base de datos ni un modelo de IA.

Cuando un dato cambia, algo decide qué hay que tocar: qué recalcular, qué volver a consultar, qué reescribir o qué reconstruir. Hoy decide una regla fija, y el recurso hace de más. Nuestro modelo reemplaza esa regla.

No es un modelo de IA. No lo entrena ni toca sus pesos.
No es una base de datos vectorial. El buscador y su índice quedan intactos.
No es hardware. Trabaja sobre la misma GPU, el mismo procesador y los mismos discos.

Exacto: entrega la misma respuesta que recalcular todo.

Demostrable: entrega su respuesta con su comprobante (la evidencia que acompaña a cada respuesta).

Lo que el cliente ya tiene queda como está. Lo que cambia es cuánto trabaja: esto es lo que medimos.

¿Cuánto trabajo ahorra, y contra qué rival?

La misma infraestructura hace mucho menos trabajo para entregar la misma respuesta.

GPU71×menos recálculo en la GPU cuando se corrige un datocontra la caché de prefijos de vLLM y SGLang, medida en llama.cpp · documento de 128 mil tokens · las mismas respuestasEspecificaciones
Búsquedamás de 100×menos trabajo en la búsqueda que alimenta a la IAcontra pgvector exacto · 30.000 documentos vivos, que entran y salen · la misma respuesta exactaEspecificaciones
Disco36,4×menos escritura en el disconuestro sistema, haciendo el trabajo de SQLite y de su aplicación · base de 1 GB · la misma respuestaEspecificaciones
Procesador6,2×antes al cruzar un catálogo de 1.812 millones de fuentes del cielocontra el método oficial de cruce del Archivo Gaia (ESA), implementado desde su método publicado · estructura ya armada en los dos lados · la misma respuestaEspecificaciones
Ver más · especificacionesOcultar especificacionesLa GPU · la búsqueda · el texto que recibe la IA · el disco

¿Sirve en la IA? ¿Le ganan a la caché de los servidores de IA? ¿Afecta la calidad del modelo?

71 veces menos recálculo en la GPU. Más de 100 veces menos trabajo en la búsqueda. Las mismas respuestas.

La memoria de la IA, en la GPU

Un modelo de lenguaje guarda lo que ya leyó en su caché KV (la memoria donde guarda lo que ya leyó), para no calcularlo de nuevo. Cuando un agente corrige un dato a mitad de un documento largo, la regla estándar en producción, la caché de prefijos de vLLM y SGLang, recalcula todo lo que sigue. La medimos en llama.cpp, el servidor abierto detrás de Ollama, y la validamos contra su servidor real. Con 128 mil tokens y un dato corregido a la mitad, nuestro modelo recalcula 71 veces menos.

Las mismas respuestas

  • 9 aciertos por semilla, los mismos que recalcular todo.
  • El dato corregido, bien en 3 de 3.
  • Desviación 16 veces menor que guardar la memoria de la IA en 8 bits.
Tokens que se vuelven a calcular tras corregir un dato a mitad del documento
contra la caché de prefijos · la misma prueba, a dos largos de documento
Documento de 32 mil tokens
Documento de 32 mil tokensCaché de prefijos (vLLM, SGLang): 18× · Nuestro modelo: 10255075Caché de prefijos (vLLM, SGLang)18×Nuestro modelo1tokens recalculados, en veces lo de nuestro modelo (nuestro modelo = 1)
Documento de 32 mil tokensCaché de prefijos (vLLM, SGLang): 18× · Nuestro modelo: 10255075Caché de prefijos (vLLM, SGLang)18×Nuestro modelo1veces lo de nuestro modelo
Documento de 128 mil tokens
Documento de 128 mil tokensCaché de prefijos (vLLM, SGLang): 71× · Nuestro modelo: 10255075Caché de prefijos (vLLM, SGLang)71×Nuestro modelo1tokens recalculados, en veces lo de nuestro modelo (nuestro modelo = 1)
Documento de 128 mil tokensCaché de prefijos (vLLM, SGLang): 71× · Nuestro modelo: 10255075Caché de prefijos (vLLM, SGLang)71×Nuestro modelo1veces lo de nuestro modelo

La opción de reuso del propio servidor (llama-server --cache-reuse), con un cambio a mitad de un documento de 32 mil tokens, no aprovechó nada: rehízo lo mismo que la caché de prefijos.

tinta = nuestro modelo · gris = rival

Ver la tabla de esta gráfica
documentorivaltokens recalculados (nuestro modelo = 1)
Documento de 32 mil tokensCaché de prefijos (vLLM, SGLang)18×
Documento de 128 mil tokensCaché de prefijos (vLLM, SGLang)71×
El segundo rival

CacheBlend (U. de Chicago) iguala la calidad, pero recalcula más de 3 veces lo nuestro (piso).

Medimos su forma de decidir a favor del rival: su pasada de selección no entra en su cuenta.

La búsqueda que alimenta a la IA

Antes de responder, la IA busca documentos filtrados por cliente, permiso y fecha (RAG: recuperar documentos antes de que la IA responda), mientras esos documentos se corrigen, se borran y vencen. Medimos con 30.000 documentos vivos, que entran y salen, y las mismas mil preguntas repitiéndose, como en las alertas o en la memoria de un agente. El rival es la aplicación sobre pgvector exacto, en su receta: la forma de pgvector que da la misma respuesta. Nuestro modelo trabaja encima del buscador, que queda intacto.

Trabajo para dar la misma respuesta exacta, en tres condiciones de filtro
contra pgvector exacto, en su receta
Trabajo para dar la misma respuesta exacta, en tres condiciones de filtropgvector exacto · sin filtro: 128,5× · pgvector exacto · por cliente: 127,4× · pgvector exacto · filtro estrecho: 116,8× · Nuestro modelo: 1050100100×pgvector exacto · sin filtro128,5×pgvector exacto · por cliente127,4×pgvector exacto · filtro estrecho116,8×Nuestro modelo1trabajo, en veces el de nuestro modelo (nuestro modelo = 1) · la línea marca 100×
Trabajo para dar la misma respuesta exacta, en tres condiciones de filtropgvector exacto · sin filtro: 128,5× · pgvector exacto · por cliente: 127,4× · pgvector exacto · filtro estrecho: 116,8× · Nuestro modelo: 1050100100×pgvector exacto · sin filtro128,5×pgvector exacto · por cliente127,4×pgvector exacto · filtro estrecho116,8×Nuestro modelo1veces el trabajo de nuestro modelo

tinta = nuestro modelo · gris = rival

Ver la tabla de esta gráfica
condición de filtrotrabajo de pgvector exacto (nuestro modelo = 1)
pgvector exacto · sin filtro128,5×
pgvector exacto · por cliente127,4×
pgvector exacto · filtro estrecho116,8×
Nuestro modelo1
Si además los documentos vencen: el rival, en sus dos modos
Si además los documentos vencen: el rival, en sus dos modosFiltra lo vencido al consultar: 154× · Lo borra con un barrido periódico: 82× · Nuestro modelo: 1050100150Filtra lo vencido al consultar154×Lo borra con un barrido periódico82×Nuestro modelo1veces el trabajo de nuestro modelo
Si además los documentos vencen: el rival, en sus dos modosFiltra lo vencido al consultar: 154× · Lo borra con un barrido periódico: 82× · Nuestro modelo: 1050100150Filtra lo vencido al consultar154×Lo borra con un barrido periódico82×Nuestro modelo1veces el trabajo de nuestro modelo

Sin filtro; por cliente, 152× y 81×. Barrido periódico: borrar lo vencido cada cierto tiempo.

Ver la tabla de esta gráfica
modo del rivaltrabajo (nuestro modelo = 1)
Filtra lo vencido al consultar154×
Lo borra con un barrido periódico82×
Nuestro modelo1
Escala chica, hasta 2.552 documentos
0vencidos guardados. El rival que no reconstruye guarda 778.
Ningunomantenimiento. El de pgvector, emulado con sus umbrales, corrió más de 160 veces.
En sus modos rápidos, qué parte de las respuestas correctas encuentra cada uno
30.000 documentos · 28-sep-2026
En sus modos rápidos, qué parte de las respuestas correctas encuentra cada unoNuestro modelo: todas · FAISS (Meta), aun sabiendo cuántas respuestas hay · según el filtro: de 53,3 % a 57,4 % · Qdrant forzado a su índice rápido · filtro estrecho: 41,1 % · pgvector con su índice y 10 resultados · según el filtro: de 10,5 % a 69,4 %0 %25 %50 %75 %100 %Nuestro modelotodasFAISS (Meta), aun sabiendo cuántas respuestas hay · según el filtrode 53,3 % a 57,4 %Qdrant forzado a su índice rápido · filtro estrecho41,1 %pgvector con su índice y 10 resultados · según el filtrode 10,5 % a 69,4 %parte de las respuestas correctas que entrega
En sus modos rápidos, qué parte de las respuestas correctas encuentra cada unoNuestro modelo: todas · FAISS (Meta), aun sabiendo cuántas respuestas hay · según el filtro: de 53,3 % a 57,4 % · Qdrant forzado a su índice rápido · filtro estrecho: 41,1 % · pgvector con su índice y 10 resultados · según el filtro: de 10,5 % a 69,4 %0 %25 %50 %75 %100 %Nuestro modelotodasFAISS (Meta), aun sabiendo cuántas respuestas hay · según el filtrode 53,3 % a 57,4 %Qdrant forzado a su índice rápido · filtro estrecho41,1 %pgvector con su índice y 10 resultados · según el filtrode 10,5 % a 69,4 %parte de las respuestas correctas que entrega

Qdrant, en su modo normal, lo encuentra todo, pero recorriendo todo lo de cada cliente. Esta gráfica muestra solo qué parte encuentra cada uno, sin su trabajo; los cocientes de trabajo de arriba son contra pgvector exacto.

Ver la tabla de esta gráfica
quiénparte de las respuestas correctas
Nuestro modelotodas
FAISS (Meta), aun sabiendo cuántas respuestas hay · según el filtrode 53,3 % a 57,4 %
Qdrant forzado a su índice rápido · filtro estrecho41,1 %
pgvector con su índice y 10 resultados · según el filtrode 10,5 % a 69,4 %

Menos texto enviado a la IA

Con filtros estrechos, medimos 18 veces menos texto enviado a la IA que con una búsqueda típica de diez resultados, sin umbral. Con esos filtros y la memoria de la IA llena, la cuenta da hasta el doble de conversaciones por GPU.

Texto que recibe la IA, con filtros estrechos
Texto que recibe la IA, con filtros estrechosBúsqueda típica de 10 resultados, sin umbral: 18× · Nuestro modelo: 105101520Búsqueda típica de 10 resultados, sin umbral18×Nuestro modelo1tokens entregados a la IA, en veces los de nuestro modelo (nuestro modelo = 1)
Texto que recibe la IA, con filtros estrechosBúsqueda típica de 10 resultados, sin umbral: 18× · Nuestro modelo: 105101520Búsqueda típica de 10 resultados, sin umbral18×Nuestro modelo1veces los tokens de nuestro modelo
Ver la tabla de esta gráfica
rivaltokens entregados (nuestro modelo = 1)
Búsqueda típica de 10 resultados, sin umbral18×
Nuestro modelo1

¿Y en el disco? ¿Con datos que cambian o quietos? ¿Las cifras dependen del hardware?

Escribir en disco

SQLite es la base de datos de las aplicaciones: según su sitio, está en cada Android, cada iPhone y cada Mac, en más de un billón de bases. Lo medimos en su uso real, con su registro de escritura (WAL, el modo por omisión de Android) y con su aplicación, que en cada ronda vuelve a consultar. Es sistema contra sistema: nuestro sistema entero, haciendo el trabajo de SQLite y de su aplicación. Con los mismos cambios y la misma respuesta, nuestro sistema escribe 36,4 veces menos en el disco.

Bytes escritos en el disco para la misma respuesta
nuestro sistema, haciendo el trabajo de SQLite y de su aplicación
Bytes escritos en el disco para la misma respuestaSQLite y su aplicación · cambio repartido: 36,4× · SQLite y su aplicación · cambio en un solo cliente: 78× · Nuestro sistema: 1020406080SQLite y su aplicación · cambio repartido36,4×SQLite y su aplicación · cambio en un solo cliente78×Nuestro sistema1bytes escritos, en veces los de nuestro sistema (nuestro sistema = 1)
Bytes escritos en el disco para la misma respuestaSQLite y su aplicación · cambio repartido: 36,4× · SQLite y su aplicación · cambio en un solo cliente: 78× · Nuestro sistema: 1020406080SQLite y su aplicación · cambio repartido36,4×SQLite y su aplicación · cambio en un solo cliente78×Nuestro sistema1veces los bytes de nuestro sistema

La repetición completa dio 36,6×; se publica 36,4×, la menor.

Ver la tabla de esta gráfica
condiciónbytes escritos (nuestro sistema = 1)
SQLite y su aplicación · cambio repartido36,4×
SQLite y su aplicación · cambio en un solo cliente78×
Nuestro sistema1
Otro rival, otra prueba: quien reconstruye toda su estructura ante cada cambio
14,6×menos bytes físicos escritos
20,0×menos escritura, lógico contra lógico

Primera ronda, medida en los dos lados · registros reales de Gaia.

Menos trabajo es capacidad y energía que quedan libres. A escala del mundo, derivado de lo medido, se ve así.

¿Cómo mejora el hardware? ¿Qué significa en un centro de datos y en el mundo?

Menos trabajo es capacidad y energía que quedan libres.

Si cada GPU del mundo lo tuviera, lo derivado de lo medido dejaría libre del 2,9 % al 15,8 % de la capacidad mundial de GPU.

435 milescenario prudente · cifra centrala2,37 millonescon los factores ya medidos · techo

GPU equivalentes que quedarían libres, de la capacidad actual

2,81escenario prudente · cifra centrala20,70TWhcon los factores ya medidos · techo

de electricidad al año, a lo más

1,25escenario prudente · cifra centrala9,21con los factores ya medidos · techo

millones de toneladas de CO₂ al año, a lo más

Base: más de 15 millones de H100 equivalentes, según Epoch AI (ene-2026) · contexto de terceros. Prudente es una cifra central; con los factores ya medidos, un techo. Nada de esto se midió en un centro de datos. La electricidad y el CO₂ son un techo, no un ahorro asegurado.

Lo proyectado, aparte

590 mil a 1,24 millonesGPU más · si el mismo resultado se sostiene en el resto de la inferencia
314 mil a 486 milGPU más · si el entrenamiento ahorra en sus datos lo que ya ahorra el disco

Lo proyectado no se suma con lo derivado.

Ver más · especificacionesOcultar especificacionesEl mundo, en detalle · un centro de datos, por MW · por GPU · por petabyte

Nada de esta sección se midió en un centro de datos. Lo derivado sale de cifras medidas, con la fuente de cada factor; lo proyectado agrega supuestos sobre usos que no medimos contra un rival, y va aparte, con su condición. La energía es un techo, no un ahorro asegurado. Las cifras no se suman entre sí.

En el mundo

Una tarea medida, el mundo entero de GPU

En la tarea que reemplaza, el cociente es grande y está medido: 71 veces menos recálculo tras corregir un dato, 18 veces menos texto a la IA con filtros estrechos. Sobre todo el trabajo de las GPU del mundo el porcentaje es menor, porque la GPU también hace trabajo que nuestro modelo no toca. Lo derivado de lo medido deja libre de 435 mil a 2,37 millones de GPU equivalentes, y a lo más de 2,81 a 20,70 TWh y de 1,25 a 9,21 Mt de CO₂ al año.

Lo proyectado, aparte. En el resto de la inferencia, si el mismo resultado se sostiene en esos usos, quedan libres otras 590 mil a 1,24 millones de GPU; y si el entrenamiento ahorra en sus datos lo que ya ahorra el disco, otras 314 mil a 486 mil.

Capacidad mundial de GPU que quedaría libre
lo derivado y lo proyectado, en paneles separados: ninguna barra suma uno con otro
Derivado de lo medido
Derivado de lo medidoEscenario prudente (central): 2,9 % · Con los factores ya medidos (techo): 15,8 %0 %5 %10 %15 %20 %Escenario prudente (central)2,9 %Con los factores ya medidos (techo)15,8 %% de la capacidad mundial de GPU
Derivado de lo medidoEscenario prudente (central): 2,9 % · Con los factores ya medidos (techo): 15,8 %0 %5 %10 %15 %20 %Escenario prudente (central)2,9 %Con los factores ya medidos (techo)15,8 %% de la capacidad mundial de GPU
Proyectado, con sus condiciones
Proyectado, con sus condicionesResto de la inferencia · prudente: 3,9 % · Resto de la inferencia · con los factores ya medidos: 8,3 % · Entrenamiento · prudente: 2,0 % · Entrenamiento · con los factores ya medidos: 3,2 %0 %5 %10 %15 %20 %Resto de la inferencia · prudente3,9 %Resto de la inferencia · con los factores ya medidos8,3 %Entrenamiento · prudente2,0 %Entrenamiento · con los factores ya medidos3,2 %% de la capacidad mundial de GPU
Proyectado, con sus condicionesResto de la inferencia · prudente: 3,9 % · Resto de la inferencia · con los factores ya medidos: 8,3 % · Entrenamiento · prudente: 2,0 % · Entrenamiento · con los factores ya medidos: 3,2 %0 %5 %10 %15 %20 %Resto de la inferencia · prudente3,9 %Resto de la inferencia · con los factores ya medidos8,3 %Entrenamiento · prudente2,0 %Entrenamiento · con los factores ya medidos3,2 %% de la capacidad mundial de GPU

búsqueda filtrada y ediciones a mitad del documento
el resto de la inferencia
el entrenamiento
GPU equivalentes liberadas (de la capacidad actual)435 mil · 2,37 millones590 mil · 1,24 millones314 mil · 486 mil
parte de la capacidad mundial2,9 % · 15,8 %3,9 % · 8,3 %2,0 % · 3,2 %
electricidad al año, a lo más (TWh)2,81 · 20,703,81 · 10,912,03 · 4,24
CO₂ al año, a lo más (Mt)1,25 · 9,211,69 · 4,850,90 · 1,88
búsqueda filtrada y ediciones a mitad del documento
GPU equivalentes liberadas (de la capacidad actual)
435 mil · 2,37 millones
parte de la capacidad mundial
2,9 % · 15,8 %
electricidad al año, a lo más (TWh)
2,81 · 20,70
CO₂ al año, a lo más (Mt)
1,25 · 9,21
el resto de la inferencia
GPU equivalentes liberadas (de la capacidad actual)
590 mil · 1,24 millones
parte de la capacidad mundial
3,9 % · 8,3 %
electricidad al año, a lo más (TWh)
3,81 · 10,91
CO₂ al año, a lo más (Mt)
1,69 · 4,85
el entrenamiento
GPU equivalentes liberadas (de la capacidad actual)
314 mil · 486 mil
parte de la capacidad mundial
2,0 % · 3,2 %
electricidad al año, a lo más (TWh)
2,03 · 4,24
CO₂ al año, a lo más (Mt)
0,90 · 1,88

En cada casilla: escenario prudente · con los factores ya medidos. Las columnas no se suman en una sola cifra.

Las condiciones de lo proyectado

  • El resto de la inferencia: si el mismo resultado se sostiene en esos usos.
  • El entrenamiento: si ahorra en sus datos lo que ya ahorra el disco.

Por GPU y por MW

La misma demanda, con menos instalación

Con la memoria de la IA llena y filtros estrechos, contra una búsqueda típica de diez resultados sin umbral, cada MW de GPU atiende de 1,53 a 2,31 veces las conversaciones. Para la misma demanda, queda libre de 0,344 a 0,567 MW de cada MW: conexión eléctrica, enfriamiento y edificio que no hay que construir. En energía: a lo más de 3.287 a 7.645 MWh y de 1.150 a 3.402 toneladas de CO₂ al año por MW. Vale para la parte de la carga que trabaja en ese régimen.

0,344 a 0,567 MWlibres de cada MW de GPU en ese régimen
3.287 a 7.645MWhEnergía, por MW y por año
1.150 a 3.402tCO₂, por MW y por año
De cada MW de GPU que trabaja en ese régimen, la parte que queda libre
sobre el 18× de tokens medido
De cada MW de GPU que trabaja en ese régimen, la parte que queda libre0,344 MW – 0,567 MW01 MW0,344 MW0,567 MWextremo bajo: contando solo las preguntas con respuestaextremo alto: contando todas las preguntas, como en la prueba
De cada MW de GPU que trabaja en ese régimen, la parte que queda libre0,344 MW – 0,567 MW01 MW0,344 MW0,567 MWextremo bajo: contando solo las preguntas conrespuestaextremo alto: contando todas las preguntas,como en la prueba
Energía, por MW y por año
Energía, por MW y por año3.287 – 7.645 MWh al año02.0004.0006.0008.0003.2877.645bajo: 0,344 MW libres y PUE 1,09 (Google)alto: 0,567 MW y PUE 1,54 (Uptime Institute)MWh al año
Energía, por MW y por año3.287 – 7.645 MWh al año02.0004.0006.0008.0003.2877.645bajo: 0,344 MW libres y PUE 1,09 (Google)alto: 0,567 MW y PUE 1,54 (Uptime Institute)MWh al año
CO₂, por MW y por año
CO₂, por MW y por año1.150 – 3.402 toneladas de CO₂ al año01.0002.0003.0004.0001.1503.402bajo: red de EE. UU., 349,7 g por kWh (EPA)alto: red mundial, 445 g por kWh (IEA)toneladas de CO₂ al año
CO₂, por MW y por año1.150 – 3.402 toneladas de CO₂ al año01.0002.0003.0004.0001.1503.402bajo: red de EE. UU., 349,7 g por kWh (EPA)alto: red mundial, 445 g por kWh (IEA)toneladas de CO₂ al año
1.630 a 17.200

kWh al año por cada GPU liberada, con el centro de datos incluido

Rango: potencia por GPU de 171 W a 1.275 W y PUE de 1,09 a 1,54.

En cada corrección, la energía de recalcular es 71 veces menor, en la misma proporción que el recálculo.

Por PB

Leer: cruzar grandes catálogos114,6 a 162,0kWh menos por PB cruzado
Escribir 36,4 veces menos0,11 a 0,38 %del día, con nuestro sistema · 4,0 a 13,6 % del día, con SQLite
Leer: cruzar grandes catálogos

Con el dato quieto y la estructura ya armada, cada PB cruzado consume de 114,6 a 162,0 kWh menos y emite de 40,1 a 72,1 kg menos de CO₂ (de la red de EE. UU. a la mundial). Con la misma flota, 6,2 veces más cruces por hora.

Leer: cruzar grandes catálogos114,6 – 162,0 kWh menos por PB cruzado050100150200114,6162,0bajo: PUE 1,09alto: PUE 1,54kWh menos por PB cruzado
Leer: cruzar grandes catálogos114,6 – 162,0 kWh menos por PB cruzado050100150200114,6162,0bajo: PUE 1,09alto: PUE 1,54kWh menos por PB cruzado

Preliminar: supone un servidor de 400 W y que la energía sigue al tiempo de cálculo.

Escribir 36,4 veces menos

Con una carga de tres escrituras completas del disco al día, el tiempo que el disco pasa escribiendo, de su escritura más rápida a la más lenta:

4,0 a 13,6 %del día, con SQLite
0,11 a 0,38 %del día, con nuestro sistema

Si la resistencia del disco es lo que limita y toda su escritura es de esta carga, rinde hasta 36,4 veces más trabajo antes de agotarla. La electricidad directa es la parte chica: de 0,49 a 1,83 kWh por PB que no se escribe.

Más allá de la energía, lo medido abre otros usos.

¿Qué más puede abrir?

Lo que abre: en los modelos de frontera, un potencial; en las herramientas que usa el mundo, cifras ya medidas.

Modelos de frontera

Potencial en los modelos de frontera · su cifra se midió en un modelo abierto de 7 mil millones de parámetros

Potencial
en los modelos de frontera, sin cifra

Lo medimos con un modelo abierto de 7 mil millones de parámetros: 71 veces menos recálculo, con las mismas respuestas. En los modelos de frontera no lo medimos; ahí el impacto es potencial.

Con filtros estrechos, hasta el doble de conversaciones por GPU

hasta 2×
conversaciones por GPU · 1,53× a 2,31×

Con filtros estrechos, medimos 18 veces menos texto enviado a la IA que con una búsqueda típica de diez resultados, sin umbral. Con esos filtros y la memoria de la IA llena, la cuenta da hasta el doble de conversaciones por GPU.

Más allá de la IA: herramientas que se usan en todo el mundo

Medido (las veces) · contexto de terceros (su alcance)

36,4×
menos escritura que SQLite en su uso real

SQLite, la base de datos que según su sitio está en cada Android, cada iPhone y cada Mac, en más de un billón de bases: haciendo su trabajo, nuestro sistema escribe 36,4 veces menos, medido en un portátil con SQLite como lo usa una aplicación.

El uso antifraude

Las reglas de fraude cruzan transacciones contra ventanas de tiempo y montos, y hoy se re-corren completas en cada lote.

Ahí actúa como en los otros usos: reemplaza la forma de decidir qué tocar cuando algo cambia. Las reglas del cliente, sus datos y su sistema antifraude quedan como están, y la respuesta es la misma.

La detección y la prevención del fraude: de USD 35,7 mil millones en 2026 a USD 80 mil millones en 2031, según MarketsandMarkets (22-jul-2026).

5,46 a 28,66×
más rápido al correr una regla de fraude, según la combinación de ventana y monto; 7,58× en la pregunta por omisión (48 h, USD 100)

Medido con reloj · transacciones sintéticas: un año de 250 mil depósitos y 50 millones de retiros · dato quieto, en memoria · contra el cruce estándar con su optimizador, en su mejor forma normal · técnica contra técnica. Mide cuánto más rápido corre la regla con datos que no cambian; no es una comparación contra sistemas antifraude.

Ver más · especificacionesOcultar especificacionesLos textos completos · cómo se midió cada cifra · las conversaciones por GPU, en gráfica

Modelos de frontera

La regla contra la que medimos es la estándar de los servidores de modelos de lenguaje: la caché de prefijos de vLLM y SGLang. Según su sitio, SGLang corre en más de 400 mil GPU. Rehacer ya tiene precio: Anthropic cobra por reescribir la memoria de la IA 12,5 veces lo que cobra por releerla. Lo medimos con un modelo abierto de 7 mil millones de parámetros: 71 veces menos recálculo, con las mismas respuestas. En los modelos de frontera no lo medimos; ahí el impacto es potencial.

Cómo se midió cada cifra

  • Más de 400 mil GPU · según el sitio de SGLang · contexto de terceros.
  • 12,5× · precio de lista de Anthropic: escribir en su caché de 5 minutos cuesta 1,25 veces la entrada, y releer, 0,1 veces · contexto de terceros.
  • 71× · medido con un modelo abierto de 7 mil millones de parámetros, como en «Eficiencia».
  • En los modelos de frontera · potencial: no lo medimos en ellos.

Más allá de la IA: herramientas que se usan en todo el mundo

SQLite, la base de datos que según su sitio está en cada Android, cada iPhone y cada Mac, en más de un billón de bases: haciendo su trabajo, nuestro sistema escribe 36,4 veces menos, medido en un portátil con SQLite como lo usa una aplicación. pgvector exacto, que se ofrece en Amazon, Google y Microsoft: más de 100 veces menos trabajo, con la misma respuesta. El catálogo Gaia, de la Agencia Espacial Europea: con el dato quieto, 6,2 veces antes que su método oficial de cruce, con la misma respuesta.

Cómo se midió cada cifra

  • 36,4×, más de 100× y 6,2× · medidos, como en «Eficiencia».
  • «En cada Android, cada iPhone y cada Mac» y «más de un billón de bases» · según el sitio de SQLite · contexto de terceros.
  • «Se ofrece en Amazon, Google y Microsoft» · según cada proveedor · contexto de terceros.

Con filtros estrechos, hasta el doble de conversaciones por GPU

Con esos filtros estrechos y la memoria de la IA llena, la cuenta da de 1,53× a 2,31× las conversaciones que atiende cada GPU, contra una búsqueda típica de diez resultados, sin umbral. Cada extremo dice de dónde sale: el bajo cuenta solo las preguntas con respuesta; el alto cuenta todas las preguntas, como en la prueba.

Conversaciones por GPU, con filtros estrechos y la memoria de la IA llena
Conversaciones por GPU, con filtros estrechos y la memoria de la IA llena1,53× – 2,31× · hoy · 1×0×1×2×hoy · 1×1,53×2,31×1,53×: contando solo las preguntas con respuesta2,31×: contando todas las preguntas, como en la pruebaveces las conversaciones de hoy
Conversaciones por GPU, con filtros estrechos y la memoria de la IA llena1,53× – 2,31× · hoy · 1×0×1×2×hoy · 1×1,53×2,31×1,53×: contando solo las preguntas conrespuesta2,31×: contando todas las preguntas, como enla pruebaveces las conversaciones de hoy

Sobre el 18× de tokens medido · memoria de la IA llena · filtros estrechos · fracción de contexto de una fuente publicada (Cache-Craft) · supuestos a la vista.

Cada cifra medida es un piso. Lo derivado sale de cifras medidas, con la fuente de cada factor; lo proyectado depende de la condición que se dice. La energía es un techo, no un ahorro asegurado.

Tiempo para correr la misma regla de fraude, con el dato quieto
contra el cruce estándar con su optimizador · transacciones sintéticas
La combinación con menos ventaja
La combinación con menos ventajaCruce estándar: 5,46× · Nuestro modelo: 10102030Cruce estándar5,46×Nuestro modelo1tiempo, en veces el de nuestro modelo (nuestro modelo = 1)
La combinación con menos ventajaCruce estándar: 5,46× · Nuestro modelo: 10102030Cruce estándar5,46×Nuestro modelo1veces el tiempo de nuestro modelo
La pregunta por omisión: 48 h, USD 100
La pregunta por omisión: 48 h, USD 100Cruce estándar: 7,58× · Nuestro modelo: 10102030Cruce estándar7,58×Nuestro modelo1tiempo, en veces el de nuestro modelo (nuestro modelo = 1)
La pregunta por omisión: 48 h, USD 100Cruce estándar: 7,58× · Nuestro modelo: 10102030Cruce estándar7,58×Nuestro modelo1veces el tiempo de nuestro modelo
La combinación con más ventaja
La combinación con más ventajaCruce estándar: 28,66× · Nuestro modelo: 10102030Cruce estándar28,66×Nuestro modelo1tiempo, en veces el de nuestro modelo (nuestro modelo = 1)
La combinación con más ventajaCruce estándar: 28,66× · Nuestro modelo: 10102030Cruce estándar28,66×Nuestro modelo1veces el tiempo de nuestro modelo

Las demás combinaciones citables caen entre la de menos y la de más ventaja; dos de las nueve no se citan, porque no pasaron el control de la máquina. No es una comparación contra sistemas antifraude.

Ver la tabla de esta gráfica
combinacióntiempo del cruce estándar (nuestro modelo = 1)
La combinación con menos ventaja5,46×
La pregunta por omisión: 48 h, USD 1007,58×
La combinación con más ventaja28,66×

Y en la ciencia, el potencial es astronómico.

¿Y en la ciencia, donde los datos no paran de crecer?

Un potencial astronómico.

Con el catálogo Gaia entero, más grande que la memoria del equipo, y aun con el dato quieto, la mejor condición del rival, terminamos 6,2 veces antes que el método oficial de cruce del Archivo Gaia.

El proceso rápido de datos

6,2×antes que el método oficial de cruce del Archivo Gaia (ESA), con la misma respuestaimplementado desde su método publicado · estructura ya armada en los dos lados
7,6×antes que HEALPix, el estándar de la astronomía, con la misma respuestaimplementado desde su definición · estructura ya armada en los dos lados
1.812 millonesde fuentes del cielo y 58 GB: el catálogo Gaia DR3 entero, más que los 24 GB de memoria del equipo
11.881.062relaciones: la misma lista que entregan STILTS, LSDB y Q3C, tres herramientas reales de la astronomía.
10,55 spara estar seguro de que no falta nada, medido contra 132 días de cálculo, derivados: se calculan, no se corrieron, comparando todo contra todo, como recetan pgvector, hnswlib y FAISS para comprobarlo

En la investigación, donde los datos crecen

Los archivos científicos y la integración de datos cruzan catálogos de miles de millones de registros, y cada versión nueva obliga a rehacer el cruce. Cuanto más crecen los datos, más pesa rehacer el cruce entero. La prueba es astronómica; la pregunta, qué se relaciona con qué, es la de toda la industria.

Cuando el dato cambia
868relaciones perdidas, sin aviso
911relaciones que ya no valen, sin aviso

El rival que no reconstruye pierde 868 relaciones y entrega 911 que ya no valen, sin avisar.

Ver más · especificacionesOcultar especificacionesEl cruce en detalle · casi al límite del disco · los dos rivales, cada uno en su panel · estar seguro de que no falta nada

Leer grandes catálogos

Los archivos científicos y la integración de datos cruzan catálogos de miles de millones de registros, y cada versión nueva obliga a rehacer el cruce. La prueba es astronómica; la pregunta, qué se relaciona con qué, es la de toda la industria. Con el catálogo Gaia entero, más grande que la memoria del equipo, y aun con el dato quieto, la mejor condición del rival, terminamos 6,2 veces antes que el método oficial de cruce del Archivo Gaia. Misma respuesta, misma memoria, casi al límite del disco.

Casi al límite del disco: el tiempo de cada uno, contra lo que cuesta solo leer el catálogo
tiempo, en % de lo que cuesta solo leer del disco los 58 GB del catálogo
Casi al límite del disco: el tiempo de cada uno, contra lo que cuesta solo leer el catálogoMétodo oficial de cruce del Archivo Gaia: 739 % · Nuestro modelo: 119 %0 %200 %400 %600 %800 %solo leer el catálogo · 100 %Método oficial de cruce del Archivo Gaia739 %Nuestro modelo119 %tiempo, en % de lo que cuesta solo leer el catálogo del disco
Casi al límite del disco: el tiempo de cada uno, contra lo que cuesta solo leer el catálogoMétodo oficial de cruce del Archivo Gaia: 739 % · Nuestro modelo: 119 %0 %200 %400 %600 %800 %solo leer el catálogo · 100 %Método oficial de cruce del Archivo Gaia739 %Nuestro modelo119 %% del tiempo de solo leer
Ver la tabla de esta gráfica
quiéntiempo, en % de solo leer el catálogo
Método oficial de cruce del Archivo Gaia739 %
Nuestro modelo119 %
Dos rivales, dos corridas: cada uno en su panel, con el mismo eje
Método oficial de cruce del Archivo Gaia
Método oficial de cruce del Archivo GaiaMétodo oficial: 6,2× · Nuestro modelo: 102468Método oficial6,2×Nuestro modelo1veces el tiempo de nuestro modelo
Método oficial de cruce del Archivo GaiaMétodo oficial: 6,2× · Nuestro modelo: 102468Método oficial6,2×Nuestro modelo1veces el tiempo de nuestro modelo
HEALPix, el estándar de la astronomía
HEALPix, el estándar de la astronomíaHEALPix: 7,6× · Nuestro modelo: 102468HEALPix7,6×Nuestro modelo1veces el tiempo de nuestro modelo
HEALPix, el estándar de la astronomíaHEALPix: 7,6× · Nuestro modelo: 102468HEALPix7,6×Nuestro modelo1veces el tiempo de nuestro modelo

HEALPix: 5,6× si se le da una ayuda que su biblioteca no trae.

Ver la tabla de esta gráfica
rivaltiempo (nuestro modelo = 1)
Método oficial de cruce del Archivo Gaia6,2×
HEALPix, el estándar de la astronomía7,6×
Estar seguro de que no falta nada
medido, con la estructura ya armada, contra derivado: comparar todo contra todo
Estar seguro de que no falta nadaNuestro modelo · 10,55 s, medido · Comparar todo contra todo, como recetan pgvector, hnswlib y FAISS para comprobarlo · 132 días de cálculo, derivados: se calculan, no se corrieron0306090120Nuestro modelo · 10,55 s, medidoComparar todo contra todo, como recetan pgvector, hnswlib y FAISS para comprobarlo · 132 días de cálculo, derivados: se calculan, no se corrierondías de cálculo, en escala lineal
Estar seguro de que no falta nadaNuestro modelo · 10,55 s, medido · Comparar todo contra todo, como recetan pgvector, hnswlib y FAISS para comprobarlo · 132 días de cálculo, derivados: se calculan, no se corrieron0306090120Nuestro modelo · 10,55 s, medidoComparar todo contra todo, como recetanpgvector, hnswlib y FAISS para comprobarlo ·132 días de cálculo, derivados: se calculan, nose corrierondías de cálculo, en escala lineal

A esta escala, los 10,55 s no alcanzan a verse. La escala es lineal: una logarítmica achicaría la diferencia.

Cifras así exigen método. Así lo probamos.

¿Cómo lo probaron? ¿Por qué creer estas cifras? ¿Cómo sé que no ajustaron la prueba hasta ganar?

Antes de contar quién trabaja menos, exigimos la misma respuesta exacta.

Cuatro promesas en cada prueba

  1. La misma respuesta, o no hay cociente. Los dos lados se comparan con una verdad calculada aparte; cuando el rival no la entrega, mostramos su conducta, sin cociente.
  2. El rival, como lo usa la industria. Su versión, su receta documentada y sus valores por omisión; si tiene dos modos, los dos.
  3. Cada corrección, a favor del rival. Si una forma lo dejaba en desventaja, la corregimos antes de publicar.
  4. La predicción, antes de medir. Escribimos qué esperábamos y qué resultado haría fallar la hipótesis.
Ver más · especificacionesOcultar especificacionesLas ocho reglas · la vida de una prueba · la predicción · qué comparamos · el equipo y los datos

Los dos lados entregan exactamente lo mismo, y esa respuesta se compara con una verdad calculada aparte, desde la regla escrita. El rival corre como lo usa la industria: su versión, su receta documentada y sus valores por omisión; si tiene dos modos, medimos los dos. Cuando una forma lo dejaba en desventaja, la corregimos a favor del rival antes de publicar. Y antes de medir, escribimos qué esperábamos y qué resultado haría fallar la hipótesis.

Las ocho reglas de cada prueba

Misma respuesta exactaLos dos lados entregan lo mismo, comparado con una verdad calculada aparte.
Técnica o sistemaCada cifra dice si compara la forma de decidir o el sistema entero.
Forma estándar documentadaEl rival corre con su versión, su receta y sus valores por omisión.
Dos modos, los dosSi el rival tiene dos modos, se miden los dos, con lo que paga cada uno.
Correcciones a favor del rivalSi una forma lo dejaba en desventaja, se corrigió a favor del rival antes de publicar.
Régimen en cada cifraContra qué, con qué datos, quietos o que cambian, y a qué escala.
Un costo, un veredictoTokens, bytes, trabajo, tiempo y memoria se miden por separado. Nunca se suman.
Un equipo, los mismos datosLos dos lados en la misma máquina, con la misma secuencia de cambios, sellada antes de medir.

La vida de una prueba

  1. Predicción
  2. Revisor antes
  3. Errores sembrados
  4. Reproducir lo anterior
  5. Medir
  6. Revisor después
  7. Repetir
  8. Publicar la menor
Errores sembrados

Un control que no puede fallar no prueba nada. En la GPU, el control que no recalcula nada responde el dato viejo, y cae, como debe. En la búsqueda y en SQLite caen las versiones defectuosas sembradas. En un recorte del catálogo Gaia, un error sembrado a mano detiene la prueba con error, en vez de responder de menos.

Reproducir lo anterior

En la GPU y en la búsqueda, antes de medir algo nuevo, el mismo instrumento repite la medición anterior, y tiene que dar exactamente lo mismo: cero diferencias.

Repetir y publicar la menor

La prueba contra SQLite dio 36,4×; repetida completa, 36,6×. Se publica 36,4×, la menor. En el cruce de Gaia, tres corridas se descartaron por el control de la máquina, aunque una nos convenía. El orden de los lados se alterna en cada corrida.

Un revisor con veto

Desde el 21-oct-2026, un revisor del proyecto que no diseña ni mide aprueba cada prueba antes de usar la máquina, revisa que cada rival esté en su forma estándar y recalcula las cifras desde los datos crudos. Sin su visto bueno, la prueba no corre. Antes, una auditoría interna del código y los datos de cada rival dejó 11 correcciones de cifra o de rótulo, todas aplicadas; ninguna cifra principal cambió de dirección.

¿Ajustamos la prueba hasta ganar?

Antes de medir la búsqueda, escribimos el rango que esperábamos. La cifra cayó adentro. Y la predicción también protegió al rival: dos veces, una ventaja que no calzaba con lo esperado nos avisó que lo estábamos midiendo mal, y lo corregimos a favor del rival.

Predicción escrita antes de medir, y lo medido
Predicción escrita antes de medir, y lo medidopredicho antes · 125,6× a 129,8× · medido · 128,5× · eje recortado: de 120× a 135× · menos trabajo que pgvector exacto, sin filtro120×125×130×135×predicho antes · 125,6× a 129,8×medido · 128,5×eje recortado: de 120× a 135× · menos trabajo que pgvector exacto, sin filtro
Predicción escrita antes de medir, y lo medidopredicho antes · 125,6× a 129,8× · medido · 128,5× · eje recortado: de 120× a 135× · menos trabajo que pgvector exacto, sin filtro120×125×130×135×predicho antes · 125,6× a 129,8×medido · 128,5×eje recortado: de 120× a 135×

Qué comparamos

Solo la forma de decidir, en el mismo programa.

El sistema entero contra el sistema entero.

Qué hace el rival cuando el dato cambia, sin inventar un cociente.

Cinco costos, por separado

  • Tokens
  • Bytes
  • Trabajo contado
  • Tiempo
  • Memoria

La mayoría de las cifras son conteos, que viajan de una máquina a otra; el reloj va solo donde controlamos que la máquina estuviera quieta.

El equipo y los datos
  • MacBook Pro, Apple M4 Pro, 24 GB: los dos lados en la misma máquina.
  • La misma secuencia de cambios para los dos, sellada antes de medir.
  • Gaia DR3 entero, de la Agencia Espacial Europea: 1.812.731.847 fuentes y 58 GB.
  • Registros reales de Gaia, para el disco; texto técnico con datos plantados, para la GPU.
  • Un corpus propio y la Biblia Reina-Valera 1909, de dominio público, para la búsqueda.
Por qué cada cifra es un piso
  • El dato quieto es la mejor condición del rival.
  • Lo que el rival no paga, como armar su índice, queda fuera de su cuenta.

Si la estructura se armó antes, en los dos lados, la cifra lo dice.

Con la prueba a la vista, queda una pregunta: dónde se instala.

¿En qué capa actúa? ¿Sirve en mi arquitectura? ¿Qué cambio pide en mi infraestructura?

Se aplica donde una regla fija decide qué tocar cuando cambia el dato.

Se instala como una biblioteca o un contenedor en la infraestructura del cliente, donde nada sale de sus servidores. No se tocan sus datos, su hardware, su modelo de IA ni su buscador, ni lo que la aplicación pregunta y recibe. La respuesta es la misma. Balanceadores, colas, réplicas, particiones y compresión siguen haciendo su trabajo: cada pedido llega pidiendo menos trabajo.

El mapa de arquitecturas
medidoanalizadoesperadoconvive

Arquitecturas lógicas

  • medidoServidor de modelos de IA
  • medidoBúsqueda para la IA (RAG)PostgreSQL: medido como anfitrión del rival (pgvector)
  • medidoMemoria de agentes, con vencimiento
  • medidoBase de datos embebida (SQLite)
  • medidoProcesos por lotes que reconstruyen
  • medidoCruce de grandes catálogosla pregunta de integrar datos: qué se relaciona con qué
  • analizadoBúsqueda de textoLucene, Elasticsearch, OpenSearch
  • analizadoAlmacén analíticovistas materializadas
  • analizadoCruces espacialesH3, S2, PostGIS

Arquitecturas físicas

  • medidoGPUen la GPU de un chip de Apple (Apple M4 Pro)
  • medidoProcesadormenos trabajo contado y menos tiempo, con los mismos datos leídos
  • medidoDisco SSDescribe mucho menos; lee casi al límite del disco
  • analizadoMemoria flash del teléfonoel mismo caso de escritura que SQLite
  • conviveVarias máquinas y nubeconvive con lo que ya existe
  • medidoEquipo chicotodo corrió en un portátil, con un modelo de 7 mil millones de parámetros en 4 bits

Reemplaza la regla que decide. Lo demás sigue trabajando.

Hardware nuevo: cada operación, más rápidaNuestro modelo: menos operaciones

Se combinan, no compiten

Ver más · especificacionesOcultar especificacionesDónde actúa en una solución de IA · cómo se instala · qué reemplaza y qué complementa
Dónde actúa en una solución de IA
  1. Datos
  2. Preparar
  3. Guardar e indexar
  4. Buscar con filtrosqué volver a consultar cuando cambian los documentos · en la aplicación, encima del buscador
  5. Armar el contexto
  6. Modelo de lenguaje, en su servidorqué recalcular en la memoria de la IA · en el servidor de modelos
  7. Respuesta
Cómo se instala
La infraestructura del cliente
  • Su aplicación
  • Su herramienta: buscador, servidor de modelos o base de datos
  • Sus datos
  • Su hardware
Nuestro modelo · biblioteca o contenedor

No se toca

  • los datos y su formato
  • el hardware
  • el modelo de IA y sus pesos
  • lo que la aplicación pregunta y recibe
  • el buscador y su índice

La respuesta es la misma.

Convive con el resto

esperado Cada pedido llega pidiendo menos trabajo, y bajo carga, la cola debería acortarse.

En la búsqueda de texto, medimos al rival

En SQLite, un índice de texto que se pone al día cada cierto tiempo pierde lo que llegó entre medio, y su respuesta no permite saberlo: si en ese atraso llegan unas 1.000 relaciones que cumplen, pierde de 974 a 1.026, en bases de 10 mil a 1 millón de registros.

¿Qué técnicas reemplaza y cuáles siguen? ¿Es el hardware o es el software?

Reemplaza la regla que decide. Lo demás sigue trabajando.

Reemplaza la regla que decide qué recalcular, qué volver a consultar, qué reescribir o qué reconstruir. Lo que guarda con menos bits, ordena, reparte o calcula más rápido sigue trabajando: la cuantización del modelo convivió en nuestras pruebas, con pesos de 4 bits, y el buscador y su índice quedaron intactos. El hardware nuevo hace más rápida cada operación; nuestro modelo hace que haya menos operaciones. Se combinan, no compiten.

Reemplaza
  • medidoLa caché de prefijos, en la corrección a mitad del documentover su cifra
  • medidoLa selección de CacheBlendver su cifra
  • medidoVolver a consultar todover su cifra
  • medidoPedir siempre los diez documentos más parecidos, cuando hay filtrosver su cifra
  • medidoEl barrido periódico de lo vencidover su cifra
  • medidoEscribir cada página dos veces y volver a consultarver su cifra
  • medidoReconstruir la estructura enteraver su cifra
  • medidoEl método oficial de cruce y HEALPixver su cifra
  • DerivadoUna verificación que, a esta escala, nadie corre por su costo: comparar todo contra todo para estar seguro de que no falta nadaver su cifra

Analizado, sin cifra

  • analizadoEl refresco completo de vistas
  • analizadoVolver a consultar en los buscadores de texto
  • analizadoLos cruces espaciales
Complementa

Medido conviviendo

  • La cuantización de los pesos: la GPU corrió con 4 bits
  • El buscador y su índice, intactos

Documentado

  • Las particiones
  • La paginación de la memoria de la IA (vLLM)
  • FlashAttention
  • La escritura ordenada en el disco
  • El firmware del SSD
  • Los vectores de borrado del lakehouse

Sin cifra

  • La compresión de la memoria de la IA
  • La compresión y los formatos de columnas
  • Balanceadores, colas y réplicas

La prueba que más importa es la que se hace sobre sus datos.

¿Cómo lo pruebo con mis datos?

Escríbeme para una reunión.

Te entregamos el conjunto correcto, con su comprobante. Escríbeme con tu nombre, tu empresa, tu cargo y lo que te interesa evaluar: la memoria de la IA, la búsqueda para la IA, la escritura en disco o el cruce de grandes catálogos, y agendamos una reunión. En el primer mensaje, por favor no envíes datos ni detalles de tus sistemas.

Escríbeme para una reunión

go@immanu.ai

Ver todas las cifras, explicadas Cada cifra con su rival, su condición y su unidad, en una presentación con el mismo estilo.