Un 42 % que no es un error: cómo leer la confianza en el ejemplo de la portada de Jev AI en español

Ella Moore · 2026-11-15

Ella Moore — escribo para el equipo detrás de jev-ai[.]org. Todos los datos salen de la portada pública en español, consultada el 15 de noviembre de 2026 (Asia/Shanghai). Son las cifras que imprime la página, no mediciones propias, y no las extiendo más allá de la frase en la que aparecen.

La portada en español enseña, justo debajo del playground, una corrida real del modelo sobre un ticket de soporte. Casi todos los porcentajes son altos: 100 %, 93 %, 99 %. Y en medio aparece uno que llama la atención: 42 % de confianza. La reacción natural es pensar que algo salió mal. Este texto propone otra lectura, apoyada solo en lo que la página escribe sobre probabilidades, confianza y umbrales.

Qué muestra exactamente el ejemplo

El texto de entrada es un correo en inglés: un cliente al que le cobraron dos veces 49 dólares del plan Studio el 3 de septiembre, que abrió el ticket #4417 hace cuatro días sin respuesta y que necesita el reembolso antes del viernes, cuando su equipo de finanzas cierra los libros. La solicitud lleva cuatro preguntas, y el panel de respuestas está marcado como «Ejemplo · salida real de Jev».

Las cuatro respuestas, tal como las imprime la página:

Al pie: «Grabado el 2026-09-30 con typesafe/jev-1.13-20260917» y «562 tokens de entrada».

Por qué un 42 % puede ser la respuesta correcta

La sección de tipos de respuesta describe la puntuación así: una posición en una escala ordenada que tú defines, y las respuestas pueden caer entre niveles, «así que los casos dudosos quedan a la vista». Eso es justo lo que ocurre con 1.58. Si cuentas los cuatro niveles desde cero, 1.58 queda entre «Within two business days» y «Today». La página lo etiqueta como «Today», pero el número no está pegado a ese nivel, y la confianza del 42 % lo deja claro.

Mi lectura, y es solo eso: el cliente pone un plazo (el viernes) y amenaza con cancelar, lo que encaja con «Today», pero el texto no describe ingresos bloqueados en este momento, que es el nivel siguiente. Un modelo que contestara «Today» con 100 % de certeza ocultaría esa duda. La portada promete lo contrario: que la duda se vea.

Confianza y probabilidad no son lo mismo

La portada usa dos palabras distintas y conviene no fundirlas. En el bloque «¿Qué es Jev AI?», una tarjeta dice que cada opción regresa con su probabilidad y un nivel de confianza, «así automatizas los casos claros y revisas el resto». En la descripción del tipo opción se repite la idea: una de las etiquetas que declaras, con la probabilidad de cada una de las demás y la confianza de la elegida. Nunca regresa nada fuera de la lista.

En el ejemplo de la tarjeta de tipos, «¿Qué equipo se encarga de esto?» devuelve billing 0.95, technical 0.05 y sales 0.00. En la puntuación de ejemplo, «¿Qué tan enojado está quien escribe? (0–3)», aparecen dos números separados: score 2.09 y confidence 0.88. El primero dice dónde cae la respuesta en la escala; el segundo, cuánto se fía el modelo de esa posición. Copiar 2.09 a una hoja de cálculo sin su 0.88 al lado es perder la mitad de la respuesta.

Dos preguntas parecidas, dos números distintos

Hay un detalle fácil de pasar por alto. La vista previa de arriba, junto al titular, muestra el mismo ticket con la pregunta «Is the customer asking for money back?» y «98 % sí». El panel completo de abajo pregunta «Is the customer asking for a refund?» y responde 99 %. No es una contradicción: son dos preguntas redactadas de forma distinta, y la página las muestra tal cual. Si en un informe escribes «Jev da 98 % o 99 % según el día», ya te saliste del texto. Cada número pertenece a su pregunta.

Lo mismo pasa con el tiempo. La vista previa indica «Jev 1.13 · salida real · 1.8 s»; la portada habla en otra parte de una mediana de 0.22 s en upstream, y el paso 03 dice que en el playground las respuestas llegan en cerca de un segundo. Son tres afirmaciones diferentes sobre tres cosas diferentes.

El umbral lo pones tú

La descripción del tipo sí/no es la clave práctica: una probabilidad entre 0 y 1, no un simple booleano, y «tu código fija el umbral, así que "probablemente" se vuelve un número que puedes ajustar». La página no recomienda ningún umbral concreto, y yo tampoco lo voy a inventar. Lo que sí permite es un esquema de trabajo honesto con el ejemplo:

  1. Con 100 % para billing, el enrutamiento al equipo de facturación es un caso claro.
  2. Con 93 % para «necesita respuesta humana» y 99 % para «pide reembolso», cada equipo decide si eso supera su propio umbral.
  3. Con 1.58 y 42 % de confianza en urgencia, el caso cae en la zona que la página llama «el resto»: el que revisa una persona.

Eso es lo que la portada describe cuando dice que automatizas lo claro y revisas lo demás. El 42 % no es el fallo del sistema, sino la parte que lo hace útil.

Lo que el ejemplo no garantiza

El panel es una grabación. Fecha, versión y tokens pertenecen a esa corrida: 2026-09-30, typesafe/jev-1.13-20260917, 562 tokens de entrada. La portada distingue además dos modelos: Jev 1.13, una versión fija que no cambia bajo tus pies, y Jev latest, un alias que sigue la versión más reciente de TypeSafe. En la pestaña del playground, jev-1.13 aparece como predeterminado («Versión fija: respuestas estables»). Nada en la página dice que Jev latest vaya a devolver 42 % sobre el mismo texto. Si comparas corridas, anota con qué modelo se hizo cada una.

Tampoco hay que leer el ejemplo como precio. La página dice que el modelo cobra solo los tokens de entrada, unos $0.042 por millón según TypeSafe, y que la salida es gratis; los planes anuales muestran precios efectivos propios por cada millón de tokens de entrada. Ninguna de esas líneas convierte los 562 tokens del ejemplo en una tarifa por ticket.

Para probarlo con tus propios textos

La propia portada de Jev AI deja editar el texto y las preguntas gratis; solo pide iniciar sesión al ejecutar. Según el paso 03, cada corrida cuesta un crédito y una solicitud fallida no cuesta nada, y la sección de preguntas frecuentes indica cinco créditos gratis al iniciar sesión, sin tarjeta y sin lista de espera. También aclara que el modelo está en OpenRouter como typesafe/jev-1.13.

Mi sugerencia es sencilla: escribe una pregunta de puntuación cuya escala tenga niveles que de verdad se puedan confundir, y mira la confianza antes que el número. La explicación de cada tipo de respuesta, y el aviso de que choice recibe sus criterios como un objeto de etiqueta a descripción mientras que score recibe un arreglo de niveles en orden, están en la Jev AI Website en español.