Hilos · 3 noticias en 26 días
Decision 3.0: el vLLM Semantic Router liberó una familia de modelos de decisión multimodales con licencia Apache-2.0, de 0,85B a 26B (11/10)
- Noticias
- 3
- Briefings
- 3
- Empieza
- Última
-
Cloudflare liberó Clef y Clef-flash: modelos abiertos que devuelven probabilidades tipadas en vez de texto, con 38,8 ms de latencia mediana (01/10)
La idea rompe con el patrón de pedirle a un LLM que conteste en JSON y después parsear: Clef lee un estado de entrada y un conjunto de preguntas tipadas, y devuelve una probabilidad calibrada para cada respuesta permitida, en una sola pasada no autorregresiva. Son dos tamaños post-entrenados sobre Qwen —Clef de 27B y Clef-flash de 9B—, con licencia Apache 2.0, pesos en Hugging Face, ventana de 64K y hasta 64 preguntas por pedido, en tres tipos: booleano, opción múltiple y puntuación ordenada. Las latencias medianas son 209 ms para Clef y 38,8 ms para Clef-flash contra 524 ms del competidor Jev, y Clef gana en 7 de 10 benchmarks de decisión. Lo accionable: el esquema de preguntas va dentro del pedido, así que se pueden cambiar las etiquetas sin reentrenar, y corre en vLLM, SGLang y Transformers además de Workers AI. Hay también un servicio de afinado por refuerzo que usa el tráfico propio del AI Gateway. Los casos obvios son triage de soporte, clasificación de amenazas, moderación y chequeos de seguridad de agentes: donde la velocidad y la estructura importan más que la explicación. Cloudflare · AlphaSignal
-
Decision 3.0: el vLLM Semantic Router liberó una familia de modelos de decisión multimodales con licencia Apache-2.0, de 0,85B a 26B (11/10)
Sigue de Decision-1 de Microsoft y Jev de TypeSafe AI: es el mismo patrón —en vez de generar texto que después hay que parsear, el modelo recibe un esquema de preguntas y devuelve probabilidades por opción, que uno umbraliza— pero esta vez con pesos abiertos y de verdad multimodal, porque lee texto, JSON e imágenes (hasta 1,6 megapíxeles cada una, con todas las imágenes visibles para cada pregunta). Los cinco tamaños son d3-lite (0,85B), d3-nano (2,21B), d3-mini (4,54B), d3-flash (8,39B) y d3 (26,09B), todos sobre bases Qwen3.5 salvo el grande, que va sobre Qwen3.8-27B, y todos con encoder de visión propio. Las latencias medidas en una sola MI325X con batch de 1 son la parte accionable: 23,5 ms de texto en d3-lite y 29,7 ms en d3-flash, contra 84 ms de d3; con una imagen suben a 60,7 ms, 171,8 ms y 342 ms. El equipo recomienda d3-flash por relación tamaño/rendimiento y declara 59,0 en el índice Jev 0.3.1 con 9B, por encima de los 55,9 que marcaba Decision 2.0 con 27B. Los números son autoreportados, no hay API hosteada —se self-hostea con transformers 5.17.0 y trust_remote_code=True, o se sirve con vllm-sr serve—, no publican largo de contexto para d3 ni builds GGUF o MLX, y el liderazgo por clase es parcial: d3-lite queda tercero en visión y d3-nano por debajo de LiquidAI d1-3B en texto. MarkTechPost · Hugging Face · GitHub
MarkTechPost Hugging Face GitHub Microsoft Hugging Face GitHub vLLM
-
Repos: d3-ultra, un modelo de decisión multimodal de 26B con Apache 2.0 que no genera texto (26/10)
La idea de producto es la que viene empujando vLLM Semantic Router: en vez de pedirle a un LLM que escriba una respuesta y después parsearla, el modelo lee la entrada una vez y devuelve una probabilidad por cada opción de cada pregunta. Soporta cinco tipos —Choice, Yes/No, Score, Box para localizar algo en una imagen o un momento de video, y Track para seguir un objetivo a lo largo de un video—, acepta texto, JSON, imágenes y video, y tiene 131.072 tokens de contexto por pregunta; lo que se pasa de ese límite falla con max_length_exceeded en vez de truncarse en silencio, que es exactamente lo que uno quiere en un router. Los números, autoinformados sobre tests privados del equipo: 87,2 en SR-Text, el más alto de los seis modelos probados (GLiDE V1.2 queda en 85,1, d1-ultra en 83,4, d3-turbo en 83,1), y unos 304 ms para una pregunta sobre una foto en una sola AMD MI325X, o 2,16 segundos para 255 preguntas. Dónde pierde: en SR-Box queda en 58,2% contra 60,0% de d3-turbo, que el equipo dice es más fuerte en imágenes naturales mientras d3-ultra lidera en gráficos. Para probarlo: safetensors BF16 de unos 52 GB o GPTQ W4A16 de unos 16 GB, vllm-sr serve -e vllm-sr/d3-ultra desde el PR #5449 del 25 de octubre, API hosteada gratis en decision.vllm-sr.ai, port MLX para Apple Silicon y todavía sin GGUF. El card tampoco nombra el checkpoint base. MarkTechPost · Hugging Face
El hilo se arma solo en cada build: junta noticias de días distintos que nombran a la misma entidad y repiten vocabulario que casi no aparece en el resto del archivo. Nadie lo edita a mano, así que puede dejar afuera una noticia o sumar una de al lado.