Hilos · 3 noticias en 9 días
Moonshot libera los pesos de Kimi K3.1 Pro: 2,8 billones de parámetros, 1,56 TB y una licencia con tope de 20 millones (04/11)
- Noticias
- 3
- Briefings
- 3
- Empieza
- Última
-
Anthropic publica FlashProve: pruebas criptográficas de que la respuesta salió del modelo que el proveedor dice estar sirviendo (03/11)
El problema que ataca es viejo y nadie lo había resuelto en producción: un router puede reemplazar el modelo caro por uno barato y el usuario no tiene forma de verificarlo. El esquema usa zkSNARKs en dos fases: offline el proveedor publica un compromiso corto a los pesos —que fija un único set sin revelarlo—, y online genera, para un prompt y una salida dados, un archivo de prueba que cualquiera puede chequear contra ese compromiso. Los trucos que lo hacen viable son tres: el trabajo de prueba escala con los expertos activados por token y no con todos los parámetros, las pruebas se generan en lotes después del hecho, y el modelo se streamea capa por capa para que alcance una sola GPU de 80 GB. Los números sobre Llama 4 Maverick en 4 bits: unos 110 tokens/segundo de proving en una H100, pruebas de 18,8 MB por ventana de 1.024 tokens, 39 minutos de compromiso offline reutilizable para unos 16 millones de pedidos, y verificación en 17 segundos en CPU de 24 hilos. El costo es el titular real: probar sale entre 70 y 95 veces el tiempo de GPU de simplemente correr el modelo en vLLM. Las limitaciones están declaradas: las pruebas cubren una versión entera del modelo con decodificación greedy, la arquitectura no se oculta, se asume mixture-of-experts, y el contexto topea en 1.024 tokens. Las propiedades de seguridad están formalizadas en Lean; el código C++ rápido no. Anthropic · TechCrunch
-
Moonshot libera los pesos de Kimi K3.1 Pro: 2,8 billones de parámetros, 1,56 TB y una licencia con tope de 20 millones (04/11)
Sigue de lo de ayer, donde Simon Willison corrió el modelo vía OpenRouter para reproducir la lectura de pesos: ahora los pesos se bajan. La arquitectura es mixture-of-experts con 2,8 billones de parámetros totales y unos 104.000 millones activos por token, 93 capas, 896 expertos de los que se eligen 16 más 2 compartidos, y una atención híbrida de 69 capas KDA y 24 Gated DSA que reemplaza las capas de atención completa de K3. El contexto es de 1.048.576 tokens, el encoder de visión es MoonViT-V2 de 401 millones de parámetros, y los pesos vienen nativamente en MXFP4 con activaciones MXFP8 por entrenamiento consciente de cuantización, así que la descarga son 1,56 TB en 96 shards y no hay checkpoint BF16. Los benchmarks son autoreportados con esfuerzo de razonamiento máximo: 65,7 en Terminal-Bench 4.0, 94,2 en GPQA-Diamond, 92,1 en BrowseComp y 70,0 en HLE-Full con herramientas. Dos letras chicas importan más que los números. La licencia no es OSI: si ofrecés a terceros inferencia o fine-tuning del modelo y el grupo factura más de 20 millones de dólares en cualquier período de doce meses consecutivos, hace falta un acuerdo aparte con Moonshot; el uso interno y el producto que embebe el modelo quedan afuera de esa cláusula. Y el self-hosting no es para cualquiera: la receta de vLLM pide 0.34.0 o posterior y un grupo tensor-parallel de ocho GPUs —dos trays GB300 o un nodo B300—, un nodo de 8×H200 con 1,13 TB de HBM no alcanza para los pesos, y un nodo sale entre 550.000 y 650.000 dólares, el equivalente a unos 55.000 a 65.000 millones de tokens de salida al precio de lista de la API. Hugging Face · OrcaRouter
-
MACaQ: cuantización MXFP4 de pesos y activaciones capa por capa, con 2,3% de overhead en vLLM y un modelo de 122.000 millones cuantizado en 64 minutos (07-12/11)
El paper es del 7/11 y entró hoy a trending de Hugging Face. Lo que lo vuelve práctico es que trata cada capa lineal de forma independiente: aplica una escala por canal y una transformada block-Hadamard a las activaciones en inferencia, y mete las transformadas inversas correspondientes dentro de los pesos. Sin dependencias entre capas, la cuantización puede correr en streaming con una sola capa en memoria a la vez, y de ahí sale el número que importa para quien no tiene un cluster: 122.000 millones de parámetros en 64 minutos con 32,5 GB de RAM de GPU. Suma Flip-Refinement, un paso de descenso por coordenadas consciente del Hessiano que ajusta códigos FP4 individuales para mejorar sobre round-to-nearest. Reportan perplejidad mejor que DuQuant++ y MR-GPTQ, igualando la mejor de esas dos en Llama-3-8B con 11 veces menos tiempo de cuantización, y 2,3% de overhead end-to-end sobre MXFP4 puro en Qwen3-32B corriendo en vLLM. Funciona además sobre un modelo de difusión de imágenes sin cambios específicos de arquitectura, que es lo que justifica el "model agnostic" del título. arXiv · Hugging Face Papers
El hilo se arma solo en cada build: junta noticias de días distintos que nombran a la misma entidad y repiten vocabulario que casi no aparece en el resto del archivo. Nadie lo edita a mano, así que puede dejar afuera una noticia o sumar una de al lado.