Hilos · 3 noticias en 10 días
Repos: antirez sacó DwarfStar, un motor de inferencia local para DeepSeek V4 y GLM 5.3 que apunta a Apple Silicon, CUDA y ROCm (04/10)
- Noticias
- 3
- Briefings
- 3
- Empieza
- Última
-
Repos: antirez sacó DwarfStar, un motor de inferencia local para DeepSeek V4 y GLM 5.3 que apunta a Apple Silicon, CUDA y ROCm (04/10)
Salvatore Sanfilippo, el de Redis, lo describe sin vueltas: no es un runner genérico de GGUF sino un motor rápido para una lista curada de modelos. Soporta DeepSeek V4 Flash y PRO, DeepSeek V4.1 Flash, GLM 5.2, 5.3 y 5.3 Flash, y Qwen 3.8 Flash Next, con visión en algunos. El objetivo primario es Metal en Macs de 96 GB o más, con streaming desde SSD para máquinas chicas, y además corre en CUDA —DGX Spark, multi-GPU, placas Ada Lovelace— y ROCm, incluido Strix Halo en la Framework Desktop. Trae servidor HTTP, un agente de código nativo y decodificación especulativa. Licencia MIT, 23.289 estrellas y 211 en el día, y el autor avisa dos cosas: está en calidad beta y cambia seguido, y lo escribió con ayuda importante de agentes de código, algo que declara de entrada. GitHub
-
Strata corre Qwen3.8-Flash-Next, 125.000 millones de parámetros, en una placa de gamer, y el benchmark que hizo la comunidad le dio 89,1% contra 71,9% de un 27B en el mismo fierro (04-05/10)
El repo llegó a 844 puntos y 374 comentarios en Hacker News. La receta es repartir el modelo: la GPU se queda las partes calientes, la RAM tiene todo el modelo, el CPU procesa el resto y el SSD guarda las tablas de lookup, más decodificación especulativa con un modelo chico que adivina y el grande que valida en paralelo. El repo declara 94 tokens por segundo en una RTX 5070 y 60 en una RX 9070 XT, con 12 GB de VRAM y 32 GB de RAM como piso. El dato más útil lo puso un usuario que midió en una 3090 destartalada: el 125B en iq3_xxs sacó 114 de 128 en generación y completado de código contra 92 de 128 de un 27B en Q4/Q5, con la mitad de fallas de API y 20 minutos más de corrida. Cuantizar fuerte un modelo grande le ganó a cuantizar poco un modelo chico. GitHub · Hacker News
-
Janas: un motor en C que corre modelos MoE más grandes que la RAM streameando expertos desde el SSD (13/10)
Apareció hoy en la portada de Hacker News y es el tipo de proyecto que vale probar si tenés una laptop con NVMe y poca memoria: los pesos quedan en disco, los expertos que cada token necesita se streamean desde el SSD y los más reusados se quedan en memoria, mientras el bloque de multi-token prediction del propio modelo draftea texto que el modelo después verifica, lo que acelera sin cambiar la salida. Los números del autor en un Core Ultra 9 185H con 32 GB de RAM: 20-25 tokens por segundo con Qwen3-Next-80B-A3B-Instruct, un archivo de 48 GB, y unos 32 con Qwen3.6-35B-A3B; con navegador y editor abiertos y más de 8 GB ya en uso, el 80B baja a casi 18. El motor elige su configuración midiendo la máquina con la herramienta janas-bench, y la GPU Vulkan es opcional y se usa solo donde mide que ayuda. Las advertencias son del propio autor y hay que tomarlas en serio: se declara "un experimento, no un producto", solo Linux x86-64 probado en Debian 13, un único hardware testeado, modelos Qwen MoE en Q4_K_M GGUF convertidos a su formato.jns, usa memoria agresivamente y lee el disco a fondo —en máquinas con menos margen el escritorio puede quedar inusable—, y un uso de GPU le provocó un reset de driver. Licencia GPLv3 o posterior, con los modelos bajo la licencia de sus autores. GitHub
El hilo se arma solo en cada build: junta noticias de días distintos que nombran a la misma entidad y repiten vocabulario que casi no aparece en el resto del archivo. Nadie lo edita a mano, así que puede dejar afuera una noticia o sumar una de al lado.