-
Un benchmark nuevo muestra que el RAG con documentos desactualizados da vuelta la respuesta correcta hasta en el 91% de los casos, y que decirle al modelo "confiá en el contexto" lo empeora (28/09)
"Stale-Document Poisoning" arma 317 reversiones de conocimiento verificadas en medicina, derecho, software y políticas de plataforma, y las prueba sobre 12 modelos. Sin instrucciones especiales, el retrieval viejo pisa el 30% de las respuestas de Llama y el 37% de las de Qwen; con la instrucción explícita de confiar en lo recuperado saltan a 66% y 75%. En cuatro modelos abiertos y cuatro dominios el envenenamiento va de 17% a 91%, mientras que la evidencia actualizada se sigue en el 97-100% de los casos: el problema es temporal, no de obediencia. La mitigación que reportan es implementable: un re-ranker híbrido con conciencia de recencia baja el envenenamiento entre 4,6 y 10 puntos, siempre que las fechas de los documentos sean correctas. arXiv 2609.31342
-
Atacantes toman control administrativo total de routers MikroTik por SSH expuesto a internet y sin autenticación (05/09)
CERT Polska publicó el aviso el 5 de septiembre y ubica ataques exitosos desde al menos el 2. Llama MikroTrick a la combinación de dos fallas, pero ni el aviso ni la divulgación identifican explícitamente cuáles son ni cómo se encadenan, así que el estatus de 0-day queda sin verificar: el changelog de la 7.25beta3 tiene fecha del 2 de septiembre y los primeros fixes se anunciaron el 3. Las versiones corregidas son 6.49.21, 7.23.4 —conviene 7.23.5, que arregla una regresión de DHCP IPv6— y 7.24.2. Hasta poder actualizar, CERT recomienda apagar los servicios expuestos o restringirlos a redes de gestión confiables, en particular SSH, WWW/WWW-SSL y bandwidth-test, y no iniciar conexiones TLS ni usar el cliente SSH del propio equipo sin parchear. Como indicadores, mirar cuentas privilegiadas inesperadas y registros de creación de cuentas que contengan ssh:-2@. Si hay sospecha de compromiso: aislar, preservar logs y configuración, resetear de fábrica y reconstruir desde una configuración verificada —no restaurar el backup del equipo comprometido— y rotar todas las claves. The Hacker News · CERT Polska · MikroTik
-
Llama-Mobile mete un VLM de 11B en 3,7 GB con un formato de 2,7 bits por parámetro
El problema es viejo y concreto: los modelos de visión y lenguaje no entran en un teléfono ni por memoria ni por cómputo. La propuesta de los autores tiene dos partes que se pueden adoptar por separado. La primera es un pipeline de cuantización que usa el propio modelo para generar los datos de entrenamiento, lo que evita necesitar acceso al setup original de entrenamiento —el cuello de botella habitual cuando uno cuantiza un modelo ajeno—. La segunda es el formato en sí, 2,7 bits por parámetro, diseñado para ejecutarse eficientemente en CPUs Arm, no en GPU. La validación es comprimir Llama 3.2 11B Vision Instruct a 3,7 GB con activaciones de 8 bits, conservando buen rendimiento en un conjunto de tareas estándar de visual question answering. Si estás mirando inferencia local en dispositivo, este es el número a batir. arXiv 2608.21134 · Hugging Face
-
Un modelo acierta el 38% de un examen sin ver la pregunta: cómo auditar si tu benchmark de opción múltiple está roto (18/08)
Ovcharov midió sobre UA-JudgeExam, 11.990 ítems de cuatro opciones con claves oficiales de la comisión de calificación de jueces de Ucrania, y encontró que Claude Haiku 4.5, mostrándole solo las opciones y ninguna pregunta, acierta 0,383. La fuga está concentrada: 11,8% de los ítems se responden a ciegas en las ocho permutaciones posibles de opciones, contra 0,2 ítems esperables por azar, y no es memorización textual —buscar en 280.059 ediciones de legislación ucraniana recupera apenas 0,128. Filtrando esos ítems quedan 8.128, y GPT-5.6, que no participó de la selección, todavía responde 0,515 con la pregunta tapada. Al puntuar doce modelos y restarle a cada uno su sesgo de posición, solo dos conservan exceso real: GPT-5.6 con +0,265 y Sonnet 4.6 con +0,081; sin esa corrección, Llama 3.1 8B "puntúa" 0,292 a ciegas simplemente respondiendo A en el 92% de los ítems. Dos advertencias del autor que valen para replicarlo: nada de esto se ve en una muestra de 400 ítems, y reescribir los distractores se pasa de rosca y deja el examen por debajo del azar, igual de explotable. arXiv 2608.15428
-
Meta cobra por primera vez: Muse Spark 1.1 y la Meta Model API
Meta Superintelligence Labs publicó Muse Spark 1.1, un modelo multimodal de razonamiento orientado a tareas agénticas, con ventana de 1M de tokens con compresión de contexto y uso de computadora (desktop, browser, mobile). Sale con la Meta Model API en preview pública a US$1,25/M tokens de entrada y US$4,25/M de salida. Es el primer modelo por el que Meta pide plata — un giro rotundo respecto de la estrategia open-weights que había definido a Llama. Meta AI · TechCrunch · Fortune