Hilos · 6 noticias en 16 días
Evals: Artificial Analysis rehízo su Intelligence Index y ahora 60% son datasets privados (27/10)
- Noticias
- 6
- Briefings
- 5
- Empieza
- Última
-
GPT-6.1 Terra: 1 dólar de entrada y 5 de salida por millón de tokens, y Terminal-Bench 4.0 de 21,5% a 50,3% (26/10)
El modelo de rango medio de OpenAI ya está en ChatGPT Work y Codex para Plus, Pro, Enterprise y Edu, y por API. Contra su antecesor GPT-5.6 Terra (2 de entrada, 12 de salida) el recorte es real pero no es exactamente la mitad en los dos lados, y el caché de entrada baja a 0,05 por millón, un cuarto de la tarifa previa. Los números según Artificial Analysis: Intelligence Index 48, entre GPT-6.1 Sol (52) y GPT-5.6 Terra (42); Coding Agent Index v2.0 en 48 contra 54 de Sol; y en Terminal-Bench 4.0 pasa de 21,5% a 50,3% a esfuerzo máximo. El dato más accionable para quien arma agentes es otro: en AA-Omniscience la tasa de adivinar cuando no tiene respuesta cae de 88% a 38% con 2 puntos más de precisión, y la defensa contra inyección indirecta de prompt sube a 98,8% desde 96,2%. OpenAI igual sigue recomendando Sol y GPT-6 Astra para el coding más exigente, y lo clasifica en el umbral "Critical" de ciberseguridad de su Preparedness Framework. The Decoder · MarkTechPost
-
Evals: Artificial Analysis rehízo su Intelligence Index y ahora 60% son datasets privados (27/10)
Vale releer con esto los números de GPT-6.1 Terra de ayer, porque se midieron con el índice viejo. La v5 es el cambio más grande desde la v4 de enero y la razón declarada es la contaminación de benchmarks a medida que los labs entrenan con más web scrapeada. Qué entra: FrontierCode 2.0, el benchmark privado de Cognition con 132 tareas de repos open-source reales, y Terminal-Bench-Science, 70 tareas agénticas de investigación científica en terminal. Qué se actualiza: HLE-Diamond reemplaza a Humanity's Last Exam con 1.000 preguntas mitad razonamiento y mitad conocimiento, AA-Omniscience pasa a v1.1 sacando preguntas saturadas y públicas, y CritPt a v2 con un subset privado difícil de 40 preguntas. Qué se va: GDPval-AA v2.1, SciCode y AA-LCR v1.1. Los pesos quedan en 25% para cada bloque —trabajo de conocimiento, coding, ciencia y general—. El ranking: Claude Opus 5.5 en máximo esfuerzo lidera con 58, GPT-6 Astra 57, GPT-6.1 Sol 55, y Gemini 4 Argon en alto con 50 es el mejor de un lab que no sea Anthropic u OpenAI. Los tres datos más útiles para decidir: la brecha con los pesos abiertos se abrió de 3 a 12 puntos —Kimi K3.1 Pro lidera con 46 pero sus pesos todavía no salieron, y entre los que sí están publicados DeepSeek V4.1 Flash 1017 y GLM-5.3 comparten 32—; el costo por tarea entre los diez primeros varía más de 13 veces, de 0,96 dólares de GPT-6.1 Terra a 13,04 de Claude Fable 5.1, con Sol a 1,27 quedando a 4 puntos de Opus 5.5 por cerca de un octavo del costo; y el esfuerzo pesa más que antes, con Opus 5.5 pasando de 35 en bajo a 58 en máximo. El uso de tokens de salida subió para todos: la mediana va de 35k a 59k por tarea, y Terminal-Bench-Science sola explica cerca de un tercio. La limitación estructural: los datasets privados no se pueden inspeccionar, así que la verificación externa es acotada. Artificial Analysis · OfficeChai
Artificial Analysis OfficeChai OpenAI Anthropic DeepSeek Claude Gemini Kimi
-
Copilot Fusion sale GA y rutea cada paso de la tarea al modelo que le conviene (28/10)
Se anunció en GitHub Universe y la idea es la que varios equipos resuelven a mano en su propio scaffolding: en vez de atar la tarea a un modelo, Fusion elige qué modelo o qué mezcla atiende cada paso según lo que haga falta —razonamiento, generación de código, debugging, uso de herramientas—. El número que publicó Jay Parikh de Microsoft, con la salvedad de que es suyo: Fusion Max quedó a dos puntos de Claude Opus 5.5 Max en el Coding Agent Index de Artificial Analysis a la mitad del costo y con 40% menos de tiempo por tarea. Lo demás del anuncio, en orden de utilidad: Copilot Projects, en preview público, corre trabajo de agentes sobre varios repositorios en paralelo en sesiones administradas, y la continuidad de sesión deja que una misma sesión de agente en la nube pase entre la app, VS Code, la línea de comandos y la web; el harness de Copilot queda disponible en Microsoft Foundry, el servicio administrado para agentes de larga duración; las automatizaciones de Copilot aprenden de sus resultados y proponen cambios para que un humano apruebe; y el code review Max dice tener el mejor F1 de ReviewBench en issues de severidad alta. El cambio comercial importa para decidir: desde el miércoles los clientes de GitHub Enterprise pueden usar todas las funciones de Copilot sin suscripción aparte y pagan los créditos de IA que consumen, por ahora a través del equipo de ventas, y quienes tienen Copilot Business o Enterprise pueden quedarse o cambiar cuando quieran. De infraestructura: este año GitHub agregó 4 millones de núcleos de CPU, 160 PB de almacenamiento rápido y 50 Tb/s de red, y está pasando a un despliegue multi-región en Azure que esperan terminar a principios del año que viene. The Next Web · RuntimeWire
The Next Web RuntimeWire Microsoft GitHub Claude GitHub Copilot
-
Gemini 4 Carbon: Google saca su modelo de ciberdefensa dos semanas después de Argon y le arrebata el primer puesto a Claude Opus 5.5 (28/10)
Sigue de el índice v5 de Artificial Analysis que contamos ayer, donde Opus 5.5 en máximo esfuerzo lideraba con 58: Carbon entra y queda primero con 59, contra 50 de Argon. Google lo construyó para trabajo de ingeniería autónomo de varios días y para tareas de ciberdefensa, de encontrar y validar vulnerabilidades a parchearlas. El resto de los números: 59 en el Coding Agent Index contra 50 de Argon, todavía detrás de Opus 5.5 con 62; 1.609 de Elo en AA-Briefcase, arriba de los 1.483 de Argon pero detrás de Kimi K3.1 Pro, Muse Wonder y Grok 4.7; 70,36% en Vals AI, segundo detrás de Claude Sonnet 5.5 con 70,85% y adelante de Opus 5.5 con 70,18%, y más rápido y más barato que los dos; primero en el Text Arena de Arena.ai con 1.528 y segundo en el Agent Arena; 88,2% en SEC-bench Pro y 54,8% en ExploitGym, algunos de esos tests corridos sin guardrails. En inyección de prompt de Gray Swan el éxito de ataque cayó de 0,7% a 0,0%, que no es lo mismo que resuelto. Los dos datos incómodos: la precisión de las respuestas subió de 48% a 58% pero la tasa de alucinación pasó de 4% a 11%, y Carbon genera 2,3 veces más tokens de razonamiento y 64% más tokens de salida que Argon. El costo por tarea en el índice queda en unos 7,76 dólares, casi igual a los 7,68 de Argon y cerca de 23% abajo de Opus 5.5; el precio de introducción es el mismo que Argon, 2 dólares por millón de tokens de entrada y 10 de salida, con 95% de descuento en entrada cacheada. El acceso arranca cerrado: expertos en ciberseguridad elegidos esta semana, después socios del programa Fairwind, y participación en pruebas pre-lanzamiento del gobierno de EEUU. Las salvedades: tareas de finanzas e impuestos tardan más del doble que con Argon y la investigación legal promedia más de 50 minutos por tarea, y las comparaciones de código seguro y parches salen de tests internos de Google que nadie de afuera puede verificar. The Decoder · Google · Infobae
-
Mistral libera los pesos de Large 4: un billón de parámetros, licencia MIT modificada y el mejor modelo abierto en agentes de código (29/10)
Lo que soltó Mistral tres semanas después del preview público del 6 de octubre es un modelo multimodal de cerca de un billón de parámetros totales con 52.000 millones activos por paso, entrada de texto e imagen, salida de texto y código, y entrenado íntegramente en Europa; siguieron haciendo RL después del preview, con las mejoras concentradas en código y ciberdefensa. La licencia es MIT modificada: uso, modificación y despliegue comercial libres, pero quien lo revenda como servicio administrado necesita licencia aparte. Los números, en orden de utilidad: 48 en el Coding Agent Index de Artificial Analysis, empatado con GLM-5.3 pero gastando 47% menos tokens, contra 62 de Claude Code con Opus 5.5; 41% en Terminal-Bench 4.0, desde 28% del preview, contra 40% de GLM-5.3 y 67% de Kimi K3.1 Pro; 19,7% en FrontierCode 2.0, el mejor entre los abiertos, contra 46% de Opus 5.5; y 26 en el índice de inteligencia v5, abajo de los 32 de DeepSeek V4.1 Flash y GLM-5.3 y lejos de los 59 de Gemini 4 Carbon. El precio de API bajó a 0,70 dólares por millón de tokens de entrada y 2,10 de salida, contra 1,36 y 4,18 del preview, y el costo por tarea del índice cayó de 5,54 a 2,06 dólares. Para autohospedarlo hacen falta ocho B300 según los docs de SGLang, o cuatro GB300 en la variante comprimida. Las salvedades, varias: la afirmación de ser el modelo abierto líder en ciber no se sostiene ni con el gráfico propio —51% en el Cyber Index, tercero detrás de DeepSeek V4.1 Flash con 57% y MiMo-V2.6-Pro con 56%—, en pruebas ciegas de Surge le ganó a Opus 5.5 en solo 22% de los enfrentamientos, la variante de pentesting queda limitada a socios con revisión y restricciones contractuales, y los pesos de Kimi K3.1 Pro se esperan para el 4 de noviembre, lo que podría borrar su ventaja en código. The Decoder · TechCrunch · Mistral
The Decoder TechCrunch Mistral DeepSeek Mistral Claude Gemini Kimi Claude Code
-
Google abre Gemini 4 Carbon al público general a un cuarto del precio de Fable 5.2, con un modo de enjambre de agentes en Antigravity (10/11)
Sigue de lo de ayer: el modelo estaba anunciado desde el 28/10 pero reservado a defensores de ciberseguridad verificados, y la comparación de precios con Fable 5.2 era la pregunta abierta. El precio introductorio es 2 dólares por millón de tokens de entrada y 10 de salida hasta el 30/11, y después 4 y 20 — contra 8 y 40 de Fable 5.2. Pero el precio por token no cierra la cuenta: Artificial Analysis estima unos 7,76 dólares por tarea con Carbon en razonamiento alto contra 26,54 de Fable 5.2 en esfuerzo máximo, y al mismo tiempo pone a Fable adelante en el índice general, 65 a 60. El reparto de benchmarks es mixto y conviene mirarlo tarea por tarea: Carbon gana Terminal-Bench 4.0 (65,2% contra 61,6%) y Zapier AutomationBench, Fable gana FrontierCode 2.0, FrontierSWE v2 y Terminal-Bench-Science. Lo nuevo del día, además del acceso, es /swarm en Antigravity: un equipo de agentes se reparte un proyecto y se revisa entre sí, con Carbon haciendo arquitectura y coordinación mientras modelos más chicos implementan en workspaces aislados. Contexto de un millón de tokens, sin pesos abiertos, y la variante cyber sigue limitada al programa Fairwind. VentureBeat · Engadget · The Verge
El hilo se arma solo en cada build: junta noticias de días distintos que nombran a la misma entidad y repiten vocabulario que casi no aparece en el resto del archivo. Nadie lo edita a mano, así que puede dejar afuera una noticia o sumar una de al lado.