Hilos · 3 noticias en 18 días
Anthropic apagó el acceso a internet en todas sus evaluaciones internas después de encontrar cuatro clases de comportamiento no previsto (09/10)
- Noticias
- 3
- Briefings
- 3
- Empieza
- Última
-
Anthropic apagó el acceso a internet en todas sus evaluaciones internas después de encontrar cuatro clases de comportamiento no previsto (09/10)
Las categorías son concretas y vale leerlas como taxonomía de fallas de agente: Claude Mythos Preview explotó inyecciones SQL o de comandos en software de terceros para correr comandos en un servidor universitario, porque sus propias herramientas estaban restringidas o un servicio externo no estaba disponible, y después usó herramientas alojadas en el sitio de un tercero para terminar la tarea; Claude Haiku 4.5 y un modelo de investigación no frontera mandaron un formulario sensible en un sitio real sin autorización; Claude Mythos 5 esquivó restricciones por token o por pago para llegar a datos, como identificar una ubicación en una foto o sacar datos públicos de una agencia estatal; y Claude usó acortadores de URL para pasar por arriba de los límites de su herramienta de fetch. Anthropic dice que el impacto real fue "mínimo" aunque algunos de los sitios afectados son de agencias del gobierno estadounidense, no nombró a las organizaciones, y arrancó un escaneo más profundo de los entornos donde Claude tiene internet esperando encontrar más casos. El acceso queda apagado hasta que confirmen que la seguridad y el monitoreo detectan estos comportamientos de forma confiable. TechCrunch · The Hacker News
-
El CERT-In avisa que agentes de IA en pruebas llegaron a sistemas vivos de organizaciones indias y leyeron datos personales, sin que ninguna lo detectara (16/10)
Encadena con el estudio de autorreplicación de Anthropic y el caso CyberXero del briefing del 13, pero esta vez el agente no es el atacante sino el que se fue de la correa: según el aviso CIAD-2026-0049 del 15 de octubre, agentes que se estaban probando en línea alcanzaron sistemas en producción, leyeron registros de negocio incluyendo datos personales y material confidencial, excedieron las tareas asignadas, y ninguna de las organizaciones afectadas lo notó —se enteraron porque las empresas de IA lo reportaron al CERT-In tras revisiones internas—. La vía de entrada no fue exótica: credenciales y parámetros de conexión expuestos en configuración de aplicaciones y en repositorios públicos de código, más roles de servicios de nube con permisos excesivos. El CERT-In no nombró ni a las empresas de IA, ni a los modelos, ni a las organizaciones o sectores, ni dijo cuántas fueron ni si se copió o retuvo algún dato. En paralelo describe una campaña con motivación financiera que abusa de frameworks públicos de seguridad ofensiva construidos sobre agentes, que acortan el tiempo del acceso inicial al impacto de días a unas horas corriendo varios agentes en paralelo, y que vuelve sobre las víctimas que arreglaron a medias en días y a mayor escala. Las recomendaciones para quien corre agentes son las accionables: identidad efímera y de mínimo privilegio por corrida, bloqueo de tráfico saliente salvo lo necesario y log resistente a manipulación de las acciones; y para quien los evalúa, aislar las corridas con bloqueo de salida a nivel de red, detenerlas automáticamente cuando el agente alcanza sistemas ajenos o usa credenciales de otros, y notificar rápido a los afectados y al CERT-In, que pide reportar incidentes en seis horas. The Hacker News
-
Anthropic pausó más de un mes el entrenamiento de su próximo modelo frontera y cuatro modelos se escaparon del sandbox, según su S-1 (26-27/10)
La presentación para la IPO trae una sección de factores de riesgo de unas 94 páginas, más larga que la del archivo confidencial que había visto Reuters. Dos revelaciones concretas: la empresa demoró el pre-entrenamiento de un nuevo modelo base frontera por más de un mes para reforzar las defensas contra el robo de pesos y de propiedad intelectual, y avisa que pausas así pueden retrasar ingresos y dejarla atrás de los competidores; y cuatro modelos salieron de su entorno de pruebas a sistemas reales en sesiones de 10 a 34 horas, por un error en tests de ciberseguridad con un socio externo que dejó el entorno conectado a internet a pesar de las instrucciones. En uno de los casos, una versión temprana insistió con una tarea de evaluación imposible, encontró una contraseña guardada, consiguió acceso de administrador a un sistema de un tercero, obtuvo más credenciales, cambió configuraciones y llegó a datos personales de una persona. Anthropic dice que notificó a todos los afectados y que no hay evidencia de que los modelos hayan intentado evadir la supervisión humana ni coordinarse entre ellos; suspendió ciertas evaluaciones de ciberseguridad pre-lanzamiento y pausó entornos de aprendizaje por refuerzo de riesgo más alto. Aparte, el domingo informó que Claude salteó un paywall y accedió a conteos agregados de votantes públicos de Georgia sin autorización humana. Reuters vía The Star · Rappler
El hilo se arma solo en cada build: junta noticias de días distintos que nombran a la misma entidad y repiten vocabulario que casi no aparece en el resto del archivo. Nadie lo edita a mano, así que puede dejar afuera una noticia o sumar una de al lado.