Anthropic le abrió la cocina a un grupo externo para que audite sus modelos de IA desde adentro

Acabo de leer algo que, si lo pienso dos veces, todavía me sorprende. Anthropic, la empresa detrás del asistente Claude, dejó entrar a seis investigadores de METR a su edificio, les dio computadora corporativa, espacio de oficina y las mismas herramientas que usa su propio equipo de evaluación de riesgos. No como visitantes: como si fueran empleados.

Tres niveles y un solo invitado en el máximo

Para ubicarnos: METR es una organización sin fines de lucro que se dedica a medir qué tan bien (o qué tan mal) funcionan los sistemas de inteligencia artificial. No audita la facturación ni la contabilidad: audita la seguridad de los modelos, o sea, se fija si un sistema de IA puede portarse de manera peligrosa o engañosa.

Anthropic diseñó un esquema con tres escalones. En el más bajo trabajan grupos como SecureBio, que revisan temas puntuales y necesitan pedir permiso antes de publicar. En el medio están los que reciben más información y ya pueden sacar sus conclusiones sin autorización. El techo, el nivel tres, lo ocupa hoy METR y solo METR: pueden revisar evaluaciones, reportes de incidentes y hasta prácticas internas de la empresa, y publicar lo que encuentren sin que Anthropic pueda frenarlos.

• Computadora de la empresa y oficina física dentro de Anthropic.
• Acceso a herramientas internas y conversación libre con el personal.
• Tres áreas vedadas: datos de clientes, secreto entre abogado y cliente y detalles de arquitectura de los modelos.
• Facultad de publicar sin pedir permiso y de aclarar públicamente si la empresa pidió omitir algo.

Cuando uno escucha "auditoría interna" piensa en contadores mirando números. Acá es distinto: se trata de mirar cómo está construida la cabeza de una inteligencia artificial. Para eso sirve el escalón más alto, porque, como dice la propia Anthropic, una auditoría útil necesita cuatro cosas: gente con experiencia técnica para detectar cuando un modelo simula estar alineado, independencia real de la empresa, acceso a información que vaya más allá del modelo en sí y libertad para publicar sin candado previo. Yo lo traduzco así: de nada sirve mirar la heladera si no te dejan abrirla.

“No podemos hacer pública toda nuestra información de seguridad, porque parte de esos datos podría ser útil para actores maliciosos o es sensible desde el punto de vista comercial. Por eso optamos por un acceso profundo con un grupo acotado.”Anthropic

Me llamó la atención un detalle humano. Lucía, una becaria de 24 años que está armando su tesis sobre auditoría algorítmica, me dijo por WhatsApp que esto "es como dejar entrar al mecánico al taller con las llaves del auto". Tiene razón. METR ya venía revisando informes de riesgo de Anthropic hacía más de un año; ahora pasa de leer el parte médico a revisar al paciente.

¿Y eso para qué sirve? Sirve para que alguien independiente pueda mirar bajo el capó de una tecnología que cada vez toma más decisiones sobre nosotros. No garantiza que no haya problemas, pero al menos pone a la vista un mecanismo de control que, hasta ahora, las empresas de IA no habían aceptado con este nivel de apertura.