OpenAI crea un nuevo grupo de seguridad independiente sin Sam Altman
OpenAI está transformando su Comité de Seguridad y Protección en un grupo de supervisión independiente, formado por los miembros de su junta directiva. Sam Altman, CEO de la compañía, no participa en el nuevo organismo de control. La figura de gobernanza tiene la autoridad de retrasar el lanzamiento de los programas de inteligencia artificial (IA) considerados como inseguros.
El consejo analizó los criterios utilizados para valorar la implementación y resultados de OpenAI o1, el más reciente sistema de IA de la organización. En consecuencia, ha recomendado la creación de una entidad de inspección autónoma con la facultad de detener la presentación de aquellos productos que carecen de salvaguardas.
“Garantizar la seguridad de nuestros modelos implica el trabajo de muchos equipos. Estamos desarrollando procesos y prácticas para establecer un marco integrado con principios claramente definidos. Este se basará en evaluaciones de riesgos y será aprobado por el Comité de Seguridad”, explica la compañía.
Debido a brechas recientes y pasadas en sus sistemas, los expertos del sector temen que la compañía sea incapaz de gestionar la seguridad de los datos que posee a partir de las conversaciones de los usuarios con ChatGPT.
La comisión de vigilancia es presidida por Zico Kolter, director del Departamento de Aprendizaje Automático de la Facultad de Ciencias de la Computación de la Universidad Carnegie Mellon. También forman parte del grupo Adam D’Angelo, cofundador de la plataforma Quora; Paul Nakasone, general retirado del ejército de Estados Unidos, y Nicole Seligma, exvicepresidenta ejecutiva de Sony Corporation.
Los líderes de OpenAI entregarán informes periódicos a la comisión sobre las revisiones de protección de los modelos actuales y futuros. Estos reportes incluirán detalles técnicos y datos de las acciones de monitoreo realizadas después de cada lanzamiento. “A medida que los algoritmos adquieran más capacidades, estas disposiciones se adaptarán para gestionar una mayor complejidad y riesgos”, promete la firma.
La seguridad de OpenAI genera inquietudes
La empresa detrás de ChaGPT ha sido señalada por supuestas omisiones de seguridad en sus procesos de producción y comercialización. Algunos exejecutivos de la corporación abandonaron sus puestos alegando preocupaciones al respecto. Acusan que la cúpula de liderazgo se opone a la regulación real de la IA en favor de políticas que promuevan los objetivos corporativos de la organización. La compañía ha destinado, en los primeros seis meses de 2024, cerca de 800,000 dólares en acciones de cabildeo para incidir en legislaciones federales sobre la tecnología, según cálculos de OpenSecrets.
Los expertos aseguran que la decisión de omitir la participación de Altman es el más reciente intento de la firma para abordar la preocupaciones sobre seguridad. La eficacia del esfuerzo se ha puesto en duda. Helen Toner y Tasha McCauley, exmiembros de la junta directiva de OpenAI, escribieron en un artículo de opinión publicado en The Economist que la estructura de control no garantiza la seguridad amplia de los productos. “Basándonos en nuestra experiencia, creemos que el autogobierno no puede soportar de manera confiable la presión de los incentivos de lucro”.
OpenAI pretende recaudar más de 6,500 millones de dólares en una nueva ronda de financiamiento, de acuerdo con Bloomberg. Con esta operación, la valoración privada de la firma podría superar los 150,000 millones de dólares. Para cerrar el acuerdo, la empresa podría abandonar su estructura corporativa sin fines de lucro y adoptar un modelo de negocio totalmente comercial. El cambio facilitaría la obtención de ganancias de forma ilimitada y su posible salida a la bolsa. Los especialistas sugieren que con este enfoque es posible que la organización se vea obligada a priorizar proyectos con mayor potencial mercantil. Anticipan un aumento general en los precios de las soluciones de IA existentes y un ritmo de innovación acelerado.
