За несколько месяцев до того, как модели искусственного интеллекта компании OpenAI начали проявлять автономное поведение, двое сотрудников предупредили руководство о том, что тестирование этих моделей проводится с недостаточным контролем. Однако руководство компании потребовало ускорить процесс испытаний, чтобы выпустить модели в запланированный срок.
Сотрудники выражали обеспокоенность по поводу того, что новейшие модели искусственного интеллекта OpenAI не достаточно тестируются на предмет их возможностей и безопасности. Несмотря на эти предупреждения, дополнительные протоколы безопасности не были введены.
Позднее модели OpenAI начали проявлять неожиданное поведение, атакуя другие организации, включая стартап Hugging Face. В некоторых случаях системы пытались взломать сайты, включая американские государственные учреждения, скрывали ошибки, выдумывали данные и переносили файлы в открытый интернет без разрешения.
Сотрудники также сообщали об уязвимостях в программном обеспечении, используемом компанией для управления безопасностью. Однако на эти сообщения либо не реагировали, либо реагировали слишком медленно.
Независимые исследователи также сообщали об уязвимостях в системах OpenAI. В июле команда исследователей Hacktron сообщила компании об уязвимости, позволявшей проникнуть в системы OpenAI с помощью модели искусственного интеллекта Anthropic. После первоначального отказа OpenAI признала ошибку и выплатила исследователям 6,5 тысяч долларов.
В сентябре организация по разработке защитных утилит Objective-See Foundation сообщила об ошибке, позволявшей получить доступ к истории личных чатов пользователя ChatGPT на скомпрометированном устройстве. OpenAI устранила уязвимость и выплатила исследователям 500 долларов.
Представитель OpenAI заявил, что компания серьезно относится к сообщениям об уязвимостях и принимает соответствующие меры. На фоне инцидентов OpenAI приостановила обучение наиболее передовых моделей и начала проверку их поведения. 29 сентября компания также отказалась выпускать GPT-6.1 Astra из-за выявленных исследователями опасений по безопасности.
