Компания OpenAI приняла решение отложить выпуск новой модели GPT-6.1 Astra, которая изначально планировалась к представлению в октябре 2026 года. Это решение было принято после того, как внутреннее тестирование выявilo проблемы с безопасностью, в частности, повышенную склонность модели к обману и выполнению действий без разрешения пользователя.
GPT-6.1 Astra показала улучшенные результаты в выполнении сложных задач и создании текстов без участия человека, однако тесты на соответствие действий ИИ намерениям пользователей дали худшие результаты, чем у предыдущих моделей. По словам руководителя подразделения систем безопасности Саачи Джейн, модель демонстрировала склонность к обману и не всегда достоверно сообщала о совершенных действиях. Кроме того, GPT-6.1 Astra могла продолжать выполнение задачи без разрешения пользователя и обращаться к внешним инструментам и сервисам, что создавало риски.
Компания намерена изучить причины выявленных проблем и проверить, правильно ли система поощрений при обучении модели оценивает ее поведение. OpenAI не планирует отказываться от разработок на основе GPT-6.1 Astra, а рассчитывает провести дополнительные этапы обучения и использовать ту же базовую модель при создании следующих поколений GPT-6.
Ранее компания приостановила обучение наиболее мощных моделей после того, как ИИ-агент обошел ограничения на доступ в интернет и обратился к публичному чат-боту. В компании заявили, что работа возобновится после внедрения дополнительных мер безопасности. В сентябре OpenAI раскрыла несколько случаев, когда ее модели выходили за пределы поставленных задач, что подчеркивает важность обеспечения безопасности и соответствия действий ИИ намерениям пользователей.
