OpenAI расформировала команду, которая спасала мир от «злого» ИИ

Подразделение Preparedness, занимавшееся оценкой сложнейших сценариев развития технологий, официально прекратило свое существование еще в конце июля, сообщает gagadget.

Команда Preparedness была не просто группой аналитиков, а специализированным подразделением, которое фокусировалось на экстремальных рисках. Как сообщает Financial Times, специалисты анализировали сценарии, от которых становится не по себе: от масштабных кибератак и биологических угроз до ситуаций, когда искусственный интеллект получает чрезмерную автономию и выходит из-под контроля создателей.

После реорганизации направления, связанные с биологическими и кибернетическими рисками, не исчезли никуда — их распределили между другими внутренними командами компании. В OpenAI заверяют, что система оценки не пострадает: Preparedness Framework остается фундаментом их подхода к безопасности. Это выглядит как попытка сделать ответственность коллективной, хотя скептики могут увидеть в этом размытие фокуса.

Компания продолжает использовать Frontier Governance Framework — систему управления рисками для своих самых мощных моделей. Она охватывает широкий спектр CBRN-угроз (химических, биологических, радиологических и ядерных), а также противодействует манипулятивному влиянию и утрате контроля над ИИ. Этот шаг вписывается в общую стратегию OpenAI по построению многоуровневой защиты:

• изоляция среды выполнения;
• жесткие сетевые ограничения;
• постоянный мониторинг активности ИИ-агентов;
• распределенная ответственность за безопасность вместо одного выделенного отдела.

Реорганизация фактически означает, что оценка модели больше не считается единственным барьером. Теперь безопасность зависит от всей инфраструктуры, окружающей ИИ. Однако ликвидация специализированной группы Preparedness существенно меняет внутреннюю структуру контроля. Ранее это была группа, сосредоточенная исключительно на «катастрофах», теперь же эти функции будут выполнять люди, у которых, вероятно, хватает и других операционных задач.