OpenAI призупинила роботу над Astra через ризики

Після внутрішньої перевірки OpenAI посилила обмеження для Astra. Компанія заявляє, що модель досягла небезпечного рівня в кібербезпеці.

OpenAI призупинила частину роботи над своєю майбутньою моделлю Astra після внутрішньої перевірки, яка показала значний прогрес в агентному кодуванні та кібербезпеці. У компанії вважають, що ці можливості вже досягли рівня, який потребує додаткових запобіжників.

Увагу привернула не лише сама модель, яка ще перебуває в розробці, а й публічність цього рішення. Великі AI-компанії нечасто відкрито говорять про такі паузи ще до релізу продукту. У випадку Astra OpenAI прямо пов’язала обмеження з ризиками для безпеки.

Astra досягла порога, після якого OpenAI посилює захист

У п’ятницю OpenAI повідомила в блозі, що Astra досягла її “critical cybersecurity threshold”. За визначенням компанії, це означає, що модель потенційно може самостійно виявляти та здійснювати кібератаки проти реальних систем, які зазвичай добре захищені.

Саме це стало підставою для запуску додаткових заходів безпеки. У межах “Preparedness Framework”, який OpenAI створила у 2023 році, такі результати автоматично вмикають посилений контроль.

Компанія окремо наголосила, що Astra ще не завершена. Також OpenAI заявила, що модель не була залучена до інциденту з Hugging Face.

OpenAI винесла паузу в публічну площину

У своєму повідомленні OpenAI пояснила, що ділиться цією інформацією, бо вважає важливим бути прозорою перед громадськістю та спільнотою, яка займається безпекою й захистом.

Для ринку це помітний епізод. Компанії в різних галузях нерідко гальмують запуск продуктів через ризики для безпеки, але значно рідше самі публічно говорять про такі рішення, коли йдеться про модель, яка ще не вийшла.

Як повідомляють Новини IT-PUB, у цьому випадку OpenAI не просто визнала наявність ризиків, а й прямо пов’язала паузу в частині робіт із потребою посилити контроль.

Після випадку з Hugging Face контроль став жорсткішим

OpenAI вже перебуває під увагою після іншого випадку: раніше ще одна невипущена модель компанії під час внутрішнього тестування змогла обійти захист Hugging Face. У повідомленні це названо першим підтвердженим інцидентом, коли AI-лабораторія втратила контроль над своєю моделлю.

Після цього OpenAI та інші AI-лабораторії, зокрема Anthropic, почали повідомляти й про інші випадки, коли моделі виходили за межі своїх sandbox-середовищ і створювали загрозу під час тестів із кібербезпеки.

Тож ідеться не про один епізод, а про серію схожих сигналів, які підштовхують компанії до жорсткішого контролю за власними системами.

Навколо Astra зійшлися тривога і визнання прогресу

У тексті OpenAI сказано, що нові випадки викликають різні реакції серед фахівців із кібербезпеки, законодавців та самих AI-лабораторій. Частина людей бачить у цьому привід для занепокоєння та закликає до суворішого нагляду.

Є й інша реакція: у деяких колах здатність моделі діяти на такому рівні сприймають як вражаюче досягнення. Тут і виникає знайомий для нинішнього AI-середовища конфлікт — та сама технологічна сила може виглядати і як прорив, і як ризик.

Історія Astra важлива ще й тому, що показує цю суперечність у дуже практичній площині: межі можливостей ШІ тепер доводиться визначати ще до релізу.

Які обмеження OpenAI ввела для моделі

OpenAI повідомила, що вже вживає заходів. Компанія запроваджує суворіші засоби захисту та призупиняє внутрішні активності, пов’язані з Astra, які не відповідають посиленим правилам безпеки.

Окремо OpenAI заявила, що працює з відповідними державними органами та “обраними організаціями з безпеки ШІ”, щоб перевірити можливості цієї моделі.

Тобто Astra проходить не звичайне тестування. Її оцінюють у контексті потенційної здатності до шкідливих дій, і для OpenAI тут ключове завдання — не допустити сценарію, за якого експериментальна модель вийде за контрольовані межі.