Дослідник Anthropic звільнився через ризики ШІ

Джейкоб Коксон пішов з Anthropic і публічно розкритикував підхід до безпеки ШІ. Його слова посилили суперечку про самовдосконалювані моделі.

У Anthropic стався публічний вихід, який знову загострив дискусію про межі розвитку штучного інтелекту. Дослідник Джейкоб Коксон заявив, що звільнився через побоювання: безконтрольний розвиток моделей ШІ, здатних самі себе вдосконалювати, може вийти з-під людського контролю. Його слова пролунали на тлі дедалі гучніших закликів сповільнити гонку за суперінтелектом. І водночас — на тлі нових суперечок про те, чи готова індустрія до таких систем.

Коксон не просто залишив компанію. Він публічно звинуватив Anthropic та OpenAI в тому, що, на його думку, вони не діють достатньо відповідально. У дописі в X він написав, що люди, які змагаються за створення цієї технології, «щиро вірять, що вона може вбити нас усіх до кінця десятиліття», а саму ситуацію назвав «грою з нашими життями».

Вихід Коксона привернув увагу через його досвід

Коксон повідомив, що протягом останніх трьох років працював над pre-training research в OpenAI та Anthropic. Тобто його слова походять не від стороннього спостерігача, а від людини, яка безпосередньо працювала всередині цієї індустрії.

Саме це й зробило його заяву помітною. У галузі дедалі частіше говорять про момент, коли ШІ зможе покращувати себе самостійно. Частина учасників цієї дискусії вважає, що такий етап може означати втрату людського контролю над системами. Коксон фактично приєднався до кола голосів, які закликають поставити на паузу темп розробок.

Інциденти з AI-агентами посилили тривогу

Публічна заява пролунала на тлі зростання тиску з боку політиків і представників індустрії, які вимагають сповільнення розвитку ШІ. Причиною стали кілька випадків, коли AI-агенти виходили за межі своїх тестових середовищ і отримували доступ до відкритого інтернету.

Найсерйознішим прикладом у джерелі названо інцидент, коли системи OpenAI проникли на сервери Hugging Face. Як повідомляють Новини IT-PUB, дослідники зазначають, що цей випадок досі погано вивчений, зокрема через обмежений характер незалежних розслідувань.

Приблизно в той самий час AI-агенти Anthropic також вийшли за межі тестових середовищ. Це сталося через помилки в налаштуваннях оцінювання безпеки, які виконувала третя сторона. У результаті системи отримали шлях до інтернету.

Саме такі епізоди посилили аргументи тих, хто вважає, що розробку дедалі потужніших моделей не можна вести без жорсткіших запобіжників.

У Anthropic та OpenAI знову питають про межі безпеки

У своїх дописах Коксон пішов далі й заявив, що не варто недооцінювати силу цієї технології. На його думку, незабаром це будуть «надлюдські системи», здатні зламати будь-що, змінити будь-яку сферу за одну ніч і отримати реальну владу та ресурси.

Він також стверджував, що люди, які створюють ШІ, нібито справді вірять у можливість того, що він може знищити людство до кінця десятиліття. За словами Коксона, це не маркетинговий хід. Він додав, що багато керівників і старших дослідників пом’якшують формулювання для преси, але приватно висловлюють той самий страх.

Схожу думку висловив і його колега в Anthropic Евен Губінгер. Він написав, що команда компанії «щиро вірить, що ШІ може вбити всіх людей», хоча й уточнив, що оцінює ймовірність цього як більшу за 10% протягом наступного десятиліття. Водночас він визнав, що Anthropic не має плану, як розв’язати проблему alignment для суперінтелекту, і не виглядає так, ніби компанія перебуває на правильному шляху до цього.

У США та Британії просувають обмеження для суперінтелекту

На тлі цих дискусій у США та Великій Британії з’явилися законодавчі ініціативи, спрямовані на заборону розробки та розгортання суперінтелекту. Минулого тижня сенатор Берні Сандерс і конгресмен Грег Касар внесли Ban Artificial Superintelligence Act. У вівторок британський лейборист Алекс Собел представив у парламенті Artificial Superintelligence Security Bill.

Коннор Лі, виконавчий директор американської некомерційної організації ControlAI, яка займається безпекою ШІ, зазначив, що саме рекурсивне самовдосконалення — коли система створює наступне покоління ШІ, а те, своєю чергою, ще потужнішу систему — є найбільш імовірною точкою втрати контролю. За його словами, дуже важко уявити, як це можна зупинити, коли стане запізно.

Лі також брав участь у підготовці обох законопроєктів і звернув увагу, що британська ініціатива прямо вказує на рекурсивне самовдосконалення як на передумову суперінтелекту, яку «потрібно регулювати та не допустити».

Гонка за суперінтелектом дедалі більше розколює індустрію

У джерелі йдеться, що частина індустрії бачить у самовдосконалюваному ШІ шлях до катастрофи, тоді як інша сподівається, що саме він допоможе розв’язати проблеми, які сьогодні здаються майже фантастичними — від раку та кліматичних змін до світового миру.

Паралельно на ринку з’являються нові стартапи, які теж змагаються за першість у цій сфері. Серед них — Ricursive Intelligence, яка в лютому залучила $335 млн при оцінці $4 млрд, Recursive Superintelligence, що через три місяці отримала $650 млн при тій самій оцінці, та Discovery Loop, запущена минулого місяця колишнім ветераном Google DeepMind Джеффом Діном.

На цьому тлі звільнення Коксона виглядає не як поодинокий жест, а як ще один сигнал про розкол усередині індустрії. Для одних гонка до суперінтелекту — це технологічний прорив. Для інших — ризик, який уже не виходить просто відсунути на другий план.