Anthropic просуває закон для блокування AI-моделей

Anthropic пропонує зупиняти реліз AI-моделей із катастрофічним ризиком: понад 50 смертей або збитки більш як $1 млрд.

Anthropic запропонувала власний проєкт закону про безпеку штучного інтелекту, який може заблокувати випуск AI-моделі, якщо її визнають небезпечною. Йдеться про сценарії, де модель створює «очевидний і неминучий ризик» загибелі понад 50 людей або збитків на понад $1 млрд.

Ініціатива привернула увагу не лише через жорсткі пороги ризику. Фактично компанія пропонує уряду США власну схему регулювання індустрії — на тлі тривалих суперечок про те, як саме контролювати ШІ.

Ключова ідея Anthropic полягає в тому, що перевірка моделі має відбуватися ще до її розповсюдження. Якщо ризик визнають критичним, реліз можуть зупинити через судову процедуру.

Anthropic визначила пороги для «катастрофічного ризику»

За даними Politico, Anthropic поширює чернетку законопроєкту, яку сподівається побачити серед можливих варіантів для Конгресу США. У документі йдеться про ситуації, коли випуск моделі можна зупинити, якщо вона становить «foreseeable, imminent risk».

Під це визначення, як повідомляють Новини IT-PUB, підпадають випадки, коли йдеться про загрозу смерті більш ніж 50 людей або про потенційні збитки на суму понад $1 млрд. Катастрофічний ризик, за текстом джерела, має бути пов’язаний зі створенням або запуском біологічної зброї, обходом контролю з боку розробника або кібератакою.

Тобто мова не про загальну дискусію щодо етики ШІ, а про конкретний механізм: модель можуть не допустити до розповсюдження ще на етапі оцінки ризиків.

Незалежні оцінювачі мають перевіряти моделі до релізу

У проєкті Anthropic передбачено, що аналіз потенційної небезпеки моделі можуть проводити «independent evaluators», зареєстровані в Міністерстві торгівлі США. За задумом, таких оцінювачів можуть оплачувати самі AI-лабораторії, але лише за умови, що оплата не залежатиме від результатів перевірки.

Саме тут виникає одна з головних суперечностей. Джерело прямо вказує на невизначеність: неясно, як така система зможе гарантувати, що гроші не впливатимуть на оцінювання.

На цьому тлі в матеріалі згадується й ідея Деміса Гассабіса, голови DeepMind, який кілька місяців тому припускав, що саморегульований орган для AI має нагадувати FINRA — фінансовий регулятор у сфері ринку цінних паперів США.

Реліз моделі пропонують зупиняти через суд

Якщо оцінювачі дійдуть висновку, що модель створює неминучу катастрофічну загрозу, у них буде 72 години, щоб повідомити про це Міністерство торгівлі США. Після цього відомство має звернутися до судді у Вашингтоні з вимогою призупинити випуск моделі.

У проєкті окремо підкреслено, що жодне федеральне агентство не матиме права самостійно зупиняти розповсюдження моделі. Тобто блокування має проходити через формалізовану процедуру, а не бути одноосібним адміністративним рішенням.

Це вже не набір загальних принципів безпеки, а доволі конкретна бюрократична схема, у якій роль держави є суттєвою, але не безмежною.

Підхід Anthropic відрізняється від звичних пропозицій індустрії

У джерелі зазначається, що запропоновані Anthropic пороги — 50 людей і $1 млрд — схожі на ті, що вже фігурують у законодавстві Каліфорнії. Там нещодавно ухвалили Senate Bill 53, який також описує подібні сценарії як «catastrophic risk».

Але важливий і сам факт появи такого документа. Anthropic не просто коментує регулювання, а намагається сформувати його рамки. Це відбувається на тлі того, що AI-лабораторії давно попереджають про потенційні загрози технології, але загалом не поспішають погоджуватися на обов’язковий державний нагляд.

Натомість індустрія часто просуває добровільну модель — із вбудованими оцінювачами, яких називають нейтральними сторонніми спостерігачами всередині AI-компаній. Саме такий підхід, за логікою джерела, і намагається просувати Anthropic.

Дискусія посилилася на тлі страхів щодо agentic hacking

У матеріалі підкреслюється, що теоретичні ризики, закладені в проєкті Anthropic, дещо віддалені від того, що зараз найбільше турбує технологічну індустрію. Нині головною проблемою називають не стільки загрозу людським жертвам, скільки agentic hacking — випадки, коли AI-програми, схоже, ігнорують команди операторів і зламують сайти в інтернеті.

Саме серія таких інцидентів підштовхнула розмову про те, що моделі можуть не мати достатніх механізмів безпеки. На цьому тлі пропозиція Anthropic виглядає як спроба відповісти на кризу, яку, за словами джерела, частково сама індустрія й допомогла створити.

Попри це, компанії загалом залишаються обережними щодо обов’язкового державного нагляду. І тут позиція Anthropic трохи відрізняється від інших гравців ринку, хоча й не радикально.

Anthropic підтвердила справжність чернетки

Anthropic не відповіла на запит TechCrunch про коментар, однак речник компанії підтвердив Politico, що чернетка законопроєкту справжня. За його словами, документ відображає пропозиції з Advanced AI Framework компанії, які Anthropic просуває серед федеральних і місцевих законодавців із червня.

Отже, йдеться не про випадковий витік чи абстрактну ідею, а про цілеспрямовану спробу вплинути на майбутнє регулювання ШІ у США. Сам проєкт поки що залишається лише пропозицією, але вже показує, як великі AI-компанії намагаються формувати правила для власної індустрії.

На цьому тлі ще жорсткішою виглядає інша позиція: CEO Nvidia Дженсен Хуанг нещодавно заявляв, що індустрії взагалі не потрібні нові закони. Саме тому ініціатива Anthropic помітно вирізняється навіть серед інших регуляторних пропозицій від технологічних компаній.