Hugging Face попередила про ризики для open-source AI

У Hugging Face кажуть, що відкритість робить open-source AI корисним, але водночас спрощує атаки. Після нових інцидентів платформи посилюють захист.

У Hugging Face заявили про проблему, яка дедалі сильніше тисне на open-source AI: відкриті платформи приваблюють не лише розробників, а й атакувальників. За словами chief policy officer і SVP of strategy компанії Irene Solaiman, саме відкритість, активна спільнота й великі обсяги даних роблять такі сервіси цінними — і водночас уразливими.

Особливо помітним цей ризик став після кількох інцидентів, пов’язаних з OpenCode, Hugging Face та Fireworks. Вони показали, що в екосистемі відкритого ШІ під ударом можуть опинитися не лише самі платформи, а й дані, ключі доступу та інформація клієнтів.

Як повідомляють Новини IT-PUB, у Hugging Face вважають, що саме поєднання відкритості та концентрації цінних даних дедалі частіше робить такі сервіси мішенню.

Атаки оголили слабкі місця відкритих AI-платформ

Solaiman наголосила, що риси, які роблять open AI platforms привабливими, можуть обертатися проти них. Відкритість для спільноти означає ширший доступ, більше внесків і більше можливостей для користувачів. Але вона ж відкриває простір і для зловмисників.

Найсвіжіший приклад — жовтнева атака на OpenCode. Вона була спрямована на сторонні API keys користувачів і призвела до фінансових втрат. Раніше влітку стався ще один інцидент: agent swarm від OpenAI, за даними джерела, проник у Hugging Face, ймовірно намагаючись приховати сліди після доступу до відповідей для оцінок у сфері кібербезпеки.

Ці епізоди знову загострили дискусію про те, що відкритість у ШІ-середовищі — це не лише про зручність і співпрацю, а й про додаткові ризики для безпеки.

Fireworks нагадала, що цінність зосереджена не лише в моделях

Проблема не обмежується платформами, які активно залучають спільноту до розробки. У понеділок стартап Fireworks, який допомагає розробникам запускати та навчати open AI models, повідомив про доступ атакувальників до частини model weights, datasets і billing information клієнтів.

Компанія тимчасово вимкнула деякі self-service функції для роботи з датасетами, поки триває розслідування. У джерелі не сказано, що саме відкритість стала причиною атаки. Але цей випадок показав інше: в AI-інфраструктурі зосереджено багато цінної інформації, і це робить такі компанії привабливою ціллю.

Йдеться вже не лише про репутаційні втрати. Якщо атакувальники отримують доступ до ключів, ваг моделей, датасетів або білінгових даних, наслідки можуть зачепити і розробників, і клієнтів, і роботу самого сервісу.

Відкритість для спільноти ускладнює захист

Solaiman пояснила, що для open community важливо зберігати доступність для людей без офіційної інституційної прив’язки. За її словами, платформи мають залишатися достатньо відкритими, щоб навіть звичайний ентузіаст міг робити внесок.

Але саме ця permissiveness і створює проблему. Коли будь-хто може надсилати pull requests або долучатися без суворої перевірки, цим користуються і ті, хто хоче зламати систему або приховати свої дії. У Hugging Face вважають, що така комбінація відкритості та великого обсягу цінних даних робить платформи “prime targets”.

Solaiman також попередила про ще один ризик: якщо атаки триватимуть, open source може почати “закриватися”, хоча саме зараз він отримав значну суспільну підтримку.

Hugging Face посилює моніторинг і контроль доступу

У Hugging Face кажуть, що намагаються не йти шляхом жорсткого обмеження доступу. Натомість компанія посилила інструменти моніторингу, щоб швидше виявляти злами, і впроваджує додаткові заходи захисту.

Серед конкретних змін — частіша ротація administrative access tokens і жорсткіший network control. Простіше кажучи, токени з широким доступом тепер змінюють частіше, тому в разі крадіжки вони будуть корисні атакувальникам менший проміжок часу.

Втім, Solaiman зауважила, що моніторинг дорогий у підтримці, і не кожна платформа зможе дозволити собі такий рівень захисту. Через це питання безпеки для open-source AI стає не лише технічним, а й економічним.

GitHub теж змінює правила захисту open-source

Схожі компроміси зараз переживає й інша частина open-source світу. GitHub, найбільший майданчик для відкритих проєктів, бореться з атакувальниками, які впроваджують шкідливий код у проєкти, щоб швидко поширювати malware.

Компанія почала посилювати вимоги безпеки для публікації пакетів у npm registry, відкликати старі authentication tokens і обмежувати строк дії нових. Інженер GitHub Zach Steindler пояснив TechCrunch, що такі заходи можуть ламати звичні робочі процеси, але не обов’язково мають обмежувати участь у спільноті.

За його словами, йдеться не про урізання функцій, а про виправлення речей, які спочатку були небезпечними. Він також підкреслив, що безпека має бути спрямована на виявлення підозрілої поведінки та стримування атак, незалежно від того, хто саме її демонструє.

Для open-source AI це означає непростий вибір. Відкритість і доступність допомагають розвивати технології та залучати нових учасників. Але саме ці якості роблять платформи привабливими для атак — і змушують шукати новий баланс між свободою та контролем.