OpenAI запускає Flex Processing: економічне рішення для нетермінових завдань ШІ
У квітні 2025 року OpenAI представила нову опцію API — Flex Processing, яка дозволяє зменшити витрати на використання моделей штучного інтелекту в обмін на повільніший час відповіді та можливу тимчасову недоступність ресурсів. Цей режим орієнтований на задачі з низьким пріоритетом, такі як оцінка моделей, збагачення даних та асинхронні обчислення
Що таке Flex Processing?
Flex Processing — це новий режим роботи API, доступний у бета-версії для моделей o3 та o4-mini. Він призначений для задач, які не потребують миттєвого виконання, дозволяючи користувачам зменшити витрати на обчислення.
Переваги Flex Processing
- Зниження вартості: Вартість використання моделей у режимі Flex зменшується вдвічі. Для моделі o3 ціна становить $5 за мільйон вхідних токенів та $20 за мільйон вихідних токенів, тоді як стандартна вартість — $10 та $40 відповідно. Для o4-mini ціна знижується до $0,55 за мільйон вхідних токенів та $2,20 за мільйон вихідних токенів
- Оптимізація ресурсів: Режим Flex дозволяє ефективно розподіляти обчислювальні ресурси, спрямовуючи їх на задачі, які не потребують негайного виконання.
Обмеження Flex Processing
Використання Flex Processing передбачає деякі компроміси:
- Повільніший час відповіді: Завдання можуть виконуватися з затримкою порівняно зі стандартним режимом.
- Можлива недоступність ресурсів: У деякі моменти ресурси можуть бути тимчасово недоступні через розподіл навантаження.
Доступність та вимоги
Flex Processing наразі доступний у бета-версії для моделей o3 та o4-mini. Для доступу до моделі o3 користувачі з рівнями використання 1–3 повинні пройти процедуру верифікації особистості, що є частиною політики OpenAI щодо запобігання зловживанням
Запуск Flex Processing від OpenAI є стратегічним кроком у напрямку оптимізації витрат на використання штучного інтелекту. Це рішення дозволяє компаніям ефективно використовувати моделі ШІ для задач з низьким пріоритетом, зменшуючи витрати та оптимізуючи обчислювальні ресурси.
