OpenAI показала чип Jalapeño для швидшого AI

На Hot Chips компанія вперше розкрила бенчмарки Jalapeño. OpenAI заявляє про вищу енергоефективність і менші затримки під час AI-інференсу.

OpenAI на конференції Hot Chips у вівторок детальніше показала свій чип Jalapeño і вперше оприлюднила результати тестів нової системи. За даними компанії, у бенчмарку SemiAnalysis’ InferenceX він продемонстрував кращі показники за кількістю токенів на користувача та пропускною здатністю на кіловат, ніж наявні на ринку інференс-процесори.

Увагу привернув не лише сам чип. OpenAI фактично виходить на рівень, де починає проєктувати інфраструктуру під власні AI-сервіси, а це важливо для всього ринку: швидкість і енергоефективність обчислень напряму впливають на те, наскільки швидко та стабільно працюють продукти зі штучним інтелектом.

Для користувачів і бізнесу сенс тут цілком практичний. Якщо заявлені показники підтвердяться в реальному розгортанні, сервіси можуть швидше відповідати на запити й ефективніше працювати під високим навантаженням.

OpenAI вперше розкрила бенчмарки Jalapeño

Головна новина з Hot Chips — Jalapeño вже має перші публічні бенчмарки. Richard Ho, керівник напряму hardware в OpenAI, під час пресдзвінка заявив, що результати показують «дуже, дуже значний» приріст продуктивності порівняно з рівнем, який зараз вважається найкращим у галузі.

За його словами, Jalapeño може виконувати більше AI-роботи на одиницю енергії й водночас швидше повертати відповіді. Тобто йдеться не лише про потужність, а й про ефективність — параметр, який критично важливий для великих сервісів із великою кількістю одночасних запитів.

OpenAI окремо підкреслила, що система має бути корисною і в сценаріях, де критично важлива низька затримка. Інакше кажучи, чип має не просто витримувати великі навантаження, а й не змушувати користувача чекати довше, ніж потрібно.

Jalapeño порівнюють із Nvidia Blackwell

У публічному порівнянні Jalapeño зіставляють із системою на базі Nvidia Blackwell. Це показова деталь, адже саме Nvidia зараз задає планку в сегменті AI-обчислень, тож будь-яка нова розробка одразу потрапляє в дуже конкурентне середовище.

При цьому OpenAI сама визнає, що до моменту повноцінного розгортання ситуація на ринку може змінитися. Richard Ho оцінив, що Jalapeño почнуть впроваджувати наприкінці 2026 року в «дуже малих обсягах», а більш значне розгортання очікується у 2027 році.

Як повідомляють Новини IT-PUB, саме цей часовий розрив змушує обережно трактувати нинішні результати. Сьогоднішні тести показують потенціал, але до широкого використання ще є час, і за цей період конкуренти теж можуть просунутися вперед.

Чип OpenAI розробляла разом із Broadcom

Jalapeño вперше анонсували ще в жовтні минулого року. Тепер OpenAI уточнила, що створювала його у тісній співпраці з Broadcom, а в процесі розробки допомагали й власні моделі OpenAI.

Компанія планує зробити Jalapeño багатопоколінною платформою. Це означає, що AI-продукти, моделі, чипи та пам’ять у ній мають розвиватися узгоджено, а не окремо одне від одного. Такий підхід дає змогу проєктувати всю систему як єдине ціле, а не просто підбирати готові компоненти.

Для користувачів це теж має прикладне значення. Коли апаратна частина і моделі створюються під спільні задачі, інфраструктура потенційно краще витримує навантаження і швидше відповідає на запити.

OpenAI хоче зменшити затримки під час інференсу

OpenAI пояснює, що її повний стек — тобто спільна розробка софту, моделей і заліза — допоміг точніше працювати з етапами інференсу, які часто створюють затримки. Насамперед ідеться про фази prefill і communication, які компанія називає типовими вузькими місцями під час обробки запитів.

У блозі OpenAI зазначила, що Jalapeño створили так, аби мінімізувати переміщення даних і затримки в комунікації. За описом компанії, стан моделі, включно з KV cache, який використовується під час генерації відповіді, можна явно розміщувати й залишати локально, паралельно активуючи потрібне поєднання обчислень, пам’яті та мережі для кожної фази інференсу.

Простіше кажучи, OpenAI намагається зробити так, щоб система менше «бігала» даними між різними частинами інфраструктури. Саме ці переміщення часто сповільнюють роботу великих AI-сервісів, особливо під високим навантаженням.

OpenAI показала напрямок для AI-інфраструктури

Jalapeño поки не є масовим продуктом, який уже сьогодні змінює досвід користувачів. Але сама поява таких бенчмарків показує, що великі AI-компанії дедалі активніше переходять від використання готових чипів до створення власної інфраструктури під конкретні задачі.

Для бізнесу це важливий сигнал: у сфері штучного інтелекту дедалі більшу роль відіграють не лише моделі, а й те, на чому вони працюють. Швидкість відповіді, енергоефективність і здатність обслуговувати багато запитів одночасно стають не менш важливими, ніж якість самого AI.

До повноцінного розгортання Jalapeño ще далеко, тому зараз ідеться радше про заявлений потенціал, а не про вже доведену зміну ринку. OpenAI показала, у який бік хоче рухатися, але реальну конкурентність чипа оцінюватимуть уже ближче до запуску.