In Breve
- Cos'è Jalapeño di OpenAI?
- Jalapeño è un chip progettato per migliorare le prestazioni nell'inference, presentato durante la conferenza Hot Chips.
- Quali sono i vantaggi di Jalapeño?
- Offre un maggior numero di token per utente e una maggiore throughput per kilowatt rispetto ai processori attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip progettato per l’inference che ha già mostrato risultati promettenti nei benchmark condotti da Semianalysis. Questo nuovo processore si distingue per un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inference attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, capace di coordinare chip, memoria e modelli per ottimizzare le prestazioni.
L’architettura di Jalapeño è stata concepita per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inference. Come dichiarato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata nella generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inference.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo potrebbe segnare un importante passo avanti nel campo dell’intelligenza artificiale, rendendo l’inference più accessibile e veloce per un numero crescente di utenti.
