OpenAI – terus memperkuat pengembangan infrastruktur komputasi untuk mendukung layanan kecerdasan buatan (AI). Salah satu langkah yang di tempuh perusahaan adalah mengembangkan chip AI bernama Jalapeño bersama Broadcom. Setelah di perkenalkan pertama kali pada Juni 2026, kemampuan prosesor tersebut kini mulai di perlihatkan melalui sejumlah pengujian performa.
Berbeda dengan prosesor yang di tujukan untuk berbagai kebutuhan komputasi AI, Jalapeño di kembangkan dengan fokus utama pada inference. Tahapan ini berlangsung ketika sebuah model AI yang sudah di latih menerima perintah pengguna kemudian memprosesnya untuk menghasilkan respons.
OpenAI mengklaim Jalapeño mampu memberikan kombinasi kecepatan dan efisiensi energi yang kompetitif. Bahkan, dalam beberapa skenario pengujian, performanya di sebut melampaui sejumlah sistem yang menggunakan prosesor Nvidia.
Performa Jalapeño dalam Pengujian Inference
Kemampuan Jalapeño salah satunya diuji menggunakan benchmark InferenceX yang di kembangkan SemiAnalysis. Berdasarkan hasil yang dipaparkan OpenAI, sistem berbasis chip tersebut mampu mencatat throughput sekitar 1,5 hingga 1,9 kali lebih tinggi di bandingkan sistem yang menjadi pembanding.
Keunggulan lainnya terlihat pada aspek latensi. Ketika digunakan untuk menjalankan beberapa model AI seperti GPT-OSS-120B, DeepSeek R1, dan Kimi K2.5, latensi end-to-end Jalapeño diklaim berada pada tingkat 1,7 hingga 3,6 kali lebih rendah.
Sementara itu, pada skenario inference yang mengutamakan latensi sangat rendah, peningkatan performanya disebut dapat mencapai 2,1 hingga 4,1 kali. Hasil tersebut menunjukkan bahwa sistem dirancang untuk melayani permintaan pengguna dalam jumlah besar tanpa mengorbankan kecepatan respons.
Laporan Bloomberg turut menyebut Jalapeño memiliki keunggulan dibandingkan Nvidia GB300 dalam beberapa parameter, termasuk jumlah pekerjaan AI yang dapat di selesaikan berdasarkan penggunaan daya dan kecepatan menghasilkan respons. Meski demikian, perbandingan tersebut belum memasukkan arsitektur Nvidia Vera Rubin yang hadir sebagai generasi lebih baru.
Konsumsi Daya Jalapeño Di klaim Lebih Efisien
Efisiensi energi menjadi salah satu aspek penting dalam pengoperasian pusat data AI. Pasalnya, kebutuhan komputasi yang semakin besar turut meningkatkan konsumsi listrik pada infrastruktur server.
Jalapeño memiliki rating daya sebesar 700 watt. Namun, dalam pengujian yang di tampilkan pada Hot Chips, penggunaan daya secara berkelanjutan tercatat tidak melewati 550 watt pada beban kerja yang di uji.
OpenAI tidak mengoperasikan chip tersebut secara individual. Perusahaan menerapkan konsep rack-scale computing, yakni menghubungkan sejumlah akselerator dalam satu rak sehingga dapat bekerja sebagai sebuah sistem komputasi terpadu.
Pendekatan serupa juga di gunakan pada beberapa platform komputasi AI lainnya, termasuk Nvidia NVL72 dan AMD Helios.
Satu Rak Jalapeño Di Bekali 128 Akselerator
Dalam satu konfigurasi rak, OpenAI menempatkan sebanyak 128 akselerator Jalapeño. Dengan demikian, angka performa yang merujuk pada satu sistem Jalapeño merupakan hasil kerja seluruh chip tersebut secara bersamaan.
Setiap akselerator menawarkan kemampuan komputasi hingga 13,4 petaflops ketika menggunakan format MXFP4. Selain itu, masing-masing chip mempunyai memori HBM4 berkapasitas 216 GB dengan bandwidth yang di klaim mencapai 15,4 TB per detik.
Ketika seluruh 128 akselerator di gabungkan, kemampuan komputasinya dapat mencapai sekitar 1,7 exaflops untuk pemrosesan 4-bit. Kapasitas memori HBM4 dalam satu sistem mencapai sekitar 27,5 TB, sedangkan bandwidth memorinya mendekati 2 petabyte per detik.
Besarnya bandwidth tersebut memiliki peran penting karena Jalapeño memang di fokuskan untuk kebutuhan inference. Sistem harus dapat mengakses dan memproses data model dengan cepat ketika menerima permintaan sebelum menghasilkan token sebagai jawaban kepada pengguna.
OpenAI mengumumkan chip kustom pertamanya, Jalapeño, kerja sama dengan Broadcom
Kurangi Perpindahan Data untuk Menekan Latensi
OpenAI juga merancang arsitektur Jalapeño agar perpindahan data dapat di minimalkan. Model state, termasuk KV cache yang menyimpan informasi selama proses pembuatan respons, dapat di pertahankan secara lokal.
Strategi tersebut bertujuan mengurangi kebutuhan komunikasi data antarkomponen sehingga keterlambatan dapat di tekan. Dengan demikian, proses menghasilkan jawaban berpotensi berlangsung lebih cepat sekaligus lebih efisien.
Selain itu, Jalapeño mendukung dua bagian penting dalam proses inference. Tahap pertama adalah prefill, yaitu ketika sistem membaca serta memproses prompt yang di berikan pengguna. Setelah itu, tahap decode berlangsung ketika model mulai menghasilkan token untuk membentuk respons.
Kemampuan menangani kedua tahapan tersebut menjadi bagian penting dari optimalisasi sistem inference, terutama untuk model AI berskala besar yang harus melayani banyak permintaan secara bersamaan.
OpenAI Manfaatkan AI untuk Mengembangkan Jalapeño
Menariknya, kecerdasan buatan juga di gunakan dalam proses pengembangan Jalapeño. OpenAI memanfaatkan model AI untuk membantu mengoptimalkan mesin inference-serving serta menghasilkan custom kernels ketika perusahaan memperkenalkan model baru.
Pendekatan tersebut di klaim mampu mempercepat proses pengembangan chip. OpenAI menyebut perjalanan dari tahap awal pengembangan hingga desain siap di produksi dapat di selesaikan dalam waktu sekitar sembilan bulan.
Pemanfaatan AI dalam proses desain sekaligus menunjukkan bagaimana teknologi tersebut mulai di gunakan untuk mengembangkan infrastruktur komputasi yang nantinya menjalankan model AI itu sendiri.
Jalapeño Tidak Menggantikan GPU Nvidia dan AMD
Walaupun menawarkan performa inference yang tinggi, Jalapeño bukan di rancang sebagai pengganti seluruh fungsi GPU buatan Nvidia maupun AMD.
OpenAI masih memerlukan GPU untuk menjalankan proses training atau pelatihan model kecerdasan buatan. GPU mempunyai fleksibilitas pemrograman yang lebih luas sehingga dapat di gunakan untuk berbagai jenis beban kerja komputasi.
Sebaliknya, Jalapeño merupakan akselerator yang lebih terspesialisasi. Fokus tersebut memungkinkan OpenAI mengoptimalkan perangkat keras berdasarkan karakteristik inference yang menjadi bagian penting dalam operasional layanan AI.
Dengan pembagian fungsi tersebut, GPU tetap berperan dalam proses pengembangan dan pelatihan model, sementara Jalapeño dapat di arahkan untuk membantu menangani model yang sudah tersedia ketika di gunakan oleh pengguna.
Jalapeño Mulai Di Gunakan pada Akhir 2026
OpenAI menargetkan penggunaan awal Jalapeño pada penghujung 2026. Setelah tahap implementasi awal tersebut, perusahaan berencana meningkatkan produksi chip dalam volume lebih besar mulai 2027.
Kehadiran Jalapeño menjadi bagian dari strategi OpenAI untuk memperluas kendali terhadap infrastruktur komputasinya sendiri. Kebutuhan perangkat keras terus meningkat seiring bertambahnya penggunaan ChatGPT dan berbagai produk berbasis AI lainnya.
Melalui chip yang di rancang secara khusus untuk inference, OpenAI berupaya meningkatkan efisiensi pusat data sekaligus mempercepat pemrosesan respons. Meski GPU dari produsen lain tetap di butuhkan, Jalapeño membuka peluang bagi perusahaan untuk memiliki infrastruktur yang semakin di sesuaikan dengan karakteristik layanan AI yang mereka operasikan.
