F5 dan NVIDIA Perluas Layanan, Tekan Biaya Inferensi AI
Perluasan Layanan F5 untuk Mempercepat Infrastruktur Inferensi AI
F5, perusahaan yang bergerak di bidang pengiriman dan perlindungan aplikasi serta API, telah memperluas layanannya dengan tujuan mempercepat dan mengoptimalkan infrastruktur inferensi AI. Kolaborasi berkelanjutan antara F5 dan NVIDIA menjadi kunci dalam upaya ini.
Inferensi AI adalah bagian penting dari ekosistem teknologi yang memungkinkan model kecerdasan buatan (AI) menjalankan tugas tertentu setelah selesai dilatih. Dalam dunia AI, terdapat dua fase utama, yaitu fase "sekolah" di mana model belajar dari data besar, dan fase "bekerja" di mana model tersebut menerima data baru dan memberikan respons secara real-time.
Seiring berkembangnya penggunaan AI, perusahaan dan penyedia layanan GPU-as-a-Service mulai beralih dari fase eksperimen ke fase penyediaan layanan yang menghasilkan pendapatan. Efisiensi infrastruktur menjadi metrik utama dalam proses ini.
Keberhasilan tidak lagi diukur dari kapasitas GPU yang tersedia, melainkan dari 'ekonomi' token, throughput token yang berkelanjutan, time to first token (TTFT), biaya per token, hingga pendapatan per akselerator GPU. Solusi yang dikembangkan oleh F5 dan NVIDIA dirancang untuk menjawab semua metrik tersebut.
Kunal Anand, Chief Product Officer F5, menyatakan bahwa selama ini banyak organisasi melakukan overprovisioning atau penyediaan sumber daya berlebih untuk menutupi inefisiensi sistem. Hal ini berdampak pada meningkatnya biaya operasional tanpa peningkatan throughput yang signifikan.
Infrastruktur yang lambat dalam memproses data tidak hanya merusak pengalaman pengguna, tetapi juga membatasi potensi pendapatan per akselerator GPU. Untuk mengatasi masalah ini, F5 dan NVIDIA berkolaborasi menciptakan solusi infrastruktur cerdas.
Melalui integrasi F5 BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU, kedua perusahaan menciptakan lapisan telemetri cerdas. Sistem ini memungkinkan pengambilan keputusan routing berbasis inferensi sebelum eksekusi dilakukan, sehingga beban kerja mendapatkan akselerator paling tepat secara real-time.
“Infrastruktur AI bukan hanya tentang akses ke GPU atau peningkatan skala implementasinya. Ia telah berevolusi menjadi upaya memaksimalkan output ekonomi per akselerator,” ujar Kunal.
Dia menambahkan bahwa bersama NVIDIA, F5 membuat AI factory memperlakukan produksi token sebagai metrik bisnis yang terukur. BIG-IP Next for Kubernetes menyediakan intelligence dan tata kelola yang dibutuhkan untuk meningkatkan GPU yield, mengurangi biaya per token, serta mengembangkan platform AI dengan lebih percaya diri.
Pendekatan ini memberikan keuntungan teknis yang terukur. Berdasarkan pengujian oleh The Tolly Group, infrastruktur yang dipercepat oleh NVIDIA BlueField-3 DPU mampu menghasilkan peningkatan token throughput hingga 40%, mempercepat time to first token (TTFT) sebesar 61%, serta menekan latensi permintaan keseluruhan hingga 34%.
Pencapaian ini terjadi dengan mengalihkan fungsi berat seperti networking, enkripsi TLS, hingga manajemen trafik ke DPU. Langkah tersebut membebaskan GPU untuk fokus pada fungsi utamanya, yakni inferensi berkelanjutan dengan skala besar.
Seluruh peningkatan performa ini tidak memerlukan modifikasi model sama sekali, sehingga solusi ini dapat langsung diterapkan pada infrastruktur yang sudah berjalan.
“Infrastruktur komputasi terakselerasi dari NVIDIA yang dipadukan dengan Application Delivery and Security Platform berbasis AI dari F5 membuka potensi ‘tokenomics’ AI factory, yakni menghadirkan inferensi yang skalabel dan hemat biaya tanpa perlu melakukan perubahan apa pun pada model,” kata Kevin Deierling, SVP, Networking, NVIDIA.
Solusi ini menjadi jawaban bagi kebutuhan arsitektur masa depan yang mendukung AI berbasis agen (agentic AI). Dengan kemampuan mengelola multi-tenancy yang aman dan kontrol trafik cerdas, organisasi kini memiliki control planestrategis untuk mengelola konsumsi token.
Pada akhirnya, inovasi ini membantu perusahaan meraih nilai ekonomi lebih besar dari setiap GPU yang ada, sekaligus menekan biaya operasional untuk mendukung pertumbuhan bisnis jangka panjang.
Posting Komentar