Adopsi AI saat ini terhambat oleh biaya token yang tinggi dan kurangnya kejelasan harga awal untuk permintaan AI, yang mengakibatkan pengeluaran token yang berlebihan yang tidak terkendali.Risiko ini sangat diperkuat oleh agen AI, yang saat ini beroperasi tanpa pembatasan biaya token bawaan dan dapat memicu ledakan biaya yang ekstrim.
Artikel ini menjelaskan apa itu token AI, cara kerja harga token, dan strategi yang dapat ditindaklanjuti untuk mencegah pengeluaran token bencana.Kasus perusahaan yang didokumentasikan dengan baik melihat sebuah organisasi mengumpulkan $ 500,000Perangkat lunak ini juga dapat digunakan untuk mengkonversi data dari komputer ke perangkat lunak lain.Token adalah unit dasar yang digunakan oleh model bahasa besar (LLM) dan chatbot untuk memecah perintah bahasa manusia dan menghasilkan output AI yang koheren.
Sebagai contoh, prompt input "Beritahu saya tentang sedimentasi" dibagi menjadi komponen token diskrit:
- Katakan
- Aku.
- Sekitar
-sedimen
-penyembuhan
Pembagian lima token ini untuk kata tunggal "sedimentasi" membantu LLM secara akurat menafsirkan struktur dan makna kata.Pembagian akar sediment dan akhiran ation memungkinkan model untuk mengenali akhiran s penggunaan konsisten di berbagai kata benda, termasuk kapitalisasi, komputerisasi dan perpajakan.Mengurangi waktu pemrosesan daripada memindai setiap kata yang berisi akhiran secara individual.
Sebagai unit data inti, token dikonversi menjadi embeddings vektor string numerik matematis yang mengkodekan makna semantik dan disimpan dalam indeks model.model menghasilkan beberapa vektor untuk mewakili atribut multidimensi, seperti organisme hidup, hewan peliharaan, sifat kucing, ukuran fisik dan banyak lagi.dan mainan kucing sintetis.
Sebuah hipotesis embedding vektor lima dimensi untuk istilah cat dapat dinyatakan sebagai [1.5-0.4, 7.2, 19.6, 20.2].
Semua data vektor ada dalam ruang vektor yang bersatu, memungkinkan model untuk mengidentifikasi konten semantik yang serupa dengan mengukur kedekatan spasial antara titik vektor.
Setelah dikonversi menjadi vektor, token diproses pada server GPU mahal yang dilengkapi dengan memori bandwidth tinggi.NVIDIA DGX SuperPOD dengan 32 node dan 256 total GPU biaya antara $ 12 juta dan $ 20 juta. Arsitektur referensi yang lebih maju dengan 140 DGX H100 node, Quantum-2 InfiniBand jaringan, penyimpanan lengkap dan infrastruktur jaringan, dan sistem pendukung dapat melebihi $ 100 juta.Biaya infrastruktur yang cukup besar ini langsung tercermin dalam skema harga token dari model yayasan mainstream.
Penyedia LLM dan chatbot terkemuka termasuk OpenAI dan Anthropic mengadopsi model penagihan berbasis token, dengan aturan konversi token yang dapat diprediksi untuk konten teks.satu token bahasa Inggris sama dengan sekitar empat karakter atau 0.75 kata, yang berarti 750 kata sesuai dengan sekitar 1.000 token. Terutama, baik prompt input dan respons output yang dihasilkan mengkonsumsi token.,Output AI 1.000 kata mengkonsumsi sekitar 3.667 token secara total.
Konsumsi token yang lebih tinggi secara langsung memperpanjang latensi respons AI. Semua token dari satu sesi respon instan terkandung dalam jendela konteks kapasitas terbatas.Jendela konteks 000-token dapat menampung sekitar 75,000 kata bahasa Inggris, setara dengan buku 300 halaman.
Kapasitas jendela konteks yang tidak cukup menyebabkan LLM kehilangan informasi kontekstual, yang mengarah pada output AI yang tidak lengkap atau tidak akurat.GPT-4o mendukung hingga 128,000 token, Claude 3.5 Sonnet mencapai 200.000 token, dan pilih Gemini 1.5 Pro pengguna perusahaan dapat mengakses jendela konteks 2 juta token.
Intuition Labs ChatGPT pemecahan harga menjelaskan mekanisme penagihan industri:
Menurut Intuition Labs, OpenAI's ChatGPT API beroperasi pada struktur penagihan berbasis token murni.dengan token output biasanya lebih mahal. Harga juga berfluktuasi berdasarkan status respons cache. Setiap panggilan API menimbulkan dua biaya yang berbeda: satu untuk token input instan dan satu untuk token output yang dihasilkan oleh AI. Sebagai contoh praktis,menggunakan model dengan harga $ 10 per juta token output untuk 100 token input dan 400 token output menghasilkan biaya input sebesar $ 10 × 100 / 1.,000,000) dan biaya output sebesar $10×(400/1,000, 000), dengan total pengeluaran sama dengan jumlah kedua angka.
Perusahaan dapat menerapkan kontrol tata kelola yang ditargetkan untuk membatasi pengeluaran token, termasuk kuota per pengguna atau per kursi, pengurangan lalu lintas berdasarkan penggunaan, batas pengeluaran per proyek,dan pembatasan tingkat modelBidang tata kelola ini berkembang pesat, karena vendor AI bersaing untuk mengoptimalkan kualitas layanan, menyeimbangkan aliran pendapatan, dan bersaing dengan model AI open source.
Agen AI memperkenalkan lapisan risiko biaya token yang sama sekali baru. Tanpa pengaman operasional yang ketat, agen otonom dapat memicu konsumsi token yang besar dan tidak terencana.Pakar industri merekomendasikan memperlakukan agen AI sebagai karyawan digital, dengan tim FinOps menerapkan pemantauan pengeluaran yang ketat sepanjang waktu untuk menghindari bencana biaya.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direktur Strategi Global
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Situs web: www.qianxingdata.com/www.storagesserver.com
Fokus Bisnis:
Distribusi Produk ICT/Integrasi Sistem & Layanan/Solusi Infrastruktur
Dengan 20+ tahun pengalaman distribusi TI, kami bermitra dengan merek global terkemuka untuk memberikan produk yang dapat diandalkan dan layanan profesional.
¢Menggunakan Teknologi untuk Membangun Dunia yang Cerdas ¢Penyedia Layanan Produk ICT yang Anda Percayai!
Pesan Anda harus antara 20-3.000 karakter!
Indonesian
