Berita
Biaya tersembunyi dalam menyebarkan kecerdasan buatan: mengapa model Claude bisa 20-30 % lebih banyak GPT di pengaturan pondasi
Adalah fakta yang diketahui bahwa keluarga model yang berbeda dapat menggunakan fitur yang berbeda. Namun, ada analisis terbatas tentang seberapa praktis “Simbol terkemuka“ Sim sama melalui fitur -fitur ini. Apakah semua fitur mengarah pada jumlah simbol khas yang sama dari teks entri tertentu? Jika tidak, berapa kode yang berbeda? Seberapa penting perbedaannya?
Dalam artikel ini, kami mengeksplorasi pertanyaan -pertanyaan ini dan mempelajari efek praktis dari berfluktuasi simbol yang khas. Kami menawarkan cerita komparatif untuk keluarga saya, model perbatasan: OpenaiChatgpt vs. priaClaude. Meskipun angka biaya yang diumumkan melalui kompetisi sangat, eksperimen mengungkapkan bahwa model manusia bisa 20-30 % lebih mahal daripada model GPT.
API-CLAUDE 3.5 Sonnet vs GPT-4O
Pada Juni 2024, struktur harga dari dua model perbatasan canggih ini sangat kompetitif. Baik Claude 3.5 Sonnet dan Openai GPT-4O memiliki biaya yang identik untuk simbol output, sementara Claude 3.5 soneta memberikan biaya 40 % lebih rendah untuk simbol input.
sumber: untuk berpikir
Tersembunyi “simbol terkemuka”
Meskipun tingkat kode input untuk model manusia rendah, kami telah memperhatikan bahwa total biaya menjalankan pengalaman (pada set klaim tetap tertentu) dengan GPT-4O jauh lebih murah dibandingkan dengan Clauds Sonnet-3.5.
Mengapa?
Manusia yang dibedakan cenderung menghancurkan input yang sama ke dalam simbol yang lebih khas dibandingkan dengan Openai. Ini berarti bahwa untuk tuntutan yang identik, model manusia menghasilkan lebih dari openai mereka. Akibatnya, sementara biaya Claude Cleude 3.5 mungkin lebih sedikit input soneta, simbol khas yang tumbuh dapat mengkompensasi penghematan ini, yang mengarah pada total biaya total dalam kasus penggunaan praktis.
Biaya tersembunyi ini berasal dari jalan untuk mengkodekan informasi dari antropor, dan sering menggunakan lebih banyak simbol untuk mewakili konten yang sama. Pembesaran simbol khas memiliki pengaruh yang signifikan terhadap biaya dan penggunaan jendela konteks.
Simbol yang unik tergantung pada bidangnya
Berbagai jenis konten lapangan dirancang secara berbeda melalui simbol khas antropolog, yang mengarah pada berbagai tingkat peningkatan muatan simbolik dibandingkan dengan model openai. Komunitas riset kecerdasan buatan memperhatikan perbedaan simbolik yang serupa Di Sini. Kami telah menguji hasil yang kami capai di tiga bidang terkenal, yaitu: Artikel Bahasa Inggris, Python dan Matematika.
| spesialisasi | Masukkan formulir | Kode GPT | Simbol Claude | % Simbol terkemuka |
| Artikel Bahasa Inggris |  | 77 | 89 | ~ 16 % |
| Kode Peton |  | 60 | 78 | ~ 30 % |
| matematika |  | 114 | 138 | ~ 21 % |
% Simbol khas dari Claude 3.5 sonit simbol khas (relatif terhadap GPT-4O) Sumber: Lavania Gupta
Saat membandingkan Claude 3.5 soneta dengan GPT-4O, tingkat inefisiensi simbol yang berbeda sangat bervariasi melalui konten konten. Untuk artikel bahasa Inggris, Tokeenizer Clauds menghasilkan sekitar 16 % dari simbol GPT-4O yang khas untuk teks teks yang sama. Pengeluaran publik ini meningkat tajam dengan konten yang lebih terorganisir atau teknis: untuk persamaan matematika, ukuran pengeluaran umum adalah 21 %, dan dengan simbol kecerahan, Claude menghasilkan 30 % simbol khas.
Perbedaan ini muncul karena beberapa jenis konten, seperti dokumen teknis dan simbol, sering kali berisi pola dan simbol. Fragmen simbol manusia adalah bagian yang lebih kecil, yang mengarah pada jumlah simbol khas yang lebih tinggi. Sebaliknya, lebih banyak konten bahasa alami cenderung menunjukkan biaya simbolis yang rendah.
Efek praktis lain dari kurangnya efisiensi simbol yang khas
Selain masuk langsung dari biaya, ada juga efek tidak langsung pada penggunaan jendela konteks. Sementara model manusia mengklaim jendela konteks yang lebih besar dari 200 kilometer, tidak seperti simbol khas Openai 128k, karena pemisah, ruang simbol efektif yang efektif mungkin lebih kecil dalam model manusia. Dengan demikian, mungkin ada perbedaan kecil atau besar dalam ukuran jendela konteks “dinyatakan” dengan imbalan ukuran jendela konteks “efektif”.
Implementasi fitur
Penggunaan model GPT Bate Pair Coding (BPE))Dan, yang sering mengintegrasikan pasangan huruf umum untuk membentuk simbol. Secara khusus, model GPT terbaru menggunakan open source O200K_Base. Simbol aktual yang digunakan oleh GPT-4O (di Tiktoken Tokenizer) dapat ditemukan Di Sini.
JSON
{
#reasoning
"o1-xxx": "o200k_base",
"o3-xxx": "o200k_base",
# chat
"chatgpt-4o-": "o200k_base",
"gpt-4o-xxx": "o200k_base", # e.g., gpt-4o-2024-05-13
"gpt-4-xxx": "cl100k_base", # e.g., gpt-4-0314, etc., plus gpt-4-32k
"gpt-3.5-turbo-xxx": "cl100k_base", # e.g, gpt-3.5-turbo-0301, -0401, etc.
}
Sayangnya, tidak mungkin untuk mengatakan banyak tentang fitur manusia karena simbol yang khas tidak tersedia secara langsung dan mudah seperti GPT. pria Saya merilis simbol khas perangkat antarmuka penghitungan pada bulan Desember 2024. Namun, segera dikurangi pada 2025 versi kemudian.
Late Red Laporan menunjukkan bahwa “Antropor menggunakan simbol unik dengan hanya 65.000 perbedaan simbolik, dibandingkan dengan 100.261 perubahan simbolik dari OpenAI untuk GPT-4.” ini Clap Notebook Berisi ikon Python untuk menganalisis perbedaan simbolis antara model GPT dan Claud. terakhir alat Ini memungkinkan komunikasi dengan beberapa fitur umum yang tersedia untuk umum untuk memverifikasi hasil kami.
Kemampuan untuk memperkirakan biaya simbolis secara proaktif (tanpa menyebut antarmuka pemrograman model aktual) dan biaya anggaran sangat penting bagi lembaga kecerdasan buatan.
Makanan utama
- Harga kompetitif Anthropoor hadir dengan biaya tersembunyi:
Sementara Claude 3.5 Sonnet of Anthropology menyediakan biaya kode input 40 % lebih rendah dibandingkan dengan GPT-4O OpenAI, fitur biaya yang jelas ini dapat menyesatkan karena perbedaan dalam cara mewakili teks entri. - Tersembunyi “non -efisiensi dalam kode terkemuka”:
Model manusia lebih bersifat alami panjang. Untuk perusahaan yang berurusan dengan sejumlah besar teks, memahami kontradiksi ini sangat penting ketika menilai biaya nyata dari formulir penerbitan. - Simbol diskriminatif tergantung pada bidang:
Saat memilih antara openai dan model manusia, Mengevaluasi sifat teks input Anda. Untuk tugas bahasa normal, perbedaan biaya mungkin minimal, tetapi area teknis atau terorganisir dapat menyebabkan biaya yang jauh lebih tinggi dengan model manusia. - Jendela konteks yang efektif:
Karena kematian Tokeenizer Tokeenizer, jendela 200k yang dinyatakan dapat memberikan ruang yang kurang berguna daripada openai, yang mengarah ke a mungkin Kesenjangan antara jendela konteks yang diumumkan dan aktual.
Antarbur tidak menanggapi permintaan VentureBeat untuk berkomentar pada saat pers. Kami akan memperbarui cerita jika mereka merespons.
Tautan sumber