AI Token Sayacı — GPT, Claude ve Gemini
≈ tahmini · GPT-4 / Claude / Gemini uyumlu
Nedir AI Token Sayacı — GPT, Claude ve Gemini
Token sayacı, bir metnin GPT-4, Claude veya Gemini gibi büyük dil modelleri (LLM) tarafından işlenirken kaç token kullandığını tahmin eder. Token'lar, yapay zeka modellerinin metni okumak için kullandığı temel birimdir — İngilizcede kabaca 4 karakter başına 1 token, ya da kelime başına yaklaşık 0,75 token. Prompt yazarken, RAG hatları kurarken veya kesilmeyi önlemek ve API maliyetlerini kontrol etmek için bağlam penceresi sınırları içinde kalırken token sayınızı bilmek şarttır.
Nasıl kullanılır
- Herhangi bir metni giriş alanına yapıştırın veya yazın — prompt'lar, belgeler, kod veya konuşma geçmişi.
- Üstteki mavi karttan token sayısını anında okuyun.
- Metninizin GPT-4 (128k) ve Claude (200k) bağlam pencerelerinin yüzde kaçını doldurduğunu görmek için bağlam kullanım çubuklarına bakın.
- Ek referans için karakter ve kelime sayılarını kullanın.
Ne zaman kullanılır
Bir RAG sohbet botu kuruyorsunuz ve getirilen parça artı sistem prompt'unuzun GPT-4'ün 128k bağlam penceresine sığmayacağından mı endişelisiniz? Birleşik metni yapıştırın; 4.200 token (sınırın %3,3'ü) kullandığını görün — API'ye hiç dokunmadan modelin yanıtı için bolca yer olduğunu bilin. Prompt kısaltmak, parça boyutlamak ve çağrı başına maliyet tahmini için pratik.
Sık sorulan sorular
Bu token sayacı ne kadar isabetli?
Bu araç BPE uyumlu bir sezgisel yöntem kullanır (İngilizce için token başına yaklaşık 4 karakter) ve tipik İngilizce metinde ±%10 isabetlidir. Kesin sayımlar için OpenAI'nin resmi tiktoken kütüphanesini kullanın. İngilizce dışı yazılar, kod ve yoğun noktalamalı metinler daha çok sapabilir.
AI modellerinde token nedir?
Token, bir yapay zeka modelinin birim olarak işlediği metin parçasıdır. Kelimeye bağlı olarak tam bir kelime, kelimenin bir parçası veya tek bir karakter olabilir. 'the' gibi yaygın kelimeler tek token'dır; uzun veya alışılmadık kelimeler birden çok token'a bölünebilir. Çoğu LLM, API kullanımını tüketilen token'a göre faturalar.
Bağlam penceresi nedir?
Bağlam penceresi, bir modelin tek istekte işleyebileceği azami token sayısıdır — prompt'unuz, konuşma geçmişi, getirilen belgeler ve modelin yanıtı dahil. GPT-4 Turbo 128k token destekler; Claude 3 200k'ya kadar çıkar. Bu sınırın aşılması modelin eski içeriği kesmesine yol açar.
Aynı metin için farklı modeller neden farklı token sayısı veriyor?
Her model kendi tokenizer'ını (BPE token sözlüğünü) kullanır. OpenAI modelleri tiktoken kullanır; Claude, Anthropic'in dahili tokenizer'ını; Gemini ise SentencePiece kullanır. Farklar İngilizce metinde genellikle küçüktür (%5–15) ama diğer dillerde daha büyük olabilir.
Metnim bir sunucuya gönderiliyor mu?
Hayır. Tüm sayım tarayıcınızda JavaScript ile yapılır. Metniniz cihazınızdan asla çıkmaz.
Bu aracı girdilerim dolu şekilde paylaşabilir miyim?
Evet. Siz yazarken URL otomatik güncellenir. Adres çubuğundan kopyalayın veya Paylaş düğmesini kullanın — bağlantıyı açan herkes girdilerinizi hazır görür.
İlgili araçlar
AI Metin Bölücü — RAG ve Embedding için Metin Bölün
Metni RAG hatları ve LLM embedding'leri için parçalara bölün. Parça boyutunu token veya karaktere göre, isteğe bağlı örtüşmeyle ayarlayın.
Atbash Şifresi Kodlayıcı ve Çözücü
Atbash şifresini çevrimiçi kodlayın ve çözün. Atbash alfabeyi yansıtır ve kendi tersidir, yani tek tıklama hem şifreler hem çözer. Ücretsiz ve gizli.
Arka Plan Kaldırma
Herhangi bir görselin arka planını online kaldırın, şeffaf PNG alın. Yapay zeka tarayıcınızda çalışır, fotoğrafınız asla yüklenmez. Ücretsiz.