LLMトークンカウンター

LLMトークンカウンターについて

ChatGPTやGPT-4などの大規模言語モデル（LLM）を利用する際、APIコストの見積もりやコンテキストウィンドウの管理に欠かせないトークン数の計測を、ブラウザ内で安全に行えるツールです。

よくある質問 (FAQ)

Q. トークンとは何ですか？

A. トークンとは、LLM（大規模言語モデル）がテキストを処理する際の最小単位です。英語では1単語が1〜2トークン、日本語では1文字が1〜3トークン程度になります。APIの料金はトークン数に基づいて計算されるため、事前にトークン数を把握することがコスト管理に重要です。

Q. 入力したプロンプトはサーバーに送信されますか？

A. いいえ、すべての処理はブラウザ内で完結します。機密性の高いプロンプトや業務データでも安心してトークン数を確認できます。

Q. どのモデルのトークナイザーに対応していますか？

A. 現在はOpenAIのGPTシリーズ（GPT-4 / GPT-3.5等）で使用されるtiktokenベースのトークナイザーに対応しています。Claude等の他モデルとはトークン数が異なる場合があります。