文字数とトークン数が違う理由：ローカル計測値の使いどころ

同じ文字数の日本語と英語でも、トークン数は同じになりません。トークンは文字を単純に1つずつ数えたものではなく、決められた語彙と規則でテキストを分割した単位だからです。文字数制限を調べる作業と、トークン量を見積もる作業を分けて考えましょう。

このカウンターが測るもの

GlowPunchはgpt-tokenizerの o200k_base エンコーディングを明示して使用し、入力欄の本文をブラウザ内で分割して数えます。ライブラリの方式についてはgpt-tokenizerの資料を参照できます。

外部の生成APIへ入力本文を送る処理はありません。モデルから回答を生成するツールでもありません。

比較すると分かりやすい例

トークンカウンターに次のような文を入れ、内容を変えながら数値を比べてみてください。

• 「資料を確認してください。」と、同じ文を10回並べたもの。
• 空白や改行を含むJSONと、それを減らしたJSON。
• 日本語の商品説明と、その英訳。

繰り返しを減らすと入力は短くなりますが、必要な情報まで削ると目的が伝わりません。また、JSONの整形をなくした際は構文や文字列内の空白を壊さないよう注意してください。小さい数値にすること自体ではなく、必要な内容を過不足なく渡すために使います。

API全体の使用量とは一致しない

このページは本文のみを計測します。会話履歴、役割やメッセージの区切り、ツール定義、画像・音声などの入力、出力される回答は含みません。サービス側が追加する情報もこの入力欄からは分かりません。

また、異なるトークナイザーを使うモデルに、この計測値をそのまま当てはめることはできません。送信可否や費用の最終確認には、利用するサービスが返す使用量と、その時点の料金条件を使ってください。

料金を計算するなら条件を揃える

基本的な入力部分の概算は、入力トークン数 ÷ 1,000,000 × 100万トークンあたりの単価です。ただし、出力料金、キャッシュ、割引、通貨などの条件は別です。GlowPunchでは特定モデルの固定料金を現在の請求額のようには表示しません。

まず本文の長さを比較し、実際の利用環境で使用量を確認する、という2段階に分けると、概算を確定値と取り違えずに済みます。

入力データの扱い

処理対象テキストを外部へ送信しないことと、サイト表示の通信がないことは別です。閲覧に伴う通信や解析の扱いはプライバシーポリシーを確認してください。機密文章を扱う際は端末の共有状態や拡張機能、組織のルールも確認しましょう。