AIの用語

トークンとは?生成AIの文字数の数え方と、長い文章を渡すときの工夫|TARNAR AI

 文:TARNAR AI 編集部/監修:たーなー先生(田中直人)

トークンは、生成AIが文章を読み書きするときの「数える単位」です。文字数とは別の数え方なので、考え方をつかむと、長い資料を渡すときも途中で切れにくくなります。

トークンとは、生成AIが文章を処理するときに使う「文章を細かく区切った単位」のことです。文字数とは別の数え方で、AIに渡せる量や答えの長さは、このトークンの数を基準に決まります。長い資料を渡すときは、区切って渡し、先に目的を伝えると、途中で切れずに使えます。

この記事の書き手:たーなー先生(田中直人)。ボイストレーナー歴30年、5万人以上を指導。TARNAR AIでは、教室・宿・イベントなどの事業者が、AIに下書きと整理を任せて、判断は人が行う形で仕事を軽くするご相談をお受けしています。

トークンとは?生成AIはどうやって文章を数えているの?

私たちは文章を「文字」や「単語」で数えますが、生成AIは文章をもう少し細かい部品に分けて読みます。この部品がトークンです。短い単語なら一つのトークン、長い単語や漢字の多い言葉なら、いくつかのトークンに分かれることがあります。

たとえば「ありがとうございます」という一文は、人から見ると一つの挨拶ですが、AIの内部では複数の部品として扱われます。どこで区切るかは、AIの種類や仕組みによって違います。そのため、同じ文章でも、使うAIが変わるとトークンの数が変わります。

トークンを知っておくと役に立つ理由は三つあります。

  • AIが一度に読める量の上限が、トークンの数で決まっている
  • AIが一度に書ける答えの長さにも、トークンの上限がある
  • 有料の仕組みでは、使った量がトークンで数えられることがある

「たくさん入れたのに後半が無視された」「答えが途中で終わった」という場面の多くは、この上限が関わっています。

トークンと文字数は何が違う?日本語は多くなりやすいって本当?

文字数は、画面に見える文字の数です。トークンは、AIが内部で区切った部品の数です。二つは一対一では対応しません。

比べるところ文字数トークン
数える人人が見て数えるAIの仕組みが自動で区切って数える
同じ文章での結果どのAIでも同じAIの種類によって変わる
空白・記号数え方を人が決められる空白や記号も部品として数えられることがある
使いどころ原稿の長さの目安AIに渡せる量・答えの長さの目安

日本語は、ひらがな・カタカナ・漢字が混ざるため、英語に比べて一文字あたりのトークンが多くなりやすいといわれます。つまり、同じ意味の文章でも、日本語のほうが上限に早く近づくことがあります。日本語で長い資料を扱うときは、少し余裕を持たせて考えると安心です。

正確な数を知りたいときは、AIの提供元が公開している「トークン数を数える機能」や説明ページで確かめてください。数え方はAIごとに違うので、この記事では数字の目安は書かず、考え方だけを紹介します。

トークンの上限に当たると、どんなことが起きる?

上限に近づくと、次のような様子が出ます。心当たりがあれば、トークンが関わっているかもしれません。

見られる様子考えられること試すこと
答えが途中で終わる答えの長さの上限に届いた「続きをお願いします」と頼む。最初から章ごとに分けて頼む
前半に伝えた条件を忘れるやりとりが長くなり、最初の部分が読み込めなくなった大事な条件を最新の指示の中にもう一度書く
長い資料の後半に触れない一度に渡せる量を超えた資料を区切り、一つずつ要約してから最後にまとめる
エラーが出て送れない入力が大きすぎる要る部分だけに絞ってから送る

AIが一度に覚えておける範囲は「コンテキストウィンドウ」とも呼ばれます。範囲の広さはAIの種類で違い、新しい版で広がることもあります。お使いのAIの最新の説明ページで確かめておくと、無理のない渡し方を決められます。

長い資料をAIに渡すとき、どう分ければいい?

議事録、アンケートの自由記述、サービスの説明資料など、仕事の資料は長くなりがちです。次の順番で渡すと、上限に当たりにくく、答えもそろいます。

  1. 目的を一文で決める。「この資料から、お客様がよく聞くことを三つ取り出したい」のように書く。
  2. 資料を見出しや話題ごとに区切る。区切りは、読んで意味が通る大きさにする。
  3. 最初の区切りを渡すときに、目的と答えの形(箇条書き、表など)を先に伝える。
  4. 区切りごとに答えをもらい、メモに残す。
  5. 最後に、メモだけをまとめて渡し、全体の整理を頼む。

この手順は、細かい作業を人が担当する「棚卸し」の考え方とも合います。資料をそのまま全部渡すより、人が先に要るところを選んで渡すほうが、答えの質も上がります。AIに入れてよい情報かどうかは、渡す前にAIに入れてよい情報と入れない情報:入力前の仕分け表で見ておくと安心です。

プロンプトをトークンの面から軽くするコツは?

指示文(プロンプト)が長すぎると、肝心の資料に使える余裕が減ります。次の工夫で、指示文を整えます。

  • 同じ内容を何度も書かない。条件は一か所にまとめる。
  • 前置きの挨拶や長い背景説明は、答えに必要な部分だけに絞る。
  • 守ってほしい条件は、箇条書きで短く書く。
  • 見本を付けるときは、短いものを一つか二つにする。
  • 何度も使う指示は、見本帳にして、毎回必要な部分だけ貼る。

軽くすることと、足りなくすることは別です。目的、読み手、答えの形、守る条件の四つは、削らずに残してください。指示文の組み立て方はプロンプトとは?AIへの指示文の意味と、五つの要素で書く型で詳しく紹介しています。

トークンを意識したうえで、人が確かめることは?

長い資料を区切って渡すと、区切りの境目で話のつながりが切れて、AIが違う意味に受け取ることがあります。また、AIは長い資料の要点をまとめるとき、細かい数字や日付を落としたり、似た言葉に置き換えたりすることがあります。

そこで、次の点検を人が行います。

  • 日付、金額、名前、時間は、元の資料と見比べる。
  • 要約に入っていない大事な項目がないか、元の見出しと照らす。
  • 区切りごとの答えが、お互いに食い違っていないか見る。
  • お客様に送る文章は、送る前に担当者が声に出して読む。

AIは下書きと整理を、判断は人が。この考え方があれば、トークンの上限があっても、安心して使えます。誤りが出る理由はハルシネーションとは?生成AIの誤りの理由と、仕事で防ぐ手順にまとめています。

トークンの話が難しく感じたら、どこから始めればいい?

数字を細かく数える必要はありません。最初は、次の三つだけ覚えておけば、日々の仕事で困りにくくなります。

  1. 長い資料は区切って渡す。
  2. 目的と答えの形を、最初に伝える。
  3. 答えが途中で終わったら、続きを頼むか、章を分けて頼み直す。

TARNAR AIでは、ご相談、棚卸し、小さな実証、導入と計測、月ごとの改善の五段階で、道具より先に仕事の流れを見ながら進めます。AIに詳しくなくても、今の仕事の流れを聞くところから始められます。生成AIの全体像は生成AIの活用方法、基本の用語は生成AIとは?できること・仕組み・仕事での使いどころと注意点、AIの仕組みの一つはLLM(大規模言語モデル)とは?で読めます。

関連する記事

TARNAR AI にご相談する

よくある質問

トークンとは何ですか?

生成AIが文章を処理するときの、細かく区切った単位です。文字数とは別の数え方で、AIに渡せる量や答えの長さの上限に関わります。

日本語は英語よりトークンが多くなりますか?

多くなりやすいといわれます。ひらがなや漢字が混ざるためで、同じ意味でも上限に早く近づくことがあります。正確な数はAIの提供元の説明ページで確かめられます。

答えが途中で終わったときはどうすればいいですか?

「続きをお願いします」と頼むか、章ごとに分けて頼み直します。最初から答えの形と長さを決めて頼むのも効果的です。

長い資料はどう渡せばいいですか?

目的を一文で決め、話題ごとに区切って渡します。区切りごとの答えをメモに残し、最後にメモをまとめて整理を頼みます。