AIの用語
トークンとは?生成AIの文字数の数え方と、長い文章を渡すときの工夫|TARNAR AI
トークンは、生成AIが文章を読み書きするときの「数える単位」です。文字数とは別の数え方なので、考え方をつかむと、長い資料を渡すときも途中で切れにくくなります。
トークンとは、生成AIが文章を処理するときに使う「文章を細かく区切った単位」のことです。文字数とは別の数え方で、AIに渡せる量や答えの長さは、このトークンの数を基準に決まります。長い資料を渡すときは、区切って渡し、先に目的を伝えると、途中で切れずに使えます。
この記事の書き手:たーなー先生(田中直人)。ボイストレーナー歴30年、5万人以上を指導。TARNAR AIでは、教室・宿・イベントなどの事業者が、AIに下書きと整理を任せて、判断は人が行う形で仕事を軽くするご相談をお受けしています。
トークンとは?生成AIはどうやって文章を数えているの?
私たちは文章を「文字」や「単語」で数えますが、生成AIは文章をもう少し細かい部品に分けて読みます。この部品がトークンです。短い単語なら一つのトークン、長い単語や漢字の多い言葉なら、いくつかのトークンに分かれることがあります。
たとえば「ありがとうございます」という一文は、人から見ると一つの挨拶ですが、AIの内部では複数の部品として扱われます。どこで区切るかは、AIの種類や仕組みによって違います。そのため、同じ文章でも、使うAIが変わるとトークンの数が変わります。
トークンを知っておくと役に立つ理由は三つあります。
- AIが一度に読める量の上限が、トークンの数で決まっている
- AIが一度に書ける答えの長さにも、トークンの上限がある
- 有料の仕組みでは、使った量がトークンで数えられることがある
「たくさん入れたのに後半が無視された」「答えが途中で終わった」という場面の多くは、この上限が関わっています。
トークンと文字数は何が違う?日本語は多くなりやすいって本当?
文字数は、画面に見える文字の数です。トークンは、AIが内部で区切った部品の数です。二つは一対一では対応しません。
| 比べるところ | 文字数 | トークン |
|---|---|---|
| 数える人 | 人が見て数える | AIの仕組みが自動で区切って数える |
| 同じ文章での結果 | どのAIでも同じ | AIの種類によって変わる |
| 空白・記号 | 数え方を人が決められる | 空白や記号も部品として数えられることがある |
| 使いどころ | 原稿の長さの目安 | AIに渡せる量・答えの長さの目安 |
日本語は、ひらがな・カタカナ・漢字が混ざるため、英語に比べて一文字あたりのトークンが多くなりやすいといわれます。つまり、同じ意味の文章でも、日本語のほうが上限に早く近づくことがあります。日本語で長い資料を扱うときは、少し余裕を持たせて考えると安心です。
正確な数を知りたいときは、AIの提供元が公開している「トークン数を数える機能」や説明ページで確かめてください。数え方はAIごとに違うので、この記事では数字の目安は書かず、考え方だけを紹介します。
トークンの上限に当たると、どんなことが起きる?
上限に近づくと、次のような様子が出ます。心当たりがあれば、トークンが関わっているかもしれません。
| 見られる様子 | 考えられること | 試すこと |
|---|---|---|
| 答えが途中で終わる | 答えの長さの上限に届いた | 「続きをお願いします」と頼む。最初から章ごとに分けて頼む |
| 前半に伝えた条件を忘れる | やりとりが長くなり、最初の部分が読み込めなくなった | 大事な条件を最新の指示の中にもう一度書く |
| 長い資料の後半に触れない | 一度に渡せる量を超えた | 資料を区切り、一つずつ要約してから最後にまとめる |
| エラーが出て送れない | 入力が大きすぎる | 要る部分だけに絞ってから送る |
AIが一度に覚えておける範囲は「コンテキストウィンドウ」とも呼ばれます。範囲の広さはAIの種類で違い、新しい版で広がることもあります。お使いのAIの最新の説明ページで確かめておくと、無理のない渡し方を決められます。
長い資料をAIに渡すとき、どう分ければいい?
議事録、アンケートの自由記述、サービスの説明資料など、仕事の資料は長くなりがちです。次の順番で渡すと、上限に当たりにくく、答えもそろいます。
- 目的を一文で決める。「この資料から、お客様がよく聞くことを三つ取り出したい」のように書く。
- 資料を見出しや話題ごとに区切る。区切りは、読んで意味が通る大きさにする。
- 最初の区切りを渡すときに、目的と答えの形(箇条書き、表など)を先に伝える。
- 区切りごとに答えをもらい、メモに残す。
- 最後に、メモだけをまとめて渡し、全体の整理を頼む。
この手順は、細かい作業を人が担当する「棚卸し」の考え方とも合います。資料をそのまま全部渡すより、人が先に要るところを選んで渡すほうが、答えの質も上がります。AIに入れてよい情報かどうかは、渡す前にAIに入れてよい情報と入れない情報:入力前の仕分け表で見ておくと安心です。
プロンプトをトークンの面から軽くするコツは?
指示文(プロンプト)が長すぎると、肝心の資料に使える余裕が減ります。次の工夫で、指示文を整えます。
- 同じ内容を何度も書かない。条件は一か所にまとめる。
- 前置きの挨拶や長い背景説明は、答えに必要な部分だけに絞る。
- 守ってほしい条件は、箇条書きで短く書く。
- 見本を付けるときは、短いものを一つか二つにする。
- 何度も使う指示は、見本帳にして、毎回必要な部分だけ貼る。
軽くすることと、足りなくすることは別です。目的、読み手、答えの形、守る条件の四つは、削らずに残してください。指示文の組み立て方はプロンプトとは?AIへの指示文の意味と、五つの要素で書く型で詳しく紹介しています。
トークンを意識したうえで、人が確かめることは?
長い資料を区切って渡すと、区切りの境目で話のつながりが切れて、AIが違う意味に受け取ることがあります。また、AIは長い資料の要点をまとめるとき、細かい数字や日付を落としたり、似た言葉に置き換えたりすることがあります。
そこで、次の点検を人が行います。
- 日付、金額、名前、時間は、元の資料と見比べる。
- 要約に入っていない大事な項目がないか、元の見出しと照らす。
- 区切りごとの答えが、お互いに食い違っていないか見る。
- お客様に送る文章は、送る前に担当者が声に出して読む。
AIは下書きと整理を、判断は人が。この考え方があれば、トークンの上限があっても、安心して使えます。誤りが出る理由はハルシネーションとは?生成AIの誤りの理由と、仕事で防ぐ手順にまとめています。
トークンの話が難しく感じたら、どこから始めればいい?
数字を細かく数える必要はありません。最初は、次の三つだけ覚えておけば、日々の仕事で困りにくくなります。
- 長い資料は区切って渡す。
- 目的と答えの形を、最初に伝える。
- 答えが途中で終わったら、続きを頼むか、章を分けて頼み直す。
TARNAR AIでは、ご相談、棚卸し、小さな実証、導入と計測、月ごとの改善の五段階で、道具より先に仕事の流れを見ながら進めます。AIに詳しくなくても、今の仕事の流れを聞くところから始められます。生成AIの全体像は生成AIの活用方法、基本の用語は生成AIとは?できること・仕組み・仕事での使いどころと注意点、AIの仕組みの一つはLLM(大規模言語モデル)とは?で読めます。
関連する記事
よくある質問
トークンとは何ですか?
生成AIが文章を処理するときの、細かく区切った単位です。文字数とは別の数え方で、AIに渡せる量や答えの長さの上限に関わります。
日本語は英語よりトークンが多くなりますか?
多くなりやすいといわれます。ひらがなや漢字が混ざるためで、同じ意味でも上限に早く近づくことがあります。正確な数はAIの提供元の説明ページで確かめられます。
答えが途中で終わったときはどうすればいいですか?
「続きをお願いします」と頼むか、章ごとに分けて頼み直します。最初から答えの形と長さを決めて頼むのも効果的です。
長い資料はどう渡せばいいですか?
目的を一文で決め、話題ごとに区切って渡します。区切りごとの答えをメモに残し、最後にメモをまとめて整理を頼みます。