【AIクイズ】ChatGPT使ってるのに「トークン」知らないの？｜正解

トークンとは、AIが文章を処理する際にテキストを分割した最小単位のことです。英語では「dog」が1トークン、「running」が「run」+「ning」の2トークンに分割されるようなイメージです。日本語は英語に比べて1文字あたりのトークン消費量が多い傾向があり、同じ意味の文章でもトークン数が膨らみやすいのが特徴です。ChatGPTなどのサービスでは、入力と出力の合計トークン数に上限が設けられており、料金もこのトークン数に基づいて計算されます。つまり、トークンを意識することで「なぜ長い文章を入れると途中で切れるのか」「なぜ料金が変わるのか」が理解できるようになります。プロンプトを短く的確にまとめるスキルは、実はトークン効率を上げるテクニックでもあるのです。