トークン

トークン（Token）とは、大規模言語モデルがテキストを処理する際に使用する最小の単位。テキストは単語、サブワード、文字などの「トークン」に分割されてからAIモデルに入力される。