AI

AI Gallery

灵感库

LLM 原理可视化:Next Token Prediction

Step 0 / 4
INPUT今天天气非常...MODELOUTPUT75%15%8%2%

1. 输入与分词 (Tokenization)

大模型不直接理解文字。首先,它将句子拆解为“Token”(词元)。每个 Token 被转换成一个唯一的数字ID。这是模型能处理的最小单位。