AI
AI Gallery
灵感库
首页
GitHub
中文
▼
LLM 原理可视化:Next Token Prediction
Step 0 / 4
INPUT
今天
天气
非常
...
MODEL
OUTPUT
好
75%
热
15%
冷
8%
差
2%
自动演示
1. 输入与分词 (Tokenization)
大模型不直接理解文字。首先,它将句子拆解为“Token”(词元)。每个 Token 被转换成一个唯一的数字ID。这是模型能处理的最小单位。