一、核心原理：概率采样而非「选最大值」

大模型生成文本的本质是 逐词（Token）预测，核心逻辑如下：
输入问题（如 “写一首关于秋天的诗”）后，模型会对第一个 Token（如 “秋”“风”“金”）计算出完整的概率分布 —— 每个候选 Token 都有对应出现概率；

模型默认不直接选择概率最高的 Token（该策略为 Greedy Search，易导致输出重复、生硬），而是通过 采样策略 从概率分布中「挑选」Token；
采样过程引入的随机性，是同一问题不同输出的根本原因。

二、关键机制：控制随机性的核心参数

大模型的输出多样性由两大核心参数直接控制，二者协同调节采样过程：

1. 温度（Temperature）

作用：调节概率分布的「平滑程度」，控制输出的随机性与创意度；
原理：
温度 T > 1：放大低概率 Token 的权重，模型更 “大胆” 选择冷门词汇，输出更多样、有创意（但可能偏离主题）；
温度 T = 1：使用原始概率分布采样，平衡多样性与合理性；
温度 T < 1：缩小低概率 Token 的权重，模型倾向选择高概率 Token，输出更稳定、保守（接近固定答案）；
温度 T = 0：退化为 Greedy Search，每次输出完全相同；
示例：写秋诗时，T=1.2 可能选 “残荷”“寒蛩” 等小众词汇，T=0.5 更倾向 “落叶”“秋风” 等高频表达。

2. Top-K / Top-P 采样

Top-K 采样
仅从概率最高的 K 个 Token 中采样，过滤长尾低概率 Token，平衡多样性与合理性；
示例：K=20 时，模型只在前 20 个候选 Token 中挑选，避免选择无意义词汇。
Top-P（核采样）
累计概率达到 P（如 0.9）的 Token 集合中采样，动态调整候选范围；
优势：避免 Top-K 固定 K 值带来的局限性（如 K=10 可能遗漏重要低概率 Token，K=100 可能包含无效 Token）。

三、其他影响因素

1. 模型的「天然不确定性」

大模型基于海量文本训练，同一个问题的「最优表达」本身不唯一（如秋诗可写景、抒情、怀古），概率分布中存在多个高概率 Token 分支，采样时会走向不同分支，形成不同文本。

2. 随机种子（Random Seed）

理论上：固定随机种子 + 固定所有参数（温度、Top-K/Top-P 等），可让输出完全相同（随机种子决定采样的 “随机序列”）；
实际情况：大多数公开大模型 API（如 GPT、文心一言）不固定种子，每次生成使用随机种子，确保输出多样性。

四、总结

大模型是概率模型，但默认不使用「确定性策略」，而是通过 温度 + Top-K/Top-P 采样 引入随机性；
同一问题无上下文时，只要采样策略不是 “选最大值”（Greedy Search），每次生成的 Token 序列就会不同，最终输出自然不一样；
若需固定输出：将温度设为 0 或 固定随机种子，即可让模型每次返回相同结果。