深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一 …
损失函数｜交叉熵损失函数 - 知乎
对所有样本的loss求平均： 我们发现，MSE能够判断出来 模型2 优于 模型1，那为什么不采样这种损失函数呢？
大模型sft为什么第二个epoch的时候loss会突然下降？ - 知乎
Loss surfaces of a ResNet-56 (Li et al, 2018) 很可能预训练的大型语言模型在接近最小损失的区域具有非常平滑的损失面，而开源社区在这一区域进行的大量微调工作。 这基于围绕2018 …
大模型优化利器：RLHF之PPO、DPO
Jan 21, 2025 · 最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor …
深度学习中loss和accuracy的关系? - 知乎
如果正确标签的概率降低，但这个标签依然是概率最高的，会出现损失增加单准确度不变的结果。 如果数据集的标签很不平均，比如90%是类别A，那么模型一味增加预测A的比例，可能会让 …
究竟什么是损失函数 loss function? - 知乎
如何设计loss函数？ Loss函数和你任务的评价准则越相关，二者越接近越好。 如果你任务的评价准则是F1-score（不可导），但一直在使用CrossEntropy Loss来迭代模型，二者之间虽然相关 …
大模型预训练的loss一般都是1到2左右的吗，有没有一种可能，能 …
大模型预训练的loss一般都是1到2左右的吗，有没有一种可能，能够收敛到无限接近0？ 只是开个脑洞，会不会有足够高质量的数据和足够大的模型能让这个大模型的trainloss收敛到接近 …
神经网络模型train_loss下降，val_loss一直上升是什么原因？ - 知乎
train_loss 不断下降， test_loss 不断上升，和第2种情况类似说明网络过拟合了。 应对神经网络过拟合的方法包括： 简化模型。 通过减少神经网络层数或神经元数量来降低模型复杂度，从而 …
深度学习当中train loss和valid loss之间的关系？ - 知乎
Nov 8, 2018 · 深度学习当中train loss和valid loss之间的关系？ 深度学习当中train loss和valid loss之间的关系，在一个caption实验当中，使用交叉熵作为损失函数，虽然随着训练，模型的 …
DeepSeek的GRPO算法是什么？ - 知乎
Deepseek V3技术报告中的GRPO算法是什么