深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一 …
究竟什么是损失函数 loss function? - 知乎
如何设计loss函数？ Loss函数和你任务的评价准则越相关，二者越接近越好。 如果你任务的评价准则是F1-score（不可导），但一直在使用CrossEntropy Loss来迭代模型，二者之间虽然相关 …
损失函数｜交叉熵损失函数 - 知乎
对所有样本的loss求平均： 我们发现，MSE能够判断出来 模型2 优于 模型1，那为什么不采样这种损失函数呢？
强化学习中actor_loss和critic_loss收敛问题？ - 知乎
在正常的训练过程中，actor_loss和critic_loss的减小趋势表明模型在不断学习和优化。 若在训练过程中发现actor_loss持续增大，这可能意味着Actor未能有效学习到优化策略，或者Critic的反馈 …
神经网络模型train_loss下降，val_loss一直上升是什么原因？ - 知乎
train_loss 不断下降， test_loss 不断上升，和第2种情况类似说明网络过拟合了。 应对神经网络过拟合的方法包括： 简化模型。 通过减少神经网络层数或神经元数量来降低模型复杂度，从而 …
深度学习当中train loss和valid loss之间的关系？ - 知乎
Nov 8, 2018 · 深度学习当中train loss和valid loss之间的关系？ 深度学习当中train loss和valid loss之间的关系，在一个caption实验当中，使用交叉熵作为损失函数，虽然随着训练，模型的 …
GAN生成对抗网络D_loss和G_loss到底应该怎样变化？ - 知乎
Apr 12, 2023 · GAN生成对抗网络D_loss和G_loss到底应该怎样变化？ 训练正常，参数设置合理，G和D势均力敌的情况下，随着迭代次数的上升，D_loss和G_loss的图像应该是怎样变化 …
训练网络时为什么会出现loss逐渐增大的情况？ - 知乎
May 31, 2017 · 训练网络时为什么会出现loss逐渐增大的情况？ 模型找是是网上找的pytorch实现的lenet，我把训练的次数调大了，发现训练集loss值在50次左右前是一直减小的，但之后逐渐增 …
哪里有标准的机器学习术语 (翻译)对照表？ - 知乎
L 损失 (Loss) 一种衡量指标，用于衡量模型的预测偏离其标签的程度。 或者更悲观地说是衡量模型有多差。 要确定此值，模型必须定义损失函数。 例如，线性回归模型通常将均方误差用作损 …
大模型优化利器：RLHF之PPO、DPO
Jan 21, 2025 · 最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor …