中PyTorch训练中出现死循环 检查Loss是否异常导致梯无穷|Duuu笔记

admin7天前22
Loss突变为inf或nan导致训练“假死”:梯度失效、参数不更新,主因是除零、log(0)、重复softmax等;需用torch.isfinite检查、清空optimizer状态或重建,并在AMP中...

中PyTorch训练中出现死循环 检查Loss是否异常导致梯度无穷深度解析|Duuu笔记

admin2周前 (03-31)20
Loss突变为inf或nan导致训练“假死”:梯度失效、参数不更新,主因是除零、log(0)、重复softmax等;需用torch.isfinite检查、清空optimizer状态或重建,并在AMP中...