更多待解决问题>>

提问

如何找到扁平极小值？

举报 回答
如何找到扁平极小值？
问在线客服
扫码问在线客服

  • 回答数

    5

  • 浏览数

    7,437

举报 回答

5个回答 默认排序
  • 默认排序
  • 按时间排序

没找到满意答案？去问秘塔AI搜索
取消 复制问题

陈醒　

目前考虑的正则化方法主要包括以下三种：一是权重归一化，即对网络参数的模长施加约束，尤其在人脸识别模型的分类层中被广泛采用，有助于提升类间可分性；二是权重量化，通过限制权重的取值精度或离散化其取值范围，间接实现模型简化与泛化能力增强；三是DropConnect，作为Dropout的对应变体，其作用对象并非神经元激活值，而是连接权重本身——在训练过程中随机将部分权重置为零，从而削弱网络单元间的强依赖关系，提升模型鲁棒性。这些方法均旨在缓解过拟合，提升模型在未知数据上的表现。
评论
取消 评论

振文　

权重衰减通过在优化过程中按比例缩小权重，有效抑制其过度增长；最大范数约束则在训练时限制权重向量的模长不超过预设阈值，从而约束整体规模；正交性惩罚在损失函数中引入额外项，推动权重矩阵趋近正交，增强模型训练稳定性与泛化能力。
评论
取消 评论

是春菜啊　

打开PyTorch调参界面狂按loss曲线，盯着它发呆半小时，突然觉得那个矮胖的谷就是扁平极小值（玄学版）
评论
取消 评论

Boromir　

多跑几遍训练，loss掉到差不多就停——反正梯度小、泛化还行，管它扁不扁，能用就行
评论
取消 评论

Dontcare　

啥是扁平极小值？我连普通极小值都还没整明白
评论
取消 评论
超值推荐

最新回答 更多>

ZOL问答 > 如何找到扁平极小值？

举报

感谢您为社区的和谐贡献力量请选择举报类型

广告内容 反动言论 色情内容 其他违规违法内容

举报成功

经过核实后将会做出处理
感谢您为社区和谐做出贡献

扫码参与新品0元试用
晒单、顶楼豪礼等你拿

扫一扫，关注我们
提示

确定要取消此次报名，退出该活动？

确定 取消