PyTorch:Dropout 操作 torch.nn.Dropout()

torch.nn.Dropout是PyTorch中的一个模块,它在训练模式下按照给定的概率p随机将输入张量的元素置0,以此实现正则化防止过拟合。在评估模式下,它不执行dropout操作,而是直接传递输入。此功能的底层实现是torch.nn.functional.dropout,该函数允许用户控制是否原地修改输入以及是否在训练模式下应用dropout。

torch.nn.Dropout() 是 PyTorch 中对 Dropout 层的其中一个实现,该函数底层调用 torch.nn.functional.dropout()

1、torch.nn.Dropout(p=0.5, inplace=False)

其作用是,在 training 模式下,基于伯努利分布抽样,以概率 p 对张量 input 的值随机置0;

training 模式中,对输出以 1/(1-p) 进行 scaling,而 evaluation 模式中,使用恒等函数;

p:默认 0.5,张量元素被置0的概率;

inplace:默认False,是否原地执行;

self.dropout_layer = torch.nn.Dropout()

2、torch.nn.functional.dropout(input, p=0.5, training=True, inplace=False)

该方法是 Dropout() 层的底层实现

input:输入张量

p:默认 0.5,张量元素被置0的概率;

training:默认True,为 Ture 时执行dropout,为 False 时不执行,与模块模式设置相关;

inplace:默认 False,是否原地执行;

x = torch.nn.functional.dropout(x)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值