手机浏览器扫描二维码访问
第592章 积极反馈的老师Relu函数（第3页）
的优缺点：只关注“好消息”，但可能忽略重要信息
虽然
re露
在神经网络中非常流行，但它并不是完美的，它的特点决定了它既有优点，也有一些潜在的问题。
re露
的优点：更快、更强、更稳定
1.
计算速度快
re露
只需要简单地判断**“是否大于
0”**，不像
sigid
或
tanh
需要复杂的指数运算，因此它能让神经网络计算得更快。
2.
解决梯度消失问题
在深度神经网络中，传统的
sigid
函数容易让梯度变得越来越小（导致网络学不会东西）。但
re露
由于保持正值不变（直接
y=x），不会导致梯度消失，从而让神经网络可以学习更复杂的模式。
3.
让神经网络更容易训练深层结构
re露
是现代深度学习的核心激活函数，因为它让深度神经网络（dnn、cnn、transformer
等）可以稳定地训练数百层，甚至更深。
re露
的缺点：可能会忽略一些“负面信息”
虽然
re露
能够高效处理正数输入，但它也有一个潜在的问题——如果输入是负数，它就会直接变成
神谕之十二生肖 夺我灵根骂我狠？先天绝情圣体已成！ 我是赵梦凡 盗墓：无故失忆后我直接发癫 尸之仙 开局校花太太向我道歉，东京末日 女将带球跑后，死对头一夜哭白头 崩坏：从西琳开始捕获小小律者 迷雾中的真相：侦探手记 银镜通古今，侯府真千金带崽开挂了！ 重回1978都市放牛 黑芒科技之途 海贼：洛克斯时代第一剑豪！ 叶尘：重生在赘婿逆袭之路 重生后被亿万富豪逼婚，渣男傻眼 开局表白女神，一剑震撼万族 吞天仙根 穿越兽世，日日扶腰求放过 穿越之异世奇遇迹 玉孤
师娘，借个火（师娘，别玩火）
师父死了，留下美艳师娘，一堆的人打主意，李福根要怎么才能保住师娘呢？...
天才狂少
一个本来庸才的学生，在一次奇遇后，居然成为傲世天才，他发现自己的身世居然是而后面还有天大的阴谋...
修罗天帝
...
我家娘子是女皇
作为醉月楼唯一一个男人，杨辰觉得压力很大。通过我洗的衣服来判断，李姐姐胖了两斤，王姐姐瘦了点，还有，能不能别让马姐姐穿那么性感的衣服，我洗衣服压力很大的。杨辰需要每天像老鸨这样汇报着工作。除此之外，他还要严守自己的贞操。杨辰，今天晚上来侍寝！让姐姐亲一个！记住，别躲，今晚，你是我的。...
村野小邪医
段飞是个倒霉的孩子，老爹被人陷害入狱，又遭遇对象退婚，开间小诊所给村里的人治病，连温饱都不行。可他从未放弃过努力，他坚信只要人不死，必定有站在人生巅峰的那天，最后他用枚小小的银针走上复仇之路，凭精湛的针灸获得无数美女青睐陪伴。这是个励志故事，段飞的崛起之路经受无数阴谋陷害，可他为了坚守正义毫不畏惧，视死如归跟邪恶力量做斗争。...
悦女吴县
...