WEBVTT

00:00.510 --> 00:02.850
大家好, 欢迎回到深度学习课程｡ 

00:02.850 --> 00:08.760
今天我们讨论的是Revolut, 它是一个经过校正的线性单元,

00:08.760 --> 00:12.090
这是卷积步骤之上的一个附加步骤｡

00:12.090 --> 00:13.620
所以这不是一个单独的大步骤｡ 

00:13.620 --> 00:14.490
这是一小步｡ 

00:14.490 --> 00:15.990
基本上是第一步B｡ 

00:15.990 --> 00:18.150
这是怎么回事？

00:18.150 --> 00:20.310
好了, 我们有了输入图像｡ 

00:20.310 --> 00:22.800
我们已经讨论过卷积层｡ 

00:22.800 --> 00:30.930
最重要的是, 我们将应用wait for it, 这是我们最喜欢的整流器功能｡ 

00:30.930 --> 00:38.490
您已经熟悉了上一节关于人工神经网络的整流器函数｡

00:38.490 --> 00:48.690
在我们的SO中, 有时候作者或老师会把卷积和整流器分开, 作为两个独立的步骤, 我们只考虑它们,

00:48.690 --> 00:56.970
是第二次进化的一个重要步骤, 而不是整流器｡

00:56.970 --> 01:03.720
我们之所以使用整流器, 是因为我们想增加图像或网络中的非线性度,

01:03.720 --> 01:08.010
在我们的卷积神经网络中｡

01:08.010 --> 01:15.660
整流器作为滤波器或通路, 具有破坏线性的功能｡ 

01:15.660 --> 01:23.610
我们之所以要提高网络的非线性度, 是因为图像本身是高度非线性的, 特别是当你要识别彼此相邻的不同物体,

01:23.610 --> 01:31.230
或者只是在背景上识别之类的东西时｡

01:31.230 --> 01:37.950
就像图像会有很多非线性元素和像素之间的过渡一样, 相邻像素通常也会是非线性的｡

01:37.950 --> 01:43.500
这是因为有边界, 有不同的颜色, 它是不同的, 有不同的元素在您的图像｡

01:43.500 --> 01:50.040
但同时,

01:50.040 --> 01:59.460
当我们应用卷积等数学运算并运行特征检测来创建特征图时, 我们可能会创建一些线性的东西, 因此我们需要打破线性｡

01:59.730 --> 02:01.710
让我们看一个例子｡ 

02:02.400 --> 02:05.700
这是一张图片, 一张原始图片｡ 

02:05.730 --> 02:13.080
现在, 当我们把一个特征检测器应用到这张图像上, 我们得到了这样的结果｡ 

02:13.080 --> 02:15.000
所以你可以看到黑色是阴性的｡ 

02:15.000 --> 02:15.930
白色为正值｡ 

02:15.930 --> 02:22.620
当你把一个特征检测器应用到一个正常的图像上, 它不仅有0和1, 而且有很多不同的值,

02:22.620 --> 02:27.420
你应用, 就像我们之前看到的,

02:27.420 --> 02:34.560
如果未来的检测器本身可以有负值, 有时你会得到负值, 这里是它们的黑色的是负值, 白色的是正值｡

02:34.560 --> 02:46.320
一个修正的线性单位函数的作用是, 它去掉了所有的黑色, 任何小于零的东西, 它都变成了零｡

02:46.320 --> 02:48.540
所以从这个变成了这个｡ 

02:48.540 --> 02:49.050
好吧, 我知道了

02:49.050 --> 02:58.590
所以很难看出四个变量在线性分解方面到底有什么好处｡

02:59.250 --> 03:00.960
我会解释的｡ 

03:00.990 --> 03:03.900
我试着在这张图上展示一个例子｡ 

03:04.560 --> 03:08.160
但说到底, 这是一个非常数学化的概念｡ 

03:08.160 --> 03:12.390
我们必须深入到大量的数学中去, 才能真正解释到底发生了什么｡ 

03:12.390 --> 03:13.740
但让我们让我们试试让我们看看｡ 

03:13.740 --> 03:17.850
举个例子, 让我们看看这座建筑, 对吧？

03:17.850 --> 03:19.740
所以这是一栋独立的建筑｡ 

03:20.590 --> 03:24.390
然后你可以看到这个阴影, 这个黑色的部分, 这个阴影在这里｡ 

03:24.390 --> 03:30.390
你可以看到它是白色的, 是光的反射, 然后是灰色, 然后变暗,

03:30.390 --> 03:32.850
然后再变暗｡

03:32.850 --> 03:33.180
对不对？

03:33.180 --> 03:35.790
所以当我们把它取出来的时候, 我们把黑色的部分取出来｡ 

03:35.790 --> 03:38.130
从线性的角度来考虑, 对吧？

03:38.130 --> 03:43.890
所以看起来当你从白色变成灰色的时候, 下一步就会是黑色, 对吗？

03:43.890 --> 03:44.910
下一个步骤将是黑色｡ 

03:44.910 --> 03:49.410
它是从亮到暗的线性过程｡ 

03:49.410 --> 03:53.400
因此, 这就像是一个线性的情况｡ 

03:53.400 --> 03:55.710
当你去掉黑色, 你打破了线性｡ 

03:56.550 --> 03:57.630
让我们试试另一个｡ 

03:57.870 --> 03:59.010
让我们看看这里｡ 

03:59.010 --> 04:01.890
同时, 它仍然是同一栋楼, 对吗？

04:01.890 --> 04:08.340
这不像你你不像你不像你把两栋楼融合在一起｡ 

04:08.340 --> 04:09.750
但那是次要的｡ 

04:09.750 --> 04:11.580
重点是打破线性｡ 

04:11.970 --> 04:13.050
让我们来看看这里｡ 

04:13.050 --> 04:13.500
一样的东西｡ 

04:13.500 --> 04:19.350
所以你看到白色, 灰色, 黑色, 灰色, 白色｡ 

04:19.350 --> 04:22.430
当你分手的时候, 你就没有了, 对吗？

04:22.440 --> 04:30.300
你没有那种渐进, 渐进, 你只是有一个突然的变化,

04:30.300 --> 04:33.390
这有助于引入非线性到你的图像｡

04:33.390 --> 04:42.510
所以这是一个非常粗略的解释, 很像是在手指上的解释而不是技术上的解释｡

04:42.510 --> 04:47.280
但希望它能帮助你更好地理解我们在这里讨论的内容｡ 

04:47.280 --> 04:50.430
在这里, 你可以看到, 白色灰色是一个更好的例子｡ 

04:50.430 --> 04:55.440
甚至你看到了光明, 黑暗, 黑暗, 黑暗, 黑暗, 黑暗, 黑暗｡ 

04:55.440 --> 04:58.140
所以这部分看起来是线性的｡ 

04:58.140 --> 04:59.340
然后你就这样分开｡ 

04:59.610 --> 05:00.960
嗯, 再来一次｡ 

05:00.960 --> 05:04.380
所以这是一个非常粗略的解释｡ 

05:04.380 --> 05:08.460
它不是绝对完美的, 但至少它让你对正在发生的事情有了一些想法｡ 

05:08.580 --> 05:12.840
但如果你想了解更多, 这里有篇好论文, 一如既往｡ 

05:12.840 --> 05:13.920
总会有报纸的｡ 

05:13.950 --> 05:22.770
这是来自加州大学的Keiko写的, 叫做“用数学模型理解卷积神经网络”｡

05:22.920 --> 05:28.740
基本上, 它们是问题的答案, 你只需要看第一个｡ 

05:28.740 --> 05:29.880
问题是为什么不呢？

05:30.000 --> 05:35.430
非线性激活函数在所有中间层的滤波器输出处是必要的｡ 

05:36.030 --> 05:43.890
这就解释得更详细了, 从直觉和数学两个方面.

05:44.070 --> 05:47.880
这是一篇很有趣的论文, 你可以从中得到更多关于这个主题的信息｡ 

05:47.880 --> 05:55.590
如果你真的想在这里挖掘和探索一些很酷的东西, 那么这里有另一篇你可能会感兴趣的论文｡

05:55.590 --> 06:02.610
它被称为深入研究整流器, 在图像和网络分类方面超过了人类11级的表现｡ 

06:02.610 --> 06:17.460
这里的作者和其他来自微软研究院的人, 他们提出了一种不同类型的校正线性单位函数｡

06:17.580 --> 06:26.520
他们提出了参数校正线性函数（如右图所示）, 并认为该函数可以在不牺牲性能的情况下提供更好的结果｡

06:26.520 --> 06:31.830
如果你想更深入地了解这个话题, 请阅读这本有趣的书, 今天就到这里｡ 

06:31.830 --> 06:37.650
真实的的新层非常简单, 非常直接, 只需应用整流器函数｡ 

06:37.650 --> 06:39.120
我期待着下次见到你｡ 

06:39.120 --> 06:40.890
在此之前, 请尽情享受深度学习｡