大家好, 欢迎回到深度学习课程｡
好吧, 我会的
今天我们要讨论的是激活功能｡
让我们直接进入它｡
这就是我们刚才讲到的地方｡
之前, 我们讨论了一个神经元的结构｡
所以它在中间｡
我们知道, 它有一些输入, 输入的值, 它有一些权重, 然后它把权重相加,
计算这些输入的权重, 然后应用激活函数｡
在第三步, 它将信号传递给下一个神经元｡
这就是我们今天要讨论的｡
我们讨论的是要传递的值｡
我们现在讨论的是激活函数｡
那么, 激活功能有哪些选项？
我们将介绍四种不同类型的激活函数, 您可以从中进行选择｡
当然, 还有更多不同类型的激活函数, 但这些是你们将听到的主要类型,
我们将在本课程中使用这些函数｡
这是阈值函数｡
看起来是这样的
所以在x轴上你有输入的加权和｡
在y轴上, 只有从0到1的值｡
基本上, 阈值函数是一个非常简单的函数, 如果值小于零,
那么阈值函数传递零｡
如果该值大于零或等于零, 则threshold函数传递1｡
所以它基本上是一种, 是, 否类型的函数, 非常, 非常直接, 非常像是一种刚性类型的函数,
要么是, 要么不是｡
别无选择｡
所以你去那里｡
就是这样的
非常简单的功能｡
让我们来看看更复杂的东西｡
现在, S形函数, 非常有趣的公式｡
你会看到刚才有1除以1 + E的负X次幂, 而在这个例子中,
当然, x是加权和的总和｡
这就是乙状结肠的样子
如果你还记得的话, 这是一个用在逻辑回归中的函数, 在机器学习课程中｡
所以这个函数的优点是它是平滑的, 不像阈值函数｡
这一个没有这些扭结在它的曲线, 因此它只是很好的和顺利的, 渐进的进展｡
所以任何低于零的东西都等于零以上的下降｡
它看起来近似于1｡
这个S形函数在最后一层, 在输出层非常有用, 特别是当你试图预测概率的时候｡
我们将在本课程中看到这一点｡
还有整流器功能｡
整流函数是人工神经网络中最常用的函数之一, 尽管它有一个扭结｡
所以它一直到零｡
它是零｡
然后从那里开始, 随着输入值的增加, 它也逐渐前进｡
我们将在整个课程中看到这一点｡
我们会在其他直觉教程中看到,
我们也会在课程的实践部分看到, 如何使用这个函数, 我会在接下来的几张幻灯片中对此进行更多的评论｡
因此, 请记住, 整流器函数是人工神经网络中最常用的函数之一｡
最后, 我们还有一个函数, 您可能会听说｡
它是双曲正切函数｡
它和S形函数非常相似, 但是这里双曲正切函数小于零, 所以值从0到1或者近似到1,
另一边从0到-1｡
这在某些应用中是有用的｡
因此, 我们不打算对每一个函数都进行深入讨论｡
我只是想让你了解他们, 这样你就知道他们长什么样, 叫什么｡
如果你想得到一些额外的阅读, 然后看看这篇文章由Xavier Claret你写的所谓的深空整流器神经网络,
2011年的论文｡
在那里, 你会发现为什么整流器功能是如此有价值的功能, 为什么它被如此广泛地使用｡
但不管怎样, 现在, 你真的不需要知道所有这些事情｡
现在, 我们只是开始应用它们｡
我们只是开始越来越多地使用它们｡
所以当你对事物的实际方面感到满意时, 你可以去参考这篇论文, 这样你就能更快地吸收这些知识,
而且它会更有意义｡
但请记住, 当你准备好了, 当你觉得你准备好了,
你就可以去参考这篇论文, 从中获得一些有价值的知识｡
简单回顾一下, 我们有阈值激活函数, 它看起来像这样, 乙状结肠激活函数看起来像这样｡
我们有整流函数和双曲正切函数｡
现在, 为了完成本教程, 让我们快速做几个练习｡
所以我们做两个快速的练习来帮助你理解这些知识｡
第一个例子是一个只有一个神经元的神经网络｡
然后是输出层｡
问题是, 假设你的因变量是二进制的, 所以它要么是0, 要么是1,
你会用哪个阈值函数？
在我们讨论过的函数中, 我们有阈值函数, S形函数, 整流函数,
我们有双曲正切函数, 它们的函数形式｡
对于二进制变量, 您可以使用哪些变量？
答案是, 我们有两种选择.
第一个是阈值激活函数, 因为我们知道它在0和1之间, 在一定的值下它给你0,
否则它给你1｡
所以它只能给予你两个值｡
它完全符合, 完全符合这个要求, 所以你可以说Y等于加权和的阈值函数,
就这样.
在第二种情况下, 你可以使用S形激活函数, 它实际上也在0和1之间,
这正是我们所需要的｡
但同时你要的只是零一, 对不对？
所以这不是我们需要的, 但在这种情况下, 你可以用它来表示y是或不是的概率.
所以我们希望y等于01｡
但是我们会说, S形函数, S形激活函数告诉我们, 它是否告诉我们,
Y等于1的概率｡
因此, 基本上你越接近顶部, 就越有可能这确实是一个或一个是, 而不是一个否｡
是的, 这和逻辑回归方法非常相似｡
这只是两个例子｡
如果你有一个二进制变量｡
现在让我们看看另一个实际应用｡
让我们来看看如果我们有一个这样的神经网络, 这一切会如何发展｡
在第一个输入层, 我们有一些输入｡
它们被发送到我们的第一个隐藏层, 然后应用一个激活函数｡
通常, 你们在这里应用的以及在整个课程中看到的是, 我们将应用整流器激活函数｡
所以看起来就像这样｡
我们应用整流器激活函数, 然后从那里信号将被传递到输出层,
在那里将应用S形激活函数, 这将是我们的最终输出, 例如, 可以预测概率｡
这种组合非常常见, 在隐藏层中应用整流函数,
然后在输出层中应用S形函数｡
好了, 我们走吧｡
希望您喜欢今天的教程｡
现在, 您已经非常熟悉四种不同类型的激活函数,
并将在本课程中获得一些实际操作经验｡
我们将在所有地方使用它们, 因此您将非常亲密地了解它们, 并且您应该对它们感到非常舒适｡
但现在, 您需要掌握这些知识, 以便继续学习并了解本课程后面的内容｡
说到这, 我期待着下次见到你｡
在此之前, 请尽情享受深度学习｡