Xin chào và chào mừng bạn trở lại khóa học về học sâu.
Được rồi.
Hôm nay chúng ta đang nói về chức năng kích hoạt.
Hãy đi thẳng vào nó.
Vì vậy, đây là nơi chúng tôi đã dừng lại.
Trước đây, chúng ta đã nói về cấu trúc của một tế bào thần kinh.
Vì vậy, nó ở giữa.
Chúng tôi biết rằng nó có một số đầu vào, giá trị đi vào, nó có một số trọng số, sau đó nó cộng trọng số, tính toán
trọng số một số đầu vào đó và sau đó áp dụng chức năng kích hoạt.
Và trong bước ba, nó truyền tín hiệu cho nơ-ron tiếp theo.
Và đó là những gì chúng ta đang nói đến ngày hôm nay.
Chúng ta đang nói về giá trị sẽ được vượt qua.
Vì vậy, chúng tôi đang nói về chức năng kích hoạt đang được áp dụng.
Vậy chúng ta có những lựa chọn nào cho chức năng kích hoạt?
Chà, chúng ta sẽ xem xét bốn loại chức năng kích hoạt khác nhau mà bạn có thể chọn.
Tất nhiên, có nhiều loại chức năng kích hoạt khác nhau, nhưng đây là những chức năng chủ yếu mà bạn
sẽ được nghe nói đến và chúng tôi sẽ sử dụng trong khóa học này.
Vì vậy, đây là hàm ngưỡng.
Đây là những gì nó trông như thế này.
Vì vậy, trên trục x, bạn có tổng trọng số của các đầu vào.
Trên trục y, bạn chỉ có các giá trị từ 0 đến 1.
Và về cơ bản, hàm ngưỡng là một loại hàm rất đơn giản, trong đó nếu giá trị nhỏ
hơn 0, thì hàm ngưỡng chuyển về 0.
Nếu giá trị lớn hơn 0 hoặc bằng 0, thì hàm ngưỡng chuyển sang giá trị một.
Vì vậy, về cơ bản nó giống như, có, không có loại chức năng, rất, rất đơn giản, rất giống
loại chức năng cứng nhắc hoặc có hoặc không.
Không có lựa chọn nào khác.
Vậy là xong.
Đó là cách nó hoạt động.
Chức năng rất đơn giản.
Hãy chuyển sang một cái gì đó phức tạp hơn một chút.
Bây giờ, hàm sigmoid, công thức rất thú vị mà chúng ta có ở đây.
Bạn sẽ thấy ngay bây giờ có một chia cho một cộng với E thành lũy thừa của trừ X, trong
khi trong trường hợp này, tất nhiên, x là giá trị của tổng các tổng có trọng số.
Và đúng vậy, đây là hình dạng của sigmoid.
Đó là một hàm được sử dụng trong hồi quy logistic, nếu bạn nhớ lại, từ khóa học máy
học.
Vì vậy, những gì tốt về chức năng này là nó mượt mà, không giống như chức năng ngưỡng.
Cái này không có những đường gấp khúc đó trong đường cong của nó và do đó nó chỉ đẹp và mượt mà, tiến triển dần dần.
Vì vậy, bất cứ điều gì dưới 0 cũng giống như giảm xuống trên 0.
Nó có vẻ gần đúng với một.
Và hàm sigmoid này rất hữu ích trong lớp cuối cùng, trong lớp đầu ra, đặc biệt khi bạn đang cố gắng
dự đoán các xác suất.
Và chúng ta sẽ thấy điều đó trong suốt khóa học này.
Và sau đó chúng ta có chức năng chỉnh lưu.
Chức năng chỉnh lưu, ngay cả khi nó có một đường gấp khúc, là một trong những chức năng phổ biến nhất đối với mạng nơ-ron
nhân tạo.
Vì vậy, nó đi tất cả các cách để không.
Nó là số không.
Và sau đó nó dần dần tiến triển khi giá trị đầu vào cũng tăng theo.
Và chúng ta sẽ thấy điều đó trong suốt khóa học.
Chúng ta sẽ thấy điều đó trong các hướng dẫn trực giác khác và chúng ta cũng sẽ thấy rằng cách chúng ta
sử dụng chức năng này trong khía cạnh thực tế của khóa học và tôi sẽ bình luận thêm về điều này trong một vài slide kể từ bây giờ.
Vì vậy, chỉ cần nhớ rằng hàm Rectifier là một trong những hàm được sử dụng nhiều nhất trong mạng nơron nhân tạo.
Và cuối cùng, chúng tôi có một chức năng nữa mà bạn có thể sẽ nghe nói đến.
Đó là hàm tiếp tuyến hypebol.
Nó rất giống với hàm sigmoid, nhưng ở đây hàm tiếp tuyến hyperbolic đi xuống dưới 0, vì vậy các giá trị
đi từ 0 đến 1 hoặc xấp xỉ bằng một và đi từ 0 đến -1 ở phía bên kia.
Và điều đó có thể hữu ích trong một số ứng dụng.
Vì vậy, chúng tôi sẽ không đi sâu vào từng chức năng này.
Tôi chỉ muốn cho bạn biết về họ để bạn biết họ trông như thế nào và họ được gọi là gì.
Nếu bạn muốn đọc thêm, hãy xem bài báo này của Xavier Claret mà bạn đã viết có tên là A Deep
Space Rectifier Neural Networks, bài báo năm 2011.
Và ở đó bạn sẽ tìm hiểu chính xác tại sao chức năng Rectifier lại là một chức năng có giá trị như vậy, tại sao nó lại được sử dụng
phổ biến như vậy.
Nhưng tuy nhiên, hiện tại, bạn không thực sự cần biết tất cả những điều đó.
Hiện tại, chúng tôi sẽ bắt đầu áp dụng chúng.
Chúng tôi chỉ bắt đầu sử dụng chúng ngày càng nhiều hơn và nhiều hơn nữa.
Và vì vậy khi bạn cảm thấy thoải mái với khía cạnh thực tế của mọi thứ, thì bạn có thể tham khảo bài báo này và
sau đó bạn sẽ có thể ngâm mình trong kiến thức đó nhanh hơn và nó sẽ có ý nghĩa hơn nhiều.
Nhưng chỉ cần ghi nhớ điều này rằng khi bạn đã sẵn sàng, khi bạn cảm thấy rằng bạn đã sẵn sàng, thì bạn có
thể tham khảo bài báo này và nhận được một số kiến thức quý giá từ đó.
Vì vậy, chỉ để tóm tắt lại, chúng ta có chức năng kích hoạt ngưỡng trông giống như thế này, chức năng kích hoạt
sigmoid trông giống như thế này.
Chúng ta có hàm chỉnh lưu và chúng ta có hàm tiếp tuyến hypebol.
Và bây giờ để kết thúc hướng dẫn này, chúng ta hãy nhanh chóng thực hiện một vài bài tập.
Vì vậy, chúng tôi sẽ chỉ làm hai bài tập nhanh để giúp kiến thức đó đi sâu vào.
Đầu tiên là chúng ta có một ví dụ ở đây về mạng nơ-ron chỉ với một nơ-ron.
Và ngay sau đó là lớp đầu ra.
Và câu hỏi đặt ra là, giả sử rằng biến phụ thuộc của bạn là nhị phân, vì vậy nó hoặc là 0, bạn
sẽ sử dụng hàm ngưỡng nào?
Vì vậy, trong số những cái mà chúng ta đã thảo luận, chúng ta có hàm ngưỡng, hàm sigmoid, hàm
Rectifier và chúng ta có hàm tiếp tuyến hyperbol ở dạng vai trò của chúng.
Bạn có thể sử dụng cái nào cho biến nhị phân?
Vì vậy, câu trả lời ở đây là có hai lựa chọn mà chúng ta có thể tiếp cận vấn đề này.
Vì vậy, số một là hàm kích hoạt ngưỡng bởi vì chúng tôi biết rằng nó nằm giữa 0 và 1 và nó cung cấp cho bạn một số 0
dưới các giá trị nhất định và sau đó ngược lại, nó cung cấp cho bạn một số.
Vì vậy, nó chỉ có thể cung cấp cho bạn hai giá trị.
Nó hoàn toàn phù hợp, hoàn toàn phù hợp với yêu cầu này, và do đó bạn chỉ có thể nói Y bằng hàm ngưỡng của
tổng trọng số của bạn, và thế là xong.
Và trong trường hợp thứ hai, bạn có thể sử dụng hàm kích hoạt sigmoid, nó thực sự cũng nằm giữa 0 và
1, chỉ những gì chúng ta cần.
Nhưng đồng thời bạn muốn chỉ là con số không, phải không?
Vì vậy, đó không phải là chính xác những gì chúng tôi cần, nhưng trong trường hợp này, những gì bạn có thể
sử dụng nó là xác suất y là có hoặc không.
Vì vậy, chúng tôi muốn y bằng không.
Nhưng thay vào đó chúng ta sẽ nói rằng hàm sigmoid, hàm kích hoạt sigmoid cho chúng ta biết liệu nó có cho chúng ta biết
xác suất Y bằng một hay không.
Vì vậy, về cơ bản bạn càng gần đến đỉnh, càng có nhiều khả năng rằng đây thực sự là một hoặc một có hơn
là không.
Và đúng vậy, điều đó rất giống với cách tiếp cận hồi quy logistic.
Và đó chỉ là hai ví dụ.
Nếu bạn có một biến nhị phân.
Và bây giờ chúng ta hãy xem xét một ứng dụng thực tế khác.
Hãy xem tất cả điều này sẽ diễn ra như thế nào nếu chúng ta có một mạng nơ-ron như thế này.
Vì vậy, trong lớp đầu vào đầu tiên, chúng ta có một số đầu vào.
Chúng được chuyển đến lớp ẩn đầu tiên của chúng tôi và sau đó một chức năng kích hoạt được áp dụng.
Và thông thường những gì bạn sẽ áp dụng ở đây và những gì bạn sẽ thấy trong suốt khóa học này là chúng tôi sẽ
áp dụng chức năng kích hoạt bộ chỉnh lưu.
Vì vậy, nó sẽ giống như một cái gì đó.
Chúng tôi áp dụng chức năng kích hoạt Bộ chỉnh lưu và sau đó từ đó các tín hiệu sẽ được chuyển đến lớp đầu
ra nơi áp dụng chức năng kích hoạt sigmoid và đó sẽ là đầu ra cuối cùng của chúng tôi và
có thể dự đoán xác suất chẳng hạn.
Vì vậy, sự kết hợp này sẽ khá phổ biến khi trong các lớp ẩn chúng ta áp dụng chức
năng chỉnh lưu, và sau đó trong lớp đầu ra chúng ta áp dụng hàm sigmoid.
Vậy là xong.
Hy vọng bạn thích hướng dẫn ngày hôm nay.
Bây giờ bạn đã khá thành thạo với bốn loại chức năng kích hoạt khác nhau và bạn sẽ có được một
số kinh nghiệm thực tế với chúng trong suốt khóa học này.
Chúng tôi sẽ sử dụng chúng ở khắp mọi nơi, vì vậy bạn sẽ làm quen với chúng một cách khá thân mật và bạn
sẽ khá thoải mái với chúng.
Nhưng hiện tại, đây là kiến thức mà bạn cần phải nâng cao và hiểu những gì sẽ xảy ra sâu hơn
trong khóa học này.
Và trên ghi chú đó, tôi mong được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng việc học sâu.