Xin chào và chào mừng bạn trở lại khóa học về Học sâu.
Hôm nay chúng ta đang nói về nơ-ron, là khối xây dựng cơ bản của mạng nơ-ron nhân tạo.
Vậy hãy bắt đầu.
Trước đây, chúng ta đã thấy một hình ảnh trông giống như thế này, và đây là những tế bào thần kinh thực
tế ngoài đời thực được bôi lên một lớp sơn bóng và tô màu một chút và chúng được quan sát qua kính hiển vi.
Vì vậy, đây là những gì họ trông như thế nào.
Như bạn có thể thấy, một cấu trúc khá thú vị, một thân và sau đó là rất nhiều đuôi khác nhau,
loại cành mọc ra từ chúng.
Và điều này rất thú vị, nhưng câu hỏi đặt ra là, làm thế nào chúng ta có thể tạo lại nó trong một chiếc máy?
Bởi vì chúng ta thực sự cần phải tạo lại nó trong máy, vì toàn bộ mục đích của học sâu là
bắt chước cách bộ não con người hoạt động với hy vọng rằng bằng cách đó, chúng ta sẽ tạo ra một thứ gì đó tuyệt vời.
Chúng tôi sẽ tạo ra một cơ sở hạ tầng tuyệt vời để máy móc có thể học hỏi.
Và tại sao chúng ta lại hy vọng điều đó?
Chà, bởi vì bộ não của con người rất tốt, tình cờ trở thành một trong những công cụ học tập mạnh mẽ
nhất trên hành tinh hoặc giống như các cơ chế học tập trên hành tinh.
Và chúng tôi chỉ hy vọng rằng nếu chúng tôi tạo lại điều đó, chúng tôi sẽ có thứ gì đó tuyệt vời như thế.
Vì vậy, thách thức của chúng tôi ngay bây giờ, bước đầu tiên của chúng tôi để tạo ra các mạng nơ-ron nhân tạo, là tạo lại
một nơ-ron.
Vì vậy, làm thế nào để chúng tôi làm điều đó?
Trước hết, chúng ta hãy xem xét kỹ hơn nó thực sự là gì.
Hình ảnh này được tạo ra lần đầu tiên bởi nhà thần kinh học người Tây Ban Nha Santiago Ramon Cajal vào năm 1899, và những gì ông đã làm là làm chết các
tế bào thần kinh trong mô não thực tế và nhìn chúng dưới kính hiển vi.
Và trong khi anh ấy đang nhìn chúng, anh ấy đã thực sự vẽ những gì anh ấy nhìn thấy.
Và đây là những gì anh ấy đã thấy.
Anh ta nhìn thấy hai tế bào thần kinh hoặc hai tế bào thần kinh lớn ở phía trên, có tất cả các nhánh này
thoát ra từ chúng về phía trên cùng của chúng.
Và sau đó mỗi người có một cái que này hoặc sợi giống như sợi chỉ ra về phía dưới cùng một cái rất dài và vâng, đó là những gì
anh ta nhìn thấy.
Và bây giờ công nghệ đã tiến bộ khá nhiều và chúng ta đã thấy các tế bào thần kinh chi tiết hơn nhiều và bây giờ chúng
ta thực sự có thể vẽ nó trông như thế nào một cách đáng kinh ngạc.
Vì vậy, chúng ta hãy xem xét điều đó.
Đây là một tế bào thần kinh.
Đây là thứ trông rất giống với những gì Santiago Ramon đã vẽ ở đây và ở đây trong nơ-ron này, những gì chúng ta có thể thấy là nó
có một phần thân là phần chính của nơ-ron, và sau đó nó có một số nhánh ở trên cùng,
đó là gọi là đuôi gai.
Và nó cũng có một sợi trục, là cái đuôi dài của tế bào thần kinh.
Vậy những đuôi gai này để làm gì và sợi trục để làm gì?
Chà, điểm mấu chốt cần hiểu ở đây là bản thân các tế bào thần kinh là vô dụng.
Nó giống như nó giống như một con kiến, phải không?
Một con kiến của riêng nó.
Không thể làm nhiều như năm con kiến với nhau.
Có lẽ họ có thể nhặt một cái gì đó.
Nhưng một lần nữa, họ không, họ không thể xây dựng một con kiến.
Họ không thể thiết lập một thuộc địa.
Chúng không thể làm việc cùng nhau như một sinh vật khổng lồ.
Nhưng đồng thời, khi bạn có rất nhiều quảng cáo, giống như bạn có một triệu con kiến, chúng có thể xây dựng
cả một đàn kiến, chúng có thể xây dựng một tổ kiến.
Điều tương tự với tế bào thần kinh của chính nó.
Nó không mạnh như vậy.
Nhưng khi bạn có nhiều tế bào thần kinh cùng nhau, chúng sẽ làm việc cùng nhau để làm nên điều kỳ diệu.
Và chúng hoạt động cùng nhau như thế nào?
Đó là câu hỏi.
Chà, đó là những gì đuôi gai và sợi trục dùng để làm.
Vì vậy, các đuôi gai giống như máy thu tín hiệu cho tế bào thần kinh và sợi trục là bộ truyền tín
hiệu cho tế bào thần kinh.
Và đây là hình ảnh về cách tất cả hoạt động về mặt khái niệm.
Vì vậy, ở trên cùng, bạn có một tế bào thần kinh và bạn có thể thấy rằng các đuôi gai của nó được kết nối với các sợi
trục của các tế bào thần kinh khác giống như ở phía trên nó.
Và sau đó tín hiệu từ nơ-ron này truyền xuống sợi trục của nó và kết nối hoặc truyền đến các đuôi của nơ-ron
tiếp theo.
Và đó là cách họ kết nối.
Và trong hình ảnh nhỏ ở đó, bạn có thể thấy sợi trục không thực sự chạm vào đuôi gai.
Rất nhiều máy học hoặc giống như một vài máy học, các nhà khoa học rất kiên quyết về điều đó.
Việc nó không chạm vào nó như không chạm vào nó đã được chứng minh rằng không có kết nối vật lý
ở đó.
Nhưng điểm mà chúng tôi quan tâm là mối liên hệ giữa chúng, rằng toàn bộ khái niệm về tín hiệu được
truyền đi, được gọi là dấu hiệu.
Bạn có thể thấy ở đó trong hình ảnh nhỏ đó, dấu ngoặc nhọn đó là số lượt đăng ký và đó là thuật ngữ chúng ta sẽ
sử dụng.
Vì vậy, thay vì gọi các nơ-ron nhân tạo của chúng ta, các đường mà chúng ta sẽ có hoặc các đầu nối cho nơ-ron nhân tạo,
chúng ta sẽ không gọi các sợi trục hay đuôi gai bởi vì câu hỏi đặt ra là đây là
kết nối của ai?
Nó là tế bào thần kinh hay nó là tế bào thần kinh này?
Chúng tôi chỉ gọi cho họ, chúng tôi sẽ gọi họ đăng ký.
Và loại đó chỉ trả lời tất cả các câu hỏi ngay lập tức.
Về cơ bản đó chỉ là nơi tín hiệu được truyền qua.
Không quan trọng phần tử đó thuộc về ai.
Đó chỉ là một đại diện của tín hiệu được truyền qua.
Và chúng ta sẽ thấy điều đó ngay bây giờ.
Vì vậy, về cơ bản đó là cách một tế bào thần kinh hoạt động.
Và đúng vậy, chúng ta hãy chuyển sang cách chúng ta sẽ biểu diễn các tế bào thần kinh hay bằng cách nào?
Tạo tế bào thần kinh trong máy móc.
Vì vậy, chúng tôi đang chuyển đi ngay bây giờ.
Chúng tôi đang chuyển dần khỏi khoa học thần kinh và chuyển sang công nghệ, và chúng tôi bắt đầu.
Vì vậy, đây là nơ-ron của chúng ta đôi khi còn được gọi là nút.
Tế bào thần kinh nhận một số tín hiệu đầu vào và nó có tín hiệu đầu ra.
Vì vậy, các đuôi gai và sợi trục, hãy nhớ.
Nhưng một lần nữa, chúng ta sẽ gọi các khớp thần kinh này sau đó là các tín hiệu đầu vào này, chúng ta cũng sẽ biểu diễn chúng
bằng các tế bào thần kinh khác.
Vì vậy, trong trường hợp cụ thể này, bạn có thể thấy rằng nơ-ron này, nơ-ron màu xanh lá cây này đang nhận tín hiệu từ các nơ-ron
màu vàng.
Và trong khóa học này, chúng ta sẽ thử và bám vào một chế độ mã hóa màu nhất định trong đó màu vàng có nghĩa là
lớp đầu vào.
Vì vậy, về cơ bản tất cả các tế bào thần kinh nằm ở lớp ngoài hoặc ở phía trước đầu tiên của nơi tín hiệu đến, và
theo tín hiệu, nó có thể giống như một chút quá mức cần thiết khi gọi đây là một tín hiệu.
Về cơ bản nó chỉ là các giá trị đầu vào.
Vì vậy, bạn biết cách thậm chí giống như trong một hồi quy tuyến tính đơn giản, bạn có các giá trị đầu vào và sau đó bạn có một giá
trị dự đoán.
Điều tương tự ở đây.
Vì vậy, bạn có các giá trị đầu vào và chúng ở đó, những giá trị màu vàng.
Và sau đó ở bên phải bạn sẽ thấy nó sẽ có màu đỏ, nó sẽ là giá trị đầu ra.
Điều mà tôi muốn chỉ ra ở đây là trong ví dụ cụ thể này, chúng ta đang
xem xét một tế bào thần kinh đang nhận tín hiệu của nó từ tế bào thần kinh lớp đầu vào.
Vì vậy, chúng cũng là tế bào thần kinh, nhưng chúng là tế bào thần kinh lớp đầu vào.
Đôi khi bạn sẽ có các tế bào thần kinh nhận tín hiệu từ các tế bào thần kinh lớp ẩn khác, cũng như từ các tế bào thần kinh màu xanh lá
cây khác.
Và khái niệm sẽ hoàn toàn giống nhau.
Chỉ trong trường hợp này, chúng tôi vì lợi ích đơn giản, chúng tôi đang mô tả ví dụ này.
Và về lớp đầu vào, cách suy nghĩ về nó nằm trong sự tương tự của bộ não con người, lớp đầu vào
là các giác quan của bạn, phải không?
Vì vậy, bất cứ điều gì bạn có thể nhìn thấy ở đây, cảm nhận, sờ hoặc ngửi.
Và tất nhiên, nó giống như có rất nhiều thứ bạn có thể thấy.
Có rất nhiều thông tin đến.
Nhưng đó là của bạn, đó là những gì bộ não của bạn bị giới hạn.
Nó khá giống như nó sống trong một chiếc hộp làm từ xương.
Và nó chỉ là một khái niệm kinh ngạc khi nghĩ về việc bộ não của bạn chỉ bị nhốt trong một hộp đen
và điều duy nhất giống như nó không thể nhìn thấy bạn không thể nghe thấy điều duy nhất
nó nhận được là xung điện phát ra từ những cơ quan này. bạn có, cái được gọi là tai, mũi, mắt, bạn biết đấy,
xúc giác của bạn và bất cứ thứ gì và vị giác của bạn, phải không?
Vì vậy, nó chỉ nhận được tín hiệu, nhưng về cơ bản nó sống trong chiếc hộp đen tối này và nó tạo ra ý nghĩa về thế
giới thông qua các giác quan của bạn.
Đó là một hiện tượng.
Và đúng như vậy.
Vì vậy, bạn có những đầu vào này đến từ bộ não con người.
Đó là năm giác quan của bạn.
Và về học máy hay học sâu, về cơ bản đó là các giá trị đầu vào của bạn.
Vì vậy, các biến độc lập của bạn và chúng tôi sẽ xử lý điều đó sau một giây.
Vì vậy, các giá trị đầu vào của bạn, chúng là tín hiệu được truyền qua các khớp thần kinh đến nơ-ron và sau đó nơ-ron của bạn
có giá trị đầu ra mà nó sẽ chuyển tiếp xuống chuỗi.
Trong trường hợp cụ thể này, về mặt mã hóa màu, một lần nữa, màu vàng có nghĩa là lớp đầu vào.
Vì vậy, chúng tôi đơn giản hóa mọi thứ ở đây.
Chúng ta đang nói rằng chúng ta sẽ chỉ có giống như lớp đầu vào, sau đó chúng ta sẽ có một lớp ẩn với
màu xanh lá cây, đó là lớp ẩn và sau đó chúng ta sẽ có ngay lớp đầu ra.
Vì vậy, chỉ để chúng ta có thể làm quen với những màu sắc này ngay bây giờ.
Vậy là xong.
Đó là cấu trúc cơ bản.
Vì vậy, bây giờ chúng ta hãy xem xét chi tiết hơn một chút về các yếu tố khác nhau mà chúng ta có.
Vì vậy, chúng tôi đã có lớp đầu vào.
Và chúng ta có gì ở đây?
Chà, chúng ta có những đầu vào này trên thực tế, là các biến độc lập.
Vì vậy, biến độc lập một là nó có sẵn cho biến độc lập?
Điều quan trọng cần nhớ ở đây là các biến độc lập này chỉ dành cho một quan sát duy nhất.
Vì vậy, hãy nghĩ về nó chỉ là một hàng trong cơ sở dữ liệu của bạn.
Một quan sát bạn chỉ cần lấy tất cả các biến độc lập.
Có lẽ đó là tuổi của người đó.
Chúng là số tiền trong tài khoản ngân hàng.
Và sau đó làm thế nào?
Làm thế nào để họ lái xe hoặc đi bộ đến nơi làm việc?
Họ sử dụng phương thức vận chuyển nào?
Vì vậy, nhưng đó là tất cả các mô tả của một người cụ thể mà bạn đang đào tạo mô hình
của mình hoặc bạn đang thực hiện một số dự đoán.
Và điều khác bạn cần biết về các biến này là bạn cần chuẩn hóa chúng.
Vì vậy, bạn cần phải chuẩn hóa chúng, có nghĩa là đảm bảo rằng chúng có giá trị trung bình bằng 0 và phương sai là
một.
Hoặc bạn cũng có thể đôi khi và đã học sẽ chỉ ra những tình huống này chi tiết hơn một chút.
Có lẽ trong các hướng dẫn thực hành, bạn có thể bắt gặp những điều này đôi khi bạn có thể muốn
không chuẩn hóa, bạn có thể muốn chuẩn hóa chúng, nghĩa là thay vì đảm bảo giá trị trung bình bằng 0 và phương sai là
một, bạn chỉ cần lấy nó, bạn trừ đi mức tối thiểu giá trị và sau đó bạn chia cho giá trị lớn nhất trừ
đi tối thiểu cho phạm vi giá trị của bạn, và do đó bạn nhận được các giá trị từ 0 đến 1.
Và nó phụ thuộc vào kịch bản.
Bạn có thể muốn thực hiện điều này hoặc cách khác, nhưng về cơ bản bạn muốn tất cả các biến
này hoàn toàn giống nhau về điểm giống nhau.
Một loạt các giá trị.
Và tại sao?
Tại sao vậy?
Chà, tất cả các giá trị này sẽ đi vào một mạng nơ-ron, như chúng ta sẽ thấy ngay
bây giờ, chúng sẽ được cộng lại và nhân với trọng số, cộng lại, v.v.
Và sẽ chỉ giúp mạng nơ-ron xử lý chúng dễ dàng hơn nếu chúng đều giống
nhau.
Và trên thực tế, bạn biết đấy, đó chỉ là cách để nó có thể hoạt động bình thường.
Và nếu bạn muốn đọc thêm về tiêu chuẩn hóa, chuẩn hóa và những thứ khác mà bạn
có thể làm với các biến đầu vào của mình, thì một tài liệu đọc bổ sung tốt có tên là Đề xuất trở lại hiệu quả của Yan
LeCun vào năm 1998.
Các liên kết ở đó.
Vậy nên Yan Liqun, chúng ta thực sự sẽ nói nhiều hơn về con người phi thường này trong không gian học sâu
trong phần của khóa học, nơi chúng ta đang nói về mạng nơ-ron phức hợp.
Và bạn sẽ thấy rằng đây chắc chắn là một người biết mình đang nói về điều gì.
Anh ấy là bạn thân của Geoffrey Hinton, người mà chúng tôi đã thấy, cũng đã từng đề cập.
Vì vậy, trong bài báo này, bạn sẽ tìm hiểu thêm về tiêu chuẩn hóa và chuẩn hóa, ngoài ra, bạn cũng có thể chọn rất nhiều
mẹo và thủ thuật khác nhau và bạn sẽ là một nguồn tốt, tốt để đọc thêm khi bạn học qua
khóa học này.
Vì vậy, vâng, hãy kiểm tra nó nếu bạn quan tâm đến một số bài đọc bổ sung.
Chúng ta bắt đầu.
Vì vậy, đó là những gì chúng ta cần làm với các biến.
Và ở đây chúng ta có giá trị đầu ra.
Vậy giá trị đầu ra của chúng ta có thể là bao nhiêu?
Chà, chúng tôi có một vài lựa chọn.
Giá trị đầu ra có thể là giá trị liên tục, chẳng hạn như giá, nó có thể là nhị phân.
Ví dụ, một người sẽ thoát hoặc sẽ ở lại hoặc nó có thể là một biến phân loại.
Và nếu đó là một biến phân loại, phân loại, điều quan trọng cần nhớ ở đây là trong trường hợp đó, giá trị
đầu ra của bạn sẽ không chỉ là một.
Nó sẽ là một số giá trị đầu ra vì đây sẽ là một biến giả sẽ đại diện cho các
danh mục của bạn.
Và đó chỉ là cách nó hoạt động.
Và điều quan trọng cần nhớ là trong trường hợp đó, đó là cách bạn sẽ đưa các danh mục
của mình ra khỏi mạng nơ-ron nhân tạo.
Nhưng hãy quay lại một trường hợp đơn giản của một giá trị đầu ra, và bây giờ chúng ta hãy thêm một điểm hoặc loại tương tự như điểm mà
chúng ta đã thực hiện.
Tôi chỉ muốn nhắc lại điểm này ở bên trái, bạn có một quan sát duy nhất, vì vậy một hàng cho bạn từ
tập dữ liệu của bạn.
Và ở bên phải, bạn cũng có một quan sát duy nhất.
Và đó là cùng một quan sát.
Vì vậy, điều quan trọng cần nhớ là giống như bất kỳ đầu vào nào bạn đang đưa vào, đó là cho một hàng và sau đó đầu ra
bạn nhận được cho cùng một hàng chính xác đó.
Hoặc nếu bạn đang đào tạo mạng nơ-ron của mình, thì bạn đang đưa các đầu vào cho một hàng đó, bạn đang
đưa đầu ra cho một hàng đó.
Vì vậy, giống như nếu bạn muốn đơn giản hóa độ phức tạp, hãy nghĩ về nó giống như một hồi quy tuyến tính đơn giản hoặc một
hồi quy tuyến tính đa biến.
Vì vậy, bạn đang đặt các giá trị của mình, bạn có đầu ra của mình.
Điều này giống như không có câu hỏi về nó khi chúng ta nói về những thứ như hồi quy bởi vì chúng ta đã
quá quen với nó.
Điều tương tự ở đây, nó không có gì quá phức tạp.
Chúng tôi chỉ đưa các giá trị vào, chúng tôi nhận được đầu ra.
Nhưng chỉ cần nhớ rằng mỗi khi bạn đang xử lý một hàng để bạn không bị nhầm
lẫn và bắt đầu nghĩ rằng đây là những vai trò khác nhau, khác nhau mà bạn đang đặt vào mạng nơ-ron nhân tạo của mình
hoặc thứ gì đó.
Đây là tất cả chỉ là các giá trị trong một hàng đó.
Vì vậy, các quan sát khác nhau, các đặc điểm hoặc thuộc tính khác nhau liên quan đến một quan sát
đó mỗi lần.
Được chứ.
Vì vậy, điều tiếp theo mà chúng tôi muốn nói đến ở đây là hay các khớp thần kinh, các xoang có ở đây không?
Chúng ta có các xoang và tất cả chúng đều thực sự được ấn định trọng lượng.
Trọng lượng.
Chúng ta sẽ nói thêm về mức tạ.
Nhưng nói tóm lại, trọng số rất quan trọng đối với mạng nơ-ron nhân tạo hoạt động bởi vì trọng số là cách
mạng nơ-ron học hỏi.
Bằng cách điều chỉnh trọng số, mạng nơ-ron quyết định trong mọi trường hợp tín hiệu đơn lẻ nào là quan trọng, tín hiệu nào không quan trọng đối với một
tế bào thần kinh nhất định, tín hiệu nào được truyền đi và tín hiệu nào không
được truyền đi hoặc cường độ nào, các tín hiệu được truyền đi ở mức độ nào.
Vì vậy, trọng lượng là rất quan trọng.
Họ đang có và họ đang có.
Những điều được điều chỉnh thông qua quá trình học hỏi.
Giống như khi bạn đào tạo một mạng nơ-ron nhân tạo, về cơ bản bạn đang điều chỉnh tất cả các
trọng số trong tất cả các lần đăng ký trên toàn bộ mạng nơ-ron này.
Và đó là nơi phát huy tác dụng của quá trình giảm độ dốc và lan truyền ngược.
Và đó là những khái niệm mà chúng ta cũng sẽ thảo luận.
Vì vậy, về cơ bản đó là những trọng lượng.
Đó là tất cả những gì chúng ta cần biết lúc này.
Và ở đây chúng ta có tế bào thần kinh.
Vì vậy, các tín hiệu đi vào tế bào thần kinh và điều gì xảy ra trong tế bào thần kinh.
Vì vậy, đây là phần thú vị.
Giống như chúng ta đang nói về tế bào thần kinh ngày nay, điều gì xảy ra bên trong tế bào thần kinh.
Vì vậy, một vài điều xảy ra điều đầu tiên.
Và bước đầu tiên là tất cả các giá trị mà nó nhận được sẽ được cộng lại.
Vì vậy, nó có được thêm vào.
Vì vậy, tổng trọng số của tất cả các giá trị đầu vào nhận được rất đơn giản, phải không?
Nó rất, rất đơn giản.
Chỉ cần cộng nhân với trọng lượng, cộng chúng và sau đó nó áp dụng một chức năng kích hoạt.
Bây giờ chúng ta sẽ nói thêm về các chức năng kích hoạt.
Sâu hơn nữa, nhưng về cơ bản là một hàm được gán cho nơ-ron này hoặc cho toàn
bộ lớp này và nó được áp dụng cho tổng có trọng số này.
Và từ đó, nơ-ron hiểu liệu nó có cần truyền tín hiệu hay không, giống như tín hiệu mà
nó truyền cho hàm được áp dụng cho tổng có trọng số.
Nhưng về cơ bản tùy thuộc vào chức năng, tế bào thần kinh sẽ truyền một tín hiệu hoặc nó sẽ không truyền
tín hiệu đó.
Và đó chính xác là những gì đã xảy ra ở đây trong bước ba, nơ-ron truyền tín hiệu đó đến nơ-ron tiếp theo, và đó là
điều chúng ta sẽ nói đến trong hướng dẫn tiếp theo, bởi vì nó là một chủ đề
khá quan trọng.
Chúng tôi muốn nghiên cứu sâu hơn về chức năng kích hoạt, nhưng hy vọng bây giờ mọi thứ sẽ khá rõ ràng làm thế nào bạn có
các giá trị đầu vào, bạn có trọng lượng, bạn có xoang, bạn có điều gì đó xảy ra trong nơ-ron.
, bạn đã có tổng trọng số, sau đó hàm kích hoạt được áp dụng và
sau đó hàm đó được chuyển trên dòng và điều đó chỉ được lặp lại trong toàn bộ
mạng nơ-ron, lặp đi lặp lại.
Hàng nghìn, hàng trăm nghìn lần, tùy thuộc vào độ lớn, số lượng nơ-ron mà bạn có, bao nhiêu
khớp thần kinh trong mạng lưới thần kinh của bạn.
Vậy là xong.
Hy vọng bạn thích hướng dẫn ngày hôm nay.
Rất nóng lòng được gặp lại bạn lần sau.
Và cho đến lúc đó, hãy tận hưởng việc học sâu.