Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Và cuối cùng, chúng tôi đang đến với những thứ thú vị.
Chúng tôi đang học sâu.
Được rồi.
Vì vậy, chúng ta hãy xem xét.
Trước đây, chúng tôi đã nói về học chính và tất cả về nó.
Và chúng tôi đã tìm hiểu về độ tuổi và môi trường cũng như cách mà người đại diện sẽ nhìn vào trạng thái ở đây hoặc cô
ấy đang ở.
Thực hiện một hành động, nhận phần thưởng, vào trạng thái mới.
Và dựa trên vòng lặp phản hồi đó, họ sẽ tiếp tục thực hiện các hành động và họ sẽ học hỏi
từ đó, hiểu đâu là hành động tốt hơn cần thực hiện.
Và vì vậy chúng tôi đã xem xét ví dụ cơ bản về mê cung này.
Chúng tôi hiểu rằng khi người đại diện khám phá môi trường, hiểu giá trị của các trạng thái là gì.
Sau đó, chúng tôi chuyển từ xử lý các giá trị của trạng thái sang xử lý các giá trị của các hành
động hoặc các giá trị Q.
Và dựa trên đó, chúng tôi hiểu cách các kế hoạch trong môi trường phi ngẫu nhiên hoạt động như thế nào và các chính sách hoạt động như
thế nào trong môi trường ngẫu nhiên.
Và đây là một ví dụ về một chính sách.
Vì vậy, đó là bản tóm tắt nhanh mọi thứ chúng ta đã thảo luận trong phần học cơ bản.
Và bây giờ chúng ta hãy xem cách này có thể được đưa lên cấp độ tiếp theo thông qua học sâu, thông qua
việc bổ sung học sâu.
Vì vậy, đây là môi trường của chúng ta và những gì chúng ta sẽ làm bây giờ là chúng ta sẽ thêm vào, thay vì chỉ thực hiện các phép tính cơ
bản trong ma trận mà chúng ta có, điều này khá đơn giản, những gì chúng ta sẽ làm là chúng ta ' sẽ thêm vào các
trục, chúng ta sẽ thêm trục X và y, hoặc chúng ta sẽ gọi chúng là x một và x hai, chỉ để làm cho
mọi thứ trở nên tổng quát hơn.
Và ở đây chúng tôi có chúng tôi sẽ đánh số các cột.
Một, hai, ba, bốn, gót chân ở đây chúng ta sẽ đánh số các hàng.
Một hai ba.
Và vì vậy bây giờ mọi trạng thái đơn lẻ đều có thể được mô tả bằng một cặp hai giá trị x một và x hai.
Vì vậy, bất kỳ một trong các ô vuông này mà tác nhân có thể nằm trong đó có thể được mô tả bằng x1x2.
Vì vậy, chẳng hạn, ngay bây giờ anh ta đang ở trong hình vuông với x một bằng một và x hai bằng hai.
Và do đó, đó là tổng mà chúng ta có thể thoát khỏi bất kỳ ô vuông nào, nghĩa là chúng ta có thể mô tả bất kỳ trạng
thái nào.
Và tất nhiên, đây là một phiên bản rất đơn giản của một môi trường mô tả các trạng thái, nhưng tuy nhiên, nó hoạt
động trong trường hợp này.
Và điều đó có nghĩa là bây giờ chúng ta có thể đưa những trạng thái này vào một mạng nơ-ron.
Và nhân tiện, ở đây tôi chỉ muốn đề cập rằng vào cuối khóa học, chúng ta đã có các phụ lục,
chúng ta có phụ lục số một và phụ lục số hai.
Để tiến hành thành công phần này, chúng tôi khuyên bạn nên xem Phụ lục số một, về
mạng nơ-ron nhân tạo, để bạn hiểu cách hoạt động của chúng để chúng ta có thể không phải đi sâu
vào vấn đề đó ở đây.
Và chúng ta chỉ có thể sử dụng những lợi ích của kiến thức về cách mạng nơ-ron nhân tạo hoạt động.
Và do đó, chúng tôi cung cấp thông tin này về trạng thái vào một mạng nơ-ron, và sau đó nó sẽ xử lý thông tin
này.
Vì vậy, X, Y, x hai, tùy thuộc vào cấu trúc của mạng nơ-ron, nó có thể có nhiều
lớp ẩn, v.v.
Vì vậy, đó là một cái gì đó mà bạn sẽ tìm ra trong các hướng dẫn thực hành.
Nhưng cuối cùng, chúng ta sẽ cấu trúc theo cách mà nó tạo ra bốn giá trị, và bốn giá trị này thực sự sẽ
là giá trị gợi ý của chúng ta.
Vì vậy, các giá trị quyết định hành động nào chúng ta cần thực hiện.
Và sâu hơn trong hướng dẫn này, chúng ta sẽ xem chính xác cách các giá trị Q này được sử dụng để quyết định hành động nào
được thực hiện.
Nhưng điểm chính ở đây là chúng ta không còn chỉ nhìn mê cung này từ góc độ học tập nữa.
Bây giờ chúng tôi đang lấy các trạng thái của mê cung và chúng tôi đang đưa chúng vào một mạng nơ-ron sâu để nhận được các giá
trị gợi ý này.
Và vào cuối ngày, chúng tôi vẫn sẽ đưa ra một hành động.
Chúng tôi vẫn sẽ hiểu cách chúng tôi cần thực hiện hành động nào.
Và chúng ta sẽ thảo luận chi tiết hơn về tất cả những điều này.
Nhưng câu hỏi ngay bây giờ là tại sao?
Tại sao chúng ta làm tất cả những điều này?
Tại sao chúng tôi tuân thủ?
Tại sao chúng ta lại khiến mọi thứ trở nên phức tạp hơn nhiều khi cách tiếp cận học tập ban đầu đó đã hoạt động
hiệu quả?
Chà, lý do cho điều đó là việc học đã hoạt động trong môi trường rất đơn giản này, và hiện tại chúng tôi
đang tiếp tục xử lý với môi trường rất đơn giản này để hiểu rõ hơn về các khái niệm.
Nhưng đồng thời, cách học đơn giản đó sẽ không còn hiệu quả trong những môi trường phức tạp hơn.
Và chúng tôi đang nói về ví dụ, những chiếc xe tự lái sẽ tạo ra hoặc chơi trò diệt
vong khi trí tuệ nhân tạo đang chơi trò diệt vong hoặc các trò chơi Atari khác như Breakout hoặc thậm
chí xe tự lái và những thứ học tập củng cố nâng cao hơn như rô bốt đi bộ xung quanh và thực hiện các hành động.
Trong tất cả những trường hợp đó, học căn bản chưa đủ, chưa vững.
Nó không đủ mạnh để có thể làm chủ những thử thách đó.
Và cũng giống như chúng ta đã thấy trong khóa học học sâu, nếu bạn đã tham gia khóa học triển
khai của chúng tôi hoặc nếu bạn đã thực hiện các phần phụ lục, phụ lục số một và hai, bạn sẽ thực
sự biết rằng học sâu vượt trội hơn nhiều so với bất kỳ loại học máy nào, chứ đừng nói đến học đơn giản.
Và đó là lý do tại sao chúng tôi đang tận dụng sức mạnh của học sâu ở đây.
Vì vậy, chúng tôi đang cung cấp thông tin về môi trường dưới dạng véc tơ các giá trị.
Vì vậy, trong trường hợp này, chỉ để.
Các giá trị trong một mạng nơ-ron sâu.
Và sau đó chúng tôi sử dụng nó để thực hiện các hành động mà chúng tôi muốn quyết định hành động nào mà các tác nhân
sẽ thực hiện.
Vì vậy, đó giống như một tổng quan cấp cao về lý do tại sao chúng tôi làm điều này.
Và bây giờ chúng ta hãy xem xét chi tiết hơn một chút điều gì sẽ xảy ra với các khái niệm về học chính khi
chúng ta chuyển đổi, khi chúng ta thực hiện chuyển đổi này từ hoặc chuyển đổi từ học đơn giản sang học sâu.
Vì vậy, như bạn đã thấy trong các hướng dẫn về trực giác trước, chúng ta đã có một slide như thế này, đây là nền tảng
của việc học khác biệt theo thời gian.
Đây là công thức cho sự khác biệt theo thời gian và về cơ bản, chúng ta hãy xem xét nó.
Vì vậy, về cơ bản chúng tôi đã có một đại lý ở trạng thái này ở đây, được chỉ ra bởi Blue Arrow, và chúng tôi đang hiểu
cách thức hoạt động của chênh lệch thời gian đối với giá trị gợi ý này, chẳng hạn, tăng lên.
Và vì vậy những gì chúng ta thấy ở đây là trước đây là trong học tập đơn giản, không phải học sâu.
Điều này trong học tập đơn giản.
Những gì chúng tôi thấy là trước khi người đại diện có một giá trị sắc thái nhất định mà anh ta đã biết về hành động đi lên
này.
Và vì vậy, sau đó anh ta quyết định thực hiện hành động này để đi lên.
Và ngay sau khi anh ta thực hiện hành động này, anh ta sẽ nhận được phần thưởng cho hành động này trong trạng thái này, và đó chính là
phần thưởng đó.
Ngoài ra, bây giờ anh ta có thể đánh giá giá trị của trạng thái hiện tại mà anh ta đang ở, đây là giá trị tối đa của tất cả các giá trị
dấu hiệu mới, của tất cả các giá trị dấu hiệu, của các hành động mới.
Anh ta có thể lấy một số nguyên tố ở trạng thái mới làm số nguyên tố và chúng ta nhân nó với hệ số phân rã của gamma.
Vì vậy, về cơ bản đó là tín hiệu, giá trị tín hiệu mới hoặc loại tương tự như giá trị tín hiệu thực nghiệm mà anh ta vừa
nhận được khi thực hiện hành động đó.
Và lý tưởng nhất là hai cái này phải giống nhau.
Vì vậy, đó thực sự là giá trị gợi ý mà anh ta có trong trí nhớ về hành động này ở
trạng thái này, nó sẽ tương đương với phần thưởng thực tế, cộng với gamma lần, giá trị của trạng thái mà anh ta đã kết thúc.
Và do đó, đó là cách chúng tôi tính toán sự khác biệt theo thời gian.
Chúng tôi lấy những gì anh ấy nhận được sau khi trừ đi những gì anh ấy nhận được, những gì anh ấy có trong đầu, những gì anh ấy đang mong đợi.
Bạn sẽ trừ một cái khỏi cái kia, và đó là sự khác biệt về thời gian của bạn.
Và sau đó, bạn sử dụng alpha tốc độ học tập của mình để điều chỉnh giá trị Q của bạn Giá trị tín hiệu mới của bạn theo chênh
lệch thời gian, nhưng với hệ số alpha.
Vì vậy, đó là bản chất của việc học dấu hiệu đơn giản.
Bây giờ chúng ta hãy xem nó thay đổi như thế nào trong học sâu.
Và vì vậy chúng tôi vẫn sẽ làm việc với slide, nhưng chúng tôi sẽ chỉ xem chính xác những gì đang xảy ra.
Vì vậy, trong học tập sâu, mạng nơ-ron sẽ dự đoán bốn giá trị, như chúng ta đã thấy trong trang trình bày trước.
Và như chúng ta sẽ xem thêm trong hướng dẫn này, mạng nơ-ron sẽ dự đoán bốn giá trị hoặc nó có thể dự đoán nhiều
giá trị hơn nếu có nhiều hành động khả thi hơn trong một trạng thái nhất định.
Nhưng trong trường hợp này, chúng ta biết rằng chỉ có bốn hành động thẳng đứng, sang trái hoặc hướng xuống.
Và do đó mạng nơ-ron sẽ dự đoán bốn giá trị trong số này.
Vì vậy, sẽ không có trong một tình huống học sâu.
Điều quan trọng là phải hiểu không có trước hay sau.
Và đây là cách chúng ta sẽ biết điều này tốt hơn một chút.
Vì vậy, mạng nơ-ron sẽ dự đoán bốn trong số các giá trị này, và nó sẽ không so sánh với những gì sẽ xảy ra
sau đó, nhưng mạng nơ-ron sẽ so sánh với giá trị chính xác này.
Nhưng đó là giá trị này đã được tính toán ở bước trước.
Vì vậy, trong thời gian trước khi đại lý ở chính xác hình vuông này.
Vì vậy, giả sử, tôi không biết, một thời gian trước đây, tác nhân cũng đã ở trong ô vuông chính xác
này, và nó đã tính toán giá trị này trước đó.
Vì vậy, trong thời gian trước, rất lâu, đại lý tính toán giá trị này, sau đó đại lý lưu trữ giá trị
này cho tương lai và bây giờ tương lai đã đến.
Vì vậy, bây giờ anh ta lại ở trong hình vuông và bây giờ anh ta có những giá trị Q này, được dự đoán và một trong
số đó là cho bốn giá trị tăng lên.
Vì vậy, bây giờ những gì anh ta sẽ làm là so sánh giá trị dự đoán của Q với giá trị này mà anh ta đã
ghi lại từ lần trước.
Và chúng tôi sẽ hiểu chính xác lý do tại sao điều này lại quan trọng ngay bây giờ.
Vì vậy, điều quan trọng cần hiểu ở đây là không có một sĩ quan nào trong hình vuông
cụ thể này, lần này chúng tôi đang lấy giá trị Q mà anh ta dự đoán bằng cách sử dụng mạng nơ-ron lần này.
Và chúng tôi đang so sánh nó với giá trị này mà anh ta có được từ lần trước, từ lần trước khi anh ta ở trong
quảng trường này để đánh giá tất cả tình hình.
Và, bạn biết đấy, giống như lần trước anh ấy thực sự thực hiện hành động này.
Vậy là xong.
Bây giờ chúng ta hãy xem tất cả điều này hoạt động như thế nào trong mạng nơ-ron và tại sao.
Tại sao nó lại như vậy?
Tôi biết nó có vẻ hơi phức tạp ngay bây giờ, nhưng chúng ta sẽ chia nó thành các thuật ngữ đơn giản, đúng, chỉ trong
giây lát.
Vì vậy, mạng nơ-ron này mà chúng ta đang cung cấp trong các trạng thái của môi trường vào mạng nơ-ron đang
đi qua các lớp ẩn.
Sau đó, nó sẽ xuất hiện với những kết quả đầu ra này.
Q1, Q2, Q3, Q4.
Trong trạng thái cụ thể đó, đây là các giá trị gợi ý mà mạng nơ-ron dự đoán cho các hành động có thể xảy
ra.
Đó là các giá trị Q.
Vì vậy, sau đó chúng tôi.
So sánh với mục tiêu và các mục tiêu này là chính xác nên nếu chúng ta quay lại đây, đây là mục tiêu.
Vì vậy, đây là giá trị đã được dự đoán.
Và sau đó, nhưng chúng tôi cũng biết rằng chúng tôi có một mục tiêu từ lần cuối cùng chúng tôi ở quảng trường.
Ví dụ, chúng tôi có một mục tiêu cho cùng một hành động này.
Vì vậy, ở đây chúng tôi có một mục tiêu và chúng tôi sẽ so sánh.
Vì vậy, chúng tôi đang so sánh Q1 với mục tiêu đó.
Chúng tôi đang so sánh Q Two với mục tiêu đó, mục tiêu mà chúng tôi đã có từ trước đó.
Q Ba so với mục tiêu.
Q Bốn so với mục tiêu.
Và đây là phần mà mạng nơ-ron hoặc tác nhân hiện đang học thông qua học sâu về cách đi xuyên
không gian tốt hơn.
Và điểm mấu chốt ở đây là chúng tôi vẫn đang áp dụng.
Q Học, nhưng các khái niệm trong, trong cách học đơn giản, bạn học thông qua những khác biệt về thời gian, điều này khá
đơn giản, mà chúng ta đã thảo luận và chúng ta đã biết khá rõ.
Nhưng đồng thời, trong học sâu, mạng nơ-ron học như thế nào?
Chà, mạng nơ-ron học thông qua việc điều chỉnh trọng lượng của chúng.
Vì vậy, chúng ta phải điều chỉnh các khái niệm củng cố các khái niệm của khóa học đơn giản với cách mạng nơ-ron thực
sự hoạt động.
Và đó là thông qua việc cập nhật trọng lượng của chúng.
Và đây là những gì chúng tôi đang cố gắng tìm ra ở đây.
Làm thế nào để chúng ta điều chỉnh khái niệm về sự khác biệt theo thời gian đó với mạng nơ-ron để chúng tôi có thể tận dụng
toàn bộ sức mạnh của mạng nơ-ron?
Và cho đến nay chúng tôi đã nhận được điều này.
Vì vậy, chúng tôi nhập trạng thái môi trường của chúng tôi ở đây khi một vectơ đi qua một mạng nơ-ron, chúng tôi nhận được các dự đoán về
giá trị Q.
Và sau đó từ lần trước đại lý ở trạng thái đó, chúng tôi có những thứ này.
Mục tiêu Q.
Q Nhắm mục tiêu một, hai, ba và bốn cho mỗi hành động tương ứng này.
Và vì vậy bây giờ chúng ta đã ổn, hãy so sánh từng cái với từng cái.
Và từ đây, nó trở nên khá đơn giản nếu bạn bắt kịp tốc độ với mạng nơ-ron.
Một lần nữa, đó là tất cả trong một phụ lục.
Thứ nhất, chúng ta sẽ tính toán một khoản lỗ, đó là L ở đây và chúng ta sẽ như vậy.
Q Nhắm mục tiêu cái này trừ đi Q trừ cái này.
Chúng ta sẽ giải quyết vấn đề đó.
Vì vậy, sự khác biệt bình phương của mỗi một trong số này và chúng tôi sẽ tính tổng chúng.
Vì vậy, chúng tôi sẽ lấy tổng bình phương chênh lệch của các giá trị Q này và mục tiêu của chúng, và chúng tôi sẽ tổng hợp chúng
lại và đó sẽ là tổn thất của chúng tôi.
Và rất lý tưởng, giống như chúng ta đã học trong quá trình học về sự khác biệt theo thời gian, vì vậy nếu chúng ta quay lại một giây,
hãy nhớ rằng chúng ta đã nói một cách lý tưởng rằng chúng ta muốn điều này bằng với điều này, vì vậy chúng ta muốn chênh lệch thời gian bằng
0.
Vì vậy, điều đó có nghĩa là về cơ bản tác nhân dự đoán chính xác giá trị Q mà tác
nhân dự đoán là chính xác.
Hoặc rằng anh ta có một trí nhớ mô tả chính xác về môi trường.
Và do đó, tác nhân có thể điều hướng điều hướng môi trường khá tốt.
Đúng.
Không có gì ngạc nhiên.
Sẽ không có nếu sự khác biệt theo thời gian này là tích cực hoặc tiêu cực cao, thì chúng ta sẽ
có một số bất ngờ.
Nhưng nếu sự khác biệt về thời gian bằng 0, thì anh ta hiểu rất rõ về môi trường nên anh ta có thể dự đoán điều gì đang xảy
ra và anh ta có thể làm được.
Và do đó chính sách của anh ấy sẽ rất tốt và anh ấy sẽ có thể điều hướng nó.
Vì vậy, ở đây, cùng một điều.
Vì vậy, chúng tôi muốn khoản lỗ này càng gần bằng 0 cộng với càng nhỏ càng tốt.
Và đó là lý do tại sao bây giờ chúng ta đi đến đây là phần mà chúng ta sẽ tận dụng sức mạnh thực sự thực sự
của mạng nơ-ron.
Vì vậy, chúng ta sẽ nhận sự mất mát này và chúng ta sẽ sử dụng sự lan truyền ngược hoặc gốc gradient ngẫu
nhiên để lấy sự mất mát này và chuyển nó qua mạng, chuyển nó trở lại hoặc quay trở lại, truyền qua mạng và thông
qua nguồn gốc gradient ngẫu nhiên.
Cập nhật trọng số của các tóm tắt này trong mạng để lần sau chúng ta xem qua mạng này, trọng số đã mô tả tốt hơn
một chút về môi trường và đó chính xác là cách nó hoạt động.
Vì vậy, ở đây bạn có nếu bạn quay trở lại, điều này được tính toán, tổn thất được tính toán và nó được truyền cho
mạng.
Các trọng lượng được cập nhật.
Sau đó, lần sau khi chúng ta đến đây, điều này lại xảy ra và chúng ta đến đây, điều này lặp lại, vân vân và vân vân và
nó tiếp tục xảy ra.
Và đó là cách mà đại lý này học hỏi.
Hoặc về cơ bản bây giờ đó là mạng lưới thần kinh mà bộ não của tác nhân đang học hỏi, ngày càng trở nên
mô tả môi trường nhiều hơn và do đó tác nhân có thể điều hướng môi trường.
Khi chúng tôi nói môi trường mô tả về cơ bản có nghĩa là khi chúng tôi đặt các trạng thái của
môi trường mà tác nhân đang ở đó, chúng tôi có nhiều khả năng tiến gần hơn và gần hơn với các giá trị tín hiệu thực tế.
Và điều đó xảy ra bởi vì các giá trị quan trọng mà chúng ta muốn và để tìm ra hành động phù hợp.
Và điều đó xảy ra bởi vì những mục tiêu Q này thực sự được lấy theo kinh nghiệm.
Vậy anh ấy làm cách nào để tìm được những mục tiêu dễ thương này?
Đó thực sự là điều này.
Vì vậy, anh ấy thực sự quan sát, được.
Vì vậy, một khi tôi thực hiện bước này, phần thưởng tôi nhận được là gì?
Và sau đó giá trị của trạng thái này là gì?
Vì vậy, điều tương tự như chúng ta đã thấy trước đây trong Q Learning trong trực giác học tập đơn giản.
Vì vậy, anh ta học được điều này thông qua thử và sai, sau đó anh ta xây dựng mạng của mình hoặc cập nhật
mạng trọng số theo cách sao cho các giá trị tín hiệu dự đoán ngày càng gần nhau hơn.
Xấp xỉ mục tiêu.
Q Các giá trị rất giống với khái niệm mà chúng ta đã thảo luận ở đây trong quá trình học chênh lệch thời gian
đơn giản của thuật toán học đơn giản.
Vậy là xong.
Đó là cách học của đại lý.
Vì vậy, chúng tôi đến đây.
Đó là phần học.