Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Trong hướng dẫn hôm nay, chúng ta sẽ đề cập đến một hướng dẫn khá phức tạp có tên là Truy tìm tính đủ
điều kiện hoặc và học bước Q.
Và đây là một cái gì đó mà chúng tôi sẽ thực hiện trong khía cạnh thực tế của mọi thứ.
Vì vậy, đó là lý do tại sao chúng ta cần phải che nó đi.
Và đồng thời nó là một chủ đề khá phức tạp.
Vì vậy, tôi có một cách tiếp cận rất thú vị để giúp chúng ta bắt kịp tốc độ với trực giác đằng sau nó.
Vì vậy, tôi thích một cách tiếp cận khác với chúng tôi đã từng làm.
Vì vậy, chúng ta hãy nhìn vào đó và xem nó diễn ra như thế nào.
Vì vậy, tôi sẽ cung cấp cho bạn một ví dụ để bắt đầu.
Tôi sẽ cung cấp cho bạn một ví dụ trong hướng dẫn này và điều đó sẽ chứng minh sức mạnh của sự lựa chọn đủ điều kiện
và cung cấp cho chúng ta trực giác đằng sau mọi thứ.
Và sau đó, nếu bạn muốn nghiên cứu sâu hơn về các đặc điểm đủ điều kiện, tôi sẽ cung cấp cho bạn nơi tốt nhất để bạn
có thể đọc về nó.
Tôi sẽ cung cấp cho bạn tài liệu tham khảo về một cuốn sách, nhưng nếu không.
Vì vậy, tại sao điều này sẽ khác là bởi vì chúng tôi sẽ đi trước.
Thay vì đi sâu vào trực giác, chúng ta sẽ xem xét một ví dụ và trực giác sẽ trở nên hiển
nhiên sau khi chúng ta nói về nó.
Và đó là hy vọng của tôi cho hướng dẫn này.
Vì vậy, chúng ta hãy xem xét.
Hãy xem, chúng ta hãy xem liệu chúng ta có thể làm được điều này không nhé.
Vì vậy, ở đây chúng ta có hai đặc vụ và họ đang điều hướng trong cùng một môi trường và chúng ta sẽ xem hai đặc vụ này hoạt động
như thế nào.
Điều đầu tiên sẽ làm việc với các khay đủ điều kiện của chúng tôi.
Cái thứ hai sẽ làm việc với dấu vết đủ điều kiện và hy vọng chúng ta sẽ thấy lý do tại sao cái thứ hai
sẽ mạnh hơn nhiều so với cái thứ nhất.
Vì vậy, chúng ta hãy xem xét.
Chúng ta sẽ xem xét đại lý này trước.
Và cách anh ấy vận hành là cách chính xác mà chúng ta đã thảo luận về học sâu cho đến nay.
Vì vậy, tác nhân sẽ thực hiện một bước hoặc sẽ di chuyển, thực hiện một hành động, chuyển sang một trạng thái mới.
Nó sẽ nhận được một phần thưởng nhất định.
Nó sẽ đưa phần thưởng đó thông qua thuật toán của nó, cập nhật mạng nơ-ron đang chạy tác nhân này
hoặc tác nhân đang chạy trong tâm trí tác nhân này.
Vì vậy, về cơ bản đó là cách nó học hỏi từ môi trường sẽ có một bước tiến mới.
Vì vậy, từ trạng thái mới này, nó sẽ thực hiện một hành động mới dựa trên những gì mạng lưới thần kinh của
nó đang yêu cầu nó làm, sẽ nhận được phần thưởng, sẽ cập nhật, v.v. và sẽ tiếp tục làm điều đó.
Vì vậy, rõ ràng tác nhân này sẽ làm khá tốt công việc và như chúng ta đã thấy trước đây từ các hướng dẫn
về điểm thực hành trước đó, chúng ta sẽ nhận được một số kết quả khá tốt ở đây, nhưng bây giờ chúng ta
sẽ thêm một tính năng mới.
Bây giờ, đặc vụ số hai này, anh chàng này ở đây, anh ta sẽ điều hướng trong cùng một môi trường, nhưng anh ta sẽ sử dụng dấu vết
tính đủ điều kiện và đây là ý nghĩa của nó.
Những gì anh ấy sẽ làm là anh ấy sẽ thực hiện bất kỳ bước nào anh ấy sẽ thực hiện trong trường hợp này, ghi lại bốn bước.
Anh ấy sẽ đi bốn bước.
Và chỉ sau khi thực hiện các bước này, anh ta sẽ tính được tổng phần thưởng mà anh ta nhận được từ các bước
đó.
Và anh ấy sẽ đưa nó qua mạng của mình.
Anh ta sẽ đưa nó thông qua mạng nơ-ron điều chỉnh quá trình ra quyết định và sau đó mạng
nơ-ron sẽ học hỏi từ đó.
Vì vậy, một trong những ngay lập tức?
Như bạn nghĩ cái nào mạnh hơn?
Anh chàng chỉ bước từng bước một và giống như chọc vào người mù hoặc trong bóng tối.
Và anh ấy giống như, được rồi, vì vậy tôi sẽ đi một bước, xem điều gì sẽ xảy ra.
Tôi sẽ đi một bước, xem điều gì sẽ xảy ra.
Anh chàng đứng đầu hoặc anh chàng chỉ cần rất can đảm bước qua bốn bước liên tiếp, rồi anh ta quyết định xem đó có
phải là những bước tốt hay không và tại sao bạn có thể thấy ở đây hoặc tại sao bạn có thể hiểu được lý do
tại sao bước thứ hai anh chàng tốt hơn hoặc mạnh mẽ hơn là bởi vì anh chàng thứ hai
thực sự biết những gì cuối cùng.
Chàng trai đầu tiên, khi đánh giá xem bước này có tốt hay không, anh ấy chỉ nhìn vào phần
thưởng mà anh ấy nhận được.
Và vì vậy anh ấy chỉ được hướng dẫn bởi phần thưởng mà môi trường đang trao cho anh ấy.
Điều tương tự ở đây.
Anh ấy chỉ được hướng dẫn bởi phần thưởng mà môi trường này đang trao cho anh ấy ở đây.
Vì vậy, mỗi khi đó là loại la bàn duy nhất của anh ta, anh ta có phần thưởng, phần thưởng, phần thưởng.
Trong khi ở đây, anh ta thực sự có thể đánh giá sau khi thực hiện tất cả các bước này, anh ta có thể đánh giá.
Ờ được rồi.
Vì vậy, tôi đã về đích.
Vì vậy, sự kết hợp của các bước này là tốt, tất cả chúng đều tốt hoặc ồ không, tôi đã kết thúc trong ống cứu hỏa
hoặc ồ không, tôi, tôi đã không thắng, ô, của tôi đã không về đích hoặc tôi vượt qua bức tường cát hoặc tôi đã thua trò
chơi Doom hoặc thứ gì đó tương tự.
Và sau đó anh ta tự quyết định rằng toàn bộ sự kết hợp các bước này là không tốt, và do đó
đối với những bước trước đó, anh ta có nhiều thông tin hơn, anh ta có nhiều hiểu biết hơn, giống như trong một cách tiếp cận rất
trực quan.
Đây, một lần nữa, đây là một chủ đề phức tạp hơn nhiều so với những gì chúng ta đang mô tả ở đây, nhưng theo một cách trực quan.
Ví dụ: nếu chúng tôi thực hiện bước này, bước này chỉ có thông tin để bạn cập nhật nó.
Bạn chỉ có thông tin quay lại từ phần thưởng này ở đây.
Và đối với bước này trong trường hợp này, bước chính xác thứ hai, nó có nhiều thông tin hơn.
Nó có thông tin đến từ tất cả các cách.
Được rồi, vậy kết quả sau bốn bước hoặc năm bước hoặc bất cứ điều gì?
Ừ.
Vì vậy, đó là cách nó hoạt động và tại sao nó được gọi là theo dõi tính đủ điều kiện là bởi vì trong suốt quá trình này, anh
ta không chỉ nhìn vào phần thưởng tích lũy của điều này, những gì đang xảy ra và sau đó là khoản lỗ tích lũy, và sau đó
tất cả những điều đó là nhân giống ở đó.
Nhưng thực sự có một dấu vết về tính đủ điều kiện.
Đó là lý do tại sao nó được gọi là dấu vết đủ điều kiện.
Có một dấu vết được lưu giữ trong thuật toán cho biết, được rồi, vì vậy nếu chúng ta nhận được một dấu vết, giả sử chúng ta nhận được một hình phạt, chúng
ta nhận được phần thưởng âm, thì bước nào trong số những bước này có nhiều khả năng đủ điều kiện cho
điều đó, điều đó hình phạt đó?
Vì vậy, chúng tôi không chỉ biết tổng thể toàn bộ mô hình này hoặc sự kết hợp các bước này là gì, mà chúng tôi
còn lưu giữ dấu vết về tính đủ điều kiện.
Chúng tôi sẽ cập nhật các bước nào nếu chúng tôi nhận được phần thưởng?
Ví dụ: nếu đó là phần thưởng tiêu cực, chúng tôi có thể có dấu vết về tính đủ điều kiện
cho chúng tôi thấy rằng đây là bước chịu trách nhiệm cao nhất cho những gì chúng tôi nhận được cuối cùng hoặc nếu đó là phần thưởng tích cực.
Một lần nữa, chúng ta có thể biết thuật toán giúp chúng ta theo dõi.
Thuật toán theo dõi tính đủ điều kiện này giúp chúng tôi theo dõi bước nào hoặc hành động nào cần thực hiện
để đủ điều kiện được cập nhật dựa trên phần thưởng mà chúng tôi nhận được.
Đó là lý do tại sao nó được gọi là dấu vết đủ điều kiện.
Và đó là trực giác cơ bản đằng sau dấu vết tính đủ điều kiện.
Và hy vọng hai ví dụ về hai tác nhân này làm cho nó khá rõ ràng hoặc khá trực quan về lý do tại sao các đặc điểm đủ điều
kiện có thể mạnh mẽ đến vậy.
Và nếu, như đã hứa, nếu bạn muốn đi sâu hơn vào chủ đề về dấu vết đủ điều kiện hoặc học
từng bước, thì một cuốn sách tuyệt vời, tuyệt vời mà bạn có thể tìm thấy có tên là Học
củng cố và Giới thiệu của Richard Sutton và Andrew Barto, 1998 .
Tôi nghĩ rằng họ đang trong quá trình tạo ấn bản thứ hai hoặc
họ đã tạo ra sự công nhận, nhưng đây là cuốn sách phổ biến nhất hoặc phổ biến nhất hoặc được tham khảo nhiều nhất về học tăng cường.
Tôi nghĩ nó có một số lượng trích dẫn vô lý, giống như hàng chục nghìn, nếu tôi không nhầm.
Và cũng là chương bạn cần cho đây là chương bảy.
Vì vậy, để xem xét dấu vết đủ điều kiện, có cả một chương về nó.
Chương bảy, bạn có thể đọc về nó và nó đi vào rất nhiều chi tiết về tính đủ điều kiện tiến, lùi
và cũng như cách bạn có sự khác biệt theo thời gian ở một bên và đầu kia của quang phổ.
Bạn có phương pháp Monte Carlo.
Ở giữa bạn có dấu vết đủ điều kiện.
Vì vậy, dấu vết tính đủ điều kiện là liên kết của bạn để đi từ sự khác biệt tạm thời đến phương pháp Monte Carlo.
Rất thú vị.
Đọc rất nhiều hình ảnh mà tôi thực sự, thực sự đánh giá cao nó.
Giải thích rất trực quan.
Vì vậy, có rất nhiều điều mà bạn có thể học được từ cuốn sách này về trí tuệ nhân tạo và học tập
củng cố.
Nhưng cụ thể, dấu vết tư cách giống như một nơi rất tốt để đến là cuốn sách này để tìm dấu vết tư
cách?
Và tài liệu tham khảo thứ hai cho ngày hôm nay là thứ mà Adlon sẽ cho bạn xem trong tài liệu
thực tế, học sâu hoặc tài liệu nghiên cứu Deep Mind của Google về các phương pháp không đồng bộ để học tăng cường
sâu.
Vâng, đó là tờ giấy.
Đó là một bài báo mà bài báo a3c mà chúng ta sẽ thảo luận sâu hơn trong khóa học này.
Chúng tôi đang ngày càng tiến gần hơn đến nó.
Và như bạn có thể nói, chúng tôi khá vui mừng về điều này.
Vì vậy, chúng ta sẽ xem xét một chút về cách họ triển khai các dấu vết tính đủ điều kiện trong bài báo
này.
Vì vậy, chúng tôi sẽ sử dụng điều này nhiều hơn cho khía cạnh thực tế của mọi thứ.
Vì vậy, hy vọng bạn thích hướng dẫn hôm nay và bây giờ bạn cảm thấy thoải mái hơn một chút với các dấu vết đủ điều
kiện và tôi rất nóng lòng được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng.
TÔI.