Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Hôm nay cuối cùng chúng ta cũng đang nói về việc học xếp hàng.
Được rồi.
Vì vậy, chúng tôi đã có phương trình này, phương trình Belmont, mà chúng tôi đã thêm rất nhiều thành phần vào.
Chúng tôi đã có phần thưởng ở đây, phần thưởng có thể không chỉ ở cuối cùng mà còn có thể ở bất kỳ bước nào đã định.
Chúng tôi có hệ số chiết khấu, chúng tôi có xác suất bởi vì bây giờ chúng tôi đang xem xét các quy trình quyết định của Markov
và ở đây chúng tôi có xác suất kết thúc ở một trạng thái khác bất kể chúng tôi thực hiện hành động nào hoặc thực
sự đưa ra hành động mà chúng tôi thực hiện, chúng có thể là nhiều trạng thái mà chúng tôi có thể kết thúc và sau đó chúng tôi
có giá trị của trạng thái tiếp theo.
Vì vậy, bạn có thể thấy nó giống như một hàm đệ quy, v.v., nhưng bạn có thể vẫn còn một câu hỏi.
Câu hỏi đặt ra là nơi nào trong tất cả những thứ này là bức thư?
Q Tại sao tất cả được gọi là Q học?
Vậy Q đâu?
Và đó là câu hỏi mà chúng ta sẽ trả lời ngày hôm nay.
Cho đến nay, chúng ta đang xử lý các giá trị, giá trị của việc ở trong một trạng thái nhất định.
Và bây giờ chúng ta sẽ xem xét cách Q phù hợp với tất cả những điều đó.
Vì vậy, ở đây chúng tôi có hai ví dụ.
Ở bên trái là những gì chúng tôi đã làm cho đến nay.
Người đại diện của chúng tôi đang phân tích, được rồi, tôi ở đây.
Đây là một dấu ấn của quá trình quyết định, vì vậy không quan trọng bằng cách nào tôi đến đây.
Phần còn lại của môi trường không quan tâm đến các bước mà tôi đã mất để đến được đây.
Kể từ bây giờ, tôi phải đưa ra quyết định tối ưu là đi đâu, đây, đây, dựa trên trạng thái hiện tại và tất cả
các trạng thái trong tương lai đến từ đây, nhưng không phải từ quá khứ.
Và vì vậy anh ta có thể thấy rằng có ba lựa chọn.
Có trạng thái một trạng thái đến trạng thái ba.
Và dựa trên kinh nghiệm của mình, anh ấy đã tính toán các giá trị ở những trạng thái này, và bây giờ anh ấy sẽ sử dụng
phương trình Belmont.
Vì vậy, mặc dù đây là một quá trình ngẫu nhiên, vì vậy anh ta biết rằng anh ta sẽ đi đến đây, nhưng có
khả năng anh ta sẽ đi sang trái hoặc phải, v.v.
Vì vậy, dựa trên những giá trị này, sẽ đưa ra quyết định, đó là những gì chúng tôi đã làm cho đến
nay và đó hoàn toàn là cách tiếp cận hợp pháp ở đây.
Nhưng bây giờ chúng tôi sẽ sửa đổi nó một chút.
Chúng ta sẽ sử dụng cùng một khái niệm chính xác, cùng một vấn đề chính xác.
Nhưng ở đây, thay vì xem xét các giá trị của từng trạng thái mà anh ta có thể
đạt được, chúng ta sẽ xem xét các giá trị hoặc giá trị của mỗi hành động.
Vì vậy, chúng ta sẽ không sử dụng chữ V nữa vì V là giá trị của trạng thái.
Chúng ta sẽ sử dụng chữ Q và bạn có thể có câu hỏi tại sao lại viết chữ này?
Q Chà.
Q Một số người suy đoán rằng.
Q Chà, tôi đã đọc cái này, tôi nghĩ trên Quora có ai đó đã đề cập đến điều đó.
Q là vì chất lượng, nhưng đồng thời, tôi không thể tìm thấy bất kỳ tài liệu tham khảo nào khác về điều đó.
Vì vậy, có thể không phải vì điều đó, có thể chỉ vì đó là chữ cái đã được sử dụng vào thời điểm đó.
Và bây giờ nó trở nên cực kỳ phổ biến bởi vì nó được gọi là Q learning.
Vì vậy, không có lý do chính xác tại sao nó được gọi là Q nhưng ít nhất cũng giúp chúng ta phân biệt giữa V và Q.
Vì vậy, Q ở đây đại diện cho một giá trị chứ không phải là giá trị của trạng thái mà nó biểu thị, hãy đi cùng với chất lượng.
Nó thể hiện chất lượng của hành động mà nó thể hiện.
Vì vậy, tôi có bốn hành động.
Những phẩm chất khác nhau của những hành động này là gì?
Giá trị hoặc giá trị của hành động hoặc chất lượng của hành động là gì?
Hành động nào sinh lợi hơn?
Vì vậy, tôi cần một số liệu cho tôi biết, được rồi, làm cách nào để tôi định lượng hành động này?
Và sau đó tôi có thể so sánh chúng.
Và đó chính xác là những gì Q là.
Và vì vậy, ở đây anh ấy có bốn hành động khả thi, như mọi khi, đi lên, sang phải, sang trái hoặc xuống dưới.
Và dựa trên hành động, sẽ có một công thức cho chúng ta biết giá trị có thể định lượng của hành động đó, mà
chúng tôi gọi là Q, giá trị Q của hành động đó.
Vì vậy, chúng ta hãy xem làm thế nào chúng ta sẽ tìm ra công thức này.
Q Nó thực sự liên quan đến điều gì?
V Bởi vì như bạn có thể tưởng tượng, bởi vì các hành động dẫn đến các trạng thái, nên phải có một số loại liên kết giữa hai điều
này, phải không?
Chúng tôi đã có, chúng tôi đã xác định cách tính toán điều này và chúng tôi khá giỏi trong việc đó.
Chúng tôi biết cách sử dụng phương trình bellman và các môi trường rất khác nhau với rất nhiều biến chứng khác nhau.
Vâng, hãy tận dụng kiến thức đó để hiểu cách chúng ta có thể tính Q bây giờ để đưa ra các dự đoán tương tự, bởi vì như
bạn có thể tưởng tượng, môi trường không thay đổi tùy thuộc vào cách chúng ta sử dụng phương pháp tiếp
cận nào.
Môi trường sẽ giống nhau bất kể.
Vì vậy, do đó cách tiếp cận này và cách tiếp cận này phải luôn cho cùng một kết quả, và do đó đó là một lý do khác tại sao
hai phương pháp này nên được liên kết với nhau.
Vì vậy, chúng ta hãy xem xét.
Vì vậy, đây là cách tiếp cận của chúng tôi, nơi chúng tôi sẽ chỉ xem xét giá trị của bất kỳ trạng thái nhất định nào, trạng thái này hoặc bất
kỳ trạng thái nào khác.
Và ở đây chúng ta sẽ sử dụng chữ S ở đây vì đó là trạng thái hiện tại.
Và do đó thuật ngữ sẽ giống nhau trong cả hai phương trình.
Và ở đây chúng ta đang sử dụng Q như một Q là trạng thái và hành động?
A Bởi vì hành động là lên, nhưng chúng tôi đã thực hiện hành động đó ở trạng thái nào?
Chúng tôi thực hiện hành động đó trong trạng thái.
S Được rồi, bây giờ chúng ta sẽ viết ra phương trình cho cách tiếp cận đầu tiên.
Như bạn có thể thấy ở đây, chúng ta có V of SE nên giá trị của.
Bất kỳ trạng thái nhất định nào đều là phần thưởng tối đa mà bạn nhận được.
Vì vậy, tối đa dựa trên các hành động bạn có.
Ba trong trường hợp này bạn thực sự có bốn hành động.
Vì vậy, tối đa hóa tất cả các hành động có thể.
Và sau đó của phần này, mà chúng ta đã thảo luận nhiều lần.
Vì vậy, đây là phần thưởng của chúng tôi mà chúng tôi nhận được khi thực hiện hành động đó ở trạng thái đó, cộng với hệ số chiết
khấu nhân với giá trị kỳ vọng của trạng thái mới mà chúng tôi sẽ ở và giá trị mong đợi bởi vì đó là
một quá trình ngẫu nhiên.
Chúng tôi không biết chính xác chắc chắn rằng chúng tôi sẽ kết thúc ở đây.
Chúng ta có thể kết thúc ở bên trái hoặc bên phải với một xác suất nhất định.
Đó là lý do tại sao những xác suất này ở đây.
Được rồi.
Vì vậy, đó là giá trị của chúng tôi.
Và bây giờ chúng ta hãy nhìn vào Q.
Vì vậy, Q sẽ được xác định.
Chúng tôi sẽ sử dụng điều này để xác định.
Q Vì vậy, giả sử tác nhân từ vị trí này, từ trạng thái này thực hiện hành động lên.
Giá trị Q sẽ bằng bao nhiêu?
Trước hết, hãy xem anh ta sẽ nhận được gì khi thực hiện hành động này.
Điều đầu tiên bạn sẽ nhận được là một phần thưởng, phải không?
Điều đó biết, không còn nghi ngờ gì nữa, sẽ có một phần thưởng nào đó.
Nó có thể bằng không.
Nhưng chúng ta biết rằng toàn bộ cách thức hoạt động của quá trình học tập củng cố này là đôi khi để thực hiện một số
hành động nhất định từ một trạng thái nhất định, sẽ có phần thưởng.
Vì vậy, chúng tôi sẽ thêm điều đó vào đây và sau đó chúng tôi sẽ thêm những gì chúng tôi sẽ thêm?
Vâng, chúng ta hãy nghĩ về nó.
Điều tiếp theo xảy ra sau khi anh ấy nhận được phần thưởng là gì?
Điều tiếp theo sẽ xảy ra là bây giờ đặc vụ đang ở một trạng thái nhất định.
Anh ta có thể kết thúc ở đây với xác suất 80% hoặc một xác suất nào đó.
Nhưng thực ra bạn đang đi lên đây hoặc ở đây.
Nhưng bất cứ nơi nào anh ta kết thúc bây giờ, chúng tôi đã có một số liệu định lượng cho trạng thái đó anh ta đang ở
và đó thực sự là giá trị của trạng thái đó.
Nhưng vì anh ta không thể ở nhiều trạng thái khác nhau trong ba trong số các trạng thái khác nhau có thể xảy ra, chúng
ta phải xem xét giá trị kỳ vọng của trạng thái mà anh ta sẽ ở.
Và vì vậy chúng tôi sẽ thêm nó vào.
Tất nhiên, chúng tôi sẽ thêm yếu tố chiết khấu như chúng tôi đã có trước đây, bởi vì đó là một nơi nào đó
trong tương lai.
Và sau đó chúng ta sẽ cộng tổng của tất cả các trạng thái có thể, trên tất cả các trạng thái có thể mà anh ta có thể kết
thúc bằng cách lấy thời gian hành động của xác suất.
Vì vậy, những gì chúng tôi đang nói ở đây là bằng cách thực hiện một hành động, bạn sẽ nhận được phần thưởng cộng thêm, đó là một
chỉ số được định lượng, ngoài ra bạn sẽ khiến bạn rơi vào trạng thái mà chúng tôi không biết một.
Nó có thể ở đây.
Nhưng đây là giá trị mong đợi của trạng thái mà bạn sắp kết thúc.
Và bây giờ chúng ta sẽ nhân nó với hệ số chiết khấu bởi vì đó là một bước đi.
Vì vậy, đó là giá trị gợi ý của chúng tôi cho việc này để thực hiện hành động này.
Và những gì bạn sẽ nhận thấy ở đây ngay lập tức là đó.
Q Giá trị Q thực sự giống hệt với những gì bên trong các dấu ngoặc ở đây.
Và tại sao lại như vậy?
Chà, nếu bạn nghĩ về nó ở đây, chúng tôi đang lấy kết quả tối đa.
Chúng tôi sẽ đạt được mức tối đa cho tất cả các hành động có thể.
Vì vậy, chúng tôi có bốn hành động và chúng tôi đang sử dụng tối đa tất cả các hành động có thể có
của kết quả mà chúng tôi sẽ nhận được bằng cách thực hiện từng hành động đó.
Và trong.
Q Chúng tôi đang xác định điều thú vị.
Chúng ta sẽ nhận được gì khi thực hiện một hành động nào đó?
Vì vậy, nếu bạn nghĩ về nó, nó có ý nghĩa rằng giá trị của một trạng thái chẳng hạn, trạng thái này là giá trị
lớn nhất trong tất cả các giá trị Q có thể, phải không?
Vì vậy, ở đây trong trạng thái này, bằng cách ở trong trạng thái, tác nhân có một giá trị Q đến giá trị Q ba giá trị Q cho các giá
trị Q.
Vì vậy, anh ta có bốn giá trị Q có thể.
Vâng, giá trị của trạng thái có nghĩa là giá trị của trạng thái là giá trị lớn nhất của tất cả các giá trị đó đối với
các giá trị Q.
Và đó chính xác là những gì chúng ta có thể thấy ở đây.
Đó là một xác nhận tốt về công thức mới này mà chúng tôi đã rút ra.
Nếu đó không phải là trường hợp, nếu điều đó không khớp, thì chúng tôi sẽ có câu hỏi.
Chúng tôi sẽ như thế, vậy tại sao?
Tại sao nó không khớp?
Nếu giá trị Q là một thước đo định lượng của việc thực hiện một hành động và V phụ thuộc vào bốn thì giá trị này giống như kết quả tối đa có thể
có của bốn hành động mà anh ta có thể thực hiện.
Hy vọng rằng điều đó có ý nghĩa và điều đó xác nhận công thức mà chúng tôi vừa suy ra.
Và bây giờ chúng tôi sẽ làm cho nó thú vị hơn nữa.
Chúng ta sẽ loại bỏ hoàn toàn V vì bạn có thể thấy ở đây bạn có V là một hàm đệ quy của V, vì vậy
và sau đó chúng ta có V và sau đó là V và sau đó là V và v.v.
Vì vậy, bạn có thể thể hiện chữ V này thông qua tất cả các chữ V sau đây, chữ V tối ưu nhất sẽ xuất
hiện ở đây.
Chúng ta đang biểu thị Q dưới dạng một hàm đệ quy của V hoặc như một hàm của V tiếp theo, và sau đó chúng ta phải cắm vào V này và
sau đó chúng ta sẽ quay lại V.
Vì vậy, những gì chúng tôi sẽ làm là chúng tôi thực sự sẽ lấy V này và chúng tôi sẽ thay thế nó
bằng.
Q Đúng.
Vì vậy, chúng ta hãy xem xét điều đó.
Chúng ta sẽ lấy V này của trạng thái tiếp theo và chúng ta sẽ cắm nó vào công thức đó ở đây.
Và như bạn có thể thấy bây giờ, vì vậy phần này không thay đổi.
Xác suất này không thay đổi.
Nhưng như chúng ta vừa thảo luận, v của SE là cực đại của tất cả các hành động của Q trong S và A ở đây.
Vì vậy, đó là những gì chúng tôi sẽ thay thế ở đây.
Vì vậy, chúng ta sẽ nói tối đa, tất nhiên, là hành động mới, hành động mà chúng ta sẽ thực
hiện, bởi vì ở đây chúng ta đã có V nguyên tố S.
Vì vậy, ở đây bây giờ chúng tôi đã có tối đa trên tất cả các số nguyên tố.
Vì vậy, các hành động mà chúng tôi sẽ thực hiện từ trạng thái này
hoặc từ bất cứ đâu, bất kỳ trạng thái nào khác mà chúng tôi kết thúc, nhưng hành động mà chúng tôi sẽ thực
hiện từ đó và tối đa trên tất cả những hành động đó và tối đa là tất cả Q các giá trị sẽ có sẵn cho chúng ta ở trạng thái mới đó dưới dạng dấu phẩy nguyên tố, một số
nguyên tố.
Và đó là hành động.
Vì vậy, đó là vì vậy sẽ có bốn giá trị Q khác ở đó.
Vì vậy, bây giờ như bạn có thể thấy, chúng ta hãy xem xét điều đó một lần nữa.
Vì vậy, từ những gì chúng ta rút ra từ những gì chúng ta đã thảo luận chỉ thông qua logic và trực giác để chúng ta có thể
thấy rằng VM thực sự là V của S và của S và một R liên kết D của S là cực đại trên tất cả các hành động của Q của điều
này.
Và bạn có thể thấy ngay tại đây, vì vậy cái này, phần này giống hệt với phần này.
Và sau đó chúng tôi sẽ tận dụng điều đó và chúng tôi sẽ thay thế bit này bằng V.
S từ đây, nhưng không phải công thức chính xác này.
Chúng tôi sẽ lấy phần bên trong này và chúng tôi sẽ thay thế nó bằng Q và A, vì vậy chúng tôi
sẽ cắm nó vào đây.
Và phần này sẽ được.
Q Trong số S số nguyên tố, một số nguyên tố, do đó số tối đa của Q bằng tất cả các số nguyên tố của Q là số nguyên tố.
Và bây giờ chúng tôi có công thức của chúng tôi.
Vì vậy, bây giờ chúng ta có một công thức đệ quy cho các giá trị Q.
Vì vậy, bây giờ người đại diện có thể nghĩ, giá trị của hành động này là gì?
Chất lượng của hành động này là gì?
Giá trị Q của hành động này là gì?
Vâng, nó phụ thuộc vào phần thưởng.
Tôi có được một bước ngay lập tức để đạt được điều đó.
Thêm vào đó, nó phụ thuộc vào thời gian của hệ số chiết khấu, mức tối đa của tất cả các hành động Q có thể có ở trạng thái đó, nhưng tôi không biết liệu
mình có đạt được điều đó hay không.
Vì vậy, tôi cũng cần xem xét trạng thái đó và trạng thái đó, và đó là lý do tại sao chúng ta có giá trị kỳ vọng này
ở đây.
Vì vậy, chúng tôi có tổng xác suất nhân với giá trị lớn nhất và đó là giá trị kỳ vọng của chúng tôi.
Vì vậy, rất giống công thức như bạn có thể thấy.
Nhưng lần này chúng tôi thể hiện mọi thứ thông qua các giá trị Q và đó là lý do tại sao toàn bộ thuật toán
này được gọi là Q learning, bởi vì đây là những gì được xem xét.
Đây là những gì các đại lý thực sự sử dụng.
Họ không nhìn vào các trạng thái, họ nhìn vào các hành động có thể xảy ra của họ.
Và sau đó dựa trên các hành động, vào giá trị Q của các hành động, họ sẽ quyết định hành động nào cần thực hiện.
Vì vậy, họ sẽ chỉ xem xét giá trị Q lớn nhất trong trạng thái nhất định này, nó có bốn hành động.
Hành động tốt nhất để thực hiện để có thể so sánh là gì?
Thay vì so sánh các trạng thái khác nhau, nó có thể kết thúc bằng cách so sánh các hành động có thể
có mà nó hiện có.
Sau đó, bằng cách tìm ra cái tối ưu, nó sẽ thực hiện hành động đó và sau đó sẽ lặp lại quá trình đó, lặp
lại quá trình đó, v.v.
Vì vậy, bây giờ bạn có thể thấy tất cả những điều này kết hợp với nhau như thế nào, cách phần thưởng, hệ số chiết khấu, các
quá trình quyết định ngẫu nhiên Markov và các giá trị V và giá trị Q đều kết hợp với nhau để cung cấp cho
chúng ta một phương trình chuông siêu mạnh mẽ cho các giá trị Q , hiện chúng tôi có thể áp dụng và cho phép các đại lý của chúng tôi học
cách đánh bại môi trường.
Và đó là lời giải thích trực quan về những gì đang xảy ra.
Tôi biết chúng tôi đã xem qua các công thức, nhưng điều đó là cần thiết vì đây giống như công
thức của chúng tôi mà chúng tôi đã xem qua toàn bộ chương này và tôi nghĩ rằng đó là một sự chuyển đổi tốt từ V sang Q và nó minh họa cách
chúng được liên kết với nhau.
Và nếu bạn muốn hiểu thêm một chút về cách tiếp cận chặt chẽ, cách tiếp cận toán học và muốn bạn thấy toán học đằng sau nó và tìm hiểu
thêm một chút về các giá trị Q và cách chúng hoạt động, thì chúng tôi có một số bài đọc bổ
sung cho bạn .
Bài báo này có tên là Các Quy trình, Khái niệm và Thuật toán Quyết định Markov của Luật Martin von Otter 2009.
Vì vậy, bạn đã có liên kết ở đây như mọi khi, và ở đây bạn có thể đọc chi tiết hơn một chút để hiểu tất cả
những gì khó hiểu đằng sau các giá trị hàng đợi, v.v.
Và bây giờ chúng ta đã thảo luận về tất cả những điều này liên quan đến phương trình Belmont,
bây giờ chúng ta đã sẵn sàng xem xét một cái gì đó phức tạp hơn, chẳng hạn như bài báo này nếu chúng ta muốn
có thêm một số thông tin về điều này để loại hiểu sâu hơn.
Nhưng ngay cả khi bạn chưa đọc qua bài báo này, bạn nên có kiến thức tốt về việc
học là gì và cách các tác nhân đưa ra các hành động mà họ cần thực hiện trong một môi trường
nhất định.
Vì vậy, tôi hy vọng bạn sẽ thích hướng dẫn hôm nay và tôi mong được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng tôi.