Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Hôm nay chúng ta sẽ nói về phương trình Belmont.
Đây là một chủ đề khá phức tạp và chúng tôi sẽ giới thiệu nó từng bước một trong toàn bộ
phần này của khóa học.
Vì vậy, chúng tôi sẽ không chỉ nhảy thẳng vào phiên bản phức tạp nhất của Phương trình Belmont ngay lập
tức.
Nhưng thay vào đó, chúng tôi sẽ giới thiệu nó một cách từ từ để dần dần hiểu được cách thức hoạt động của nó.
Và tôi hy vọng bạn tuyệt vời với cách tiếp cận đó.
Nếu bạn là bạn, chúng ta hãy đi thẳng vào nó.
Vì vậy, chúng ta sẽ có một vài khái niệm chính mà chúng ta sẽ vận hành.
Và những khái niệm này SSE là viết tắt của State.
Vì vậy, trạng thái mà đại lý của chúng tôi là hoặc bất kỳ trạng thái nào khác có thể là trạng thái đại diện cho một
hành động mà đại lý có thể thực hiện.
Vì vậy, một tác nhân có thể có quyền truy cập vào một danh sách các hành động nhất định.
Và các hành động rất quan trọng khi chúng được xem xét ở trạng thái kết hợp.
Vì vậy, khi bạn ở trong một trạng thái nhất định và sau đó bạn nhìn vào các hành động, thì nó bắt đầu có ý nghĩa.
Kết quả của những hành động đó là gì?
Bởi vì nếu bạn chỉ nhìn vào một hành động mà không có trạng thái thực sự không có ý nghĩa bởi
vì bạn không biết mình đang ở đâu và có thể kết thúc ở đâu.
Và sau đó chúng tôi có chúng tôi sẽ có của chúng tôi là viết tắt của phần thưởng, và đó là phần thưởng mà một đặc vụ nhận được
khi vào một trạng thái nhất định.
Và Gamma là hệ số chiết khấu.
Và chúng ta sẽ nói về hệ số chiết khấu trong một giây.
Bây giờ tất cả đều có ý nghĩa, nhưng chỉ cần ghi chú lại, hãy ghi nhớ rằng chúng ta sẽ có bức thư này, Gamma,
mà chúng ta sẽ tiến hành sau này.
Vì vậy, người đứng sau phương trình bellman là Richard Ernest Bellman.
Ông là một nhà toán học ứng dụng và đã đưa ra khái niệm về lập trình động, cái mà chúng ta đang có, mà bây giờ chúng ta
gọi là học tăng cường hoặc chúng ta gọi là Phương trình Belmont.
Bây giờ tốt, đó là những gì chúng tôi gọi bây giờ.
Và vào năm 1953, ông ấy đã đưa ra khái niệm đó, và đó là khi Phương trình Belmont đến với tôi.
Vì vậy, chúng ta hãy xem xét cách thức hoạt động của tất cả điều này.
Có đặc vụ đáng yêu của chúng tôi ở góc dưới cùng bên trái và anh ấy đang ở trong một mê cung.
Và đây là một mê cung khá cổ điển, nơi bạn có một số khối, các khối màu trắng là các khối mà
đặc vụ có thể bước vào.
Khối màu xám là khối không thể truy cập được.
Vì vậy, đó giống như một bức tường trong mê cung này.
Màu xanh lá cây là nơi mà tác nhân nên nhắm đến để kết thúc.
Đó là nơi chúng tôi muốn người đại diện đi.
Đó là kết thúc.
Và màu đỏ là một cái lò sưởi.
Vì vậy, nếu động cơ rơi vào ống lửa, anh ta sẽ thua trò chơi.
Vì vậy, trong hố lửa, phần thưởng là R trừ đi một.
Vì vậy, đó là cách chúng tôi nói với đại lý rằng đó không phải là điều chúng tôi muốn bạn làm.
Giống như, hãy nhớ một ví dụ về khi chúng ta huấn luyện chó, chúng ta muốn nói với chúng như một con chó xấu nếu nó
không làm đúng những gì chúng ta muốn làm.
Điều tương tự ở đây.
Chúng tôi muốn nói với người đại diện rằng đây không phải là điều bạn nên làm.
Bạn không nên kết thúc trong hình vuông.
Vì vậy, mỗi khi nó không xuất hiện trong hình vuông, bạn sẽ nhận được một phần thưởng trừ đi.
Vì vậy sẽ bị phạt trừ một phần thưởng.
Mặt khác, nếu nó kết thúc ở Quảng trường Xanh, nó sẽ nhận được một phần thưởng cộng một, nghĩa là
đó là những gì chúng tôi muốn nó làm.
Vì vậy, đó là hai phần thưởng mà đại lý có thể nhận được.
Và nó học cách vận hành trong mê cung này như thế nào?
Cũng giống như trong ví dụ về những chú chó robot học cách đi bộ, chúng tôi sẽ cho nó biết.
Chúng tôi sẽ chỉ nói với nó rằng đây là những hành động bạn có thể làm.
Bạn có thể đi lên phải, trái hoặc xuống.
Đó là bốn hành động khả thi mà bạn có thể thực hiện.
Và đó là nó.
Hãy chơi một vòng với nó, xem bạn có thể nghĩ ra điều gì.
Vì vậy, tác nhân có thể đi về bên phải, sau đó họ có thể đi đến nhiều hơn ở bên phải, họ có thể quay lại
bên trái.
Họ chỉ nhấn ngẫu nhiên các nút này và họ đang cố gắng xem điều gì sẽ xảy ra.
Sau đó, họ quay trở lại đây, họ đi lên, đi lên, đi xuống, đi lên, đi sang phải.
Vì vậy, hiện tại, họ không học được gì cả.
Họ chỉ cho đến nay không có gì đã xảy ra.
Họ đi sang phải và sau đó đi bam, cuối cùng họ sẽ đến Quảng trường Xanh.
Vì vậy, họ nhận ra, Chà, tôi vừa nhận được thêm một phần thưởng.
Vì vậy, ngay khi bước chân vào Quảng trường Xanh, họ đã nhận được một phần thưởng cộng một.
Và điều đó kích hoạt thuật toán nói rằng, được rồi, điều đó thực sự tuyệt vời.
Tôi được thưởng vì kết thúc ở hình vuông, vì vậy tôi muốn kết thúc ở hình vuông.
Vậy điều đó có ý nghĩa gì đối với người đại diện?
Điều đó có nghĩa là nó bắt đầu đặt ra câu hỏi, Làm thế nào tôi đến được quảng trường này?
Trạng thái trước đó tôi đang ở là gì và tôi đã thực hiện hành động gì để vào được hình vuông?
Và sau đó nó nhìn lại và nó nói, được rồi, vì vậy trạng thái trước đó là trạng thái này.
Hóa ra nó có giá trị ở trạng thái đó, thứ đã châm ngòi cho mũi tên màu đỏ.
Bởi vì từ trạng thái đó, bạn là tôi, tôi chỉ còn một bước nữa là có thể nhận được phần thưởng tối đa mà tôi có thể mơ ước cộng thêm
một phần thưởng như bánh quy cho một con chó ngay khi tôi biết liệu tôi có bao giờ ở trong trạng thái đó không , hình vuông đó được đánh dấu
bằng một mũi tên màu đỏ.
Tất cả những gì tôi phải làm là nhấn phải.
Vậy tôi phải nói với bản thân mình như thế nào?
Làm thế nào để tôi nhớ rằng trạng thái đó có giá trị?
Chà, đối với tôi, không có sự khác biệt, thực ra, với tư cách là người đại diện, không có sự khác biệt
nào về việc tôi đang ở Quảng trường Xanh hay Quảng trường Trắng.
Ngay tại Quảng trường Xanh, tôi nhận được một phần thưởng.
Vì vậy, tôi sẽ tự đánh dấu rằng Hình vuông Trắng là dành cho tôi, nó có giá trị của một vì nó chính
xác dẫn đến phần thưởng cho một.
Vì thế.
Ngay khi tôi ở Quảng trường Trắng, tôi biết mình sẽ chỉ thực hiện thêm một hành động nữa.
Tôi sẽ ở Quảng trường Xanh và tôi sẽ nhận được một phần thưởng.
Vì vậy, đó là lý do tại sao tôi sẽ nói rằng giá trị của hình vuông này bằng một, bởi vì nó
dẫn trực tiếp mà không có bất kỳ loại trừ nào.
Ngay khi tôi vào đây, tôi biết phần thưởng của mình sẽ là một.
Vì vậy, tôi sẽ đánh dấu hình vuông này bằng một.
Đó là giá trị.
Đó là giá trị cảm nhận được khi ở trong trạng thái này.
Tiếp theo, người đại diện sẽ như thế nào, được rồi, vậy tôi đã vào được quảng trường này bằng cách nào?
Và anh ta có thể đi vòng quanh một lần nữa và cứ thế lại đến quảng trường.
Và tôi muốn, Được rồi, làm thế nào tôi vào được quảng trường này trước đó?
Và cách tôi đến quảng trường này là từ quảng trường này.
Thú vị.
Vì vậy, ngay khi tôi vào quảng trường này, tôi biết rằng tất cả những gì tôi phải làm là đi đúng hướng.
Và rồi từ đây, tôi đã biết rằng mình sẽ thắng.
Tôi biết chính xác mọi thứ sẽ làm sáng tỏ như thế nào từ đây.
Và tôi biết giá trị của việc ở trong trạng thái này bằng một.
Và vì không có gì ngăn cản tôi đi từ đây đến đây, giá trị trong việc này sẽ trở thành giá trị
được nhận thức.
Tôi sẽ coi trọng việc ở đây vì V cũng bằng một, bởi vì ngay khi tôi vào đây, tôi biết mình sẽ
ở đây và tôi sẽ đến đây khá nhanh.
Vì vậy, tôi sẽ giành chiến thắng.
Và sau đó làm cách nào để vào được quảng trường này trước đó?
Chà, tôi vào quảng trường này từ quảng trường này.
Vì vậy, giá trị là cách tiếp cận tương tự.
Giá trị của sự tồn tại ở đây cũng bằng một và như vậy.
Vì vậy, giá trị tồn tại ở đây bằng một và giá trị tồn tại ở đây bằng một bởi vì mỗi
người trong số họ dẫn đến người tiếp theo và dẫn đến đích.
Vì vậy, đó là tất cả giống như khá hợp lý ở giai đoạn này.
Đây là chúng tôi đang thiết kế Phương trình Belmont ngay bây giờ.
Vì vậy, đây là chúng ta có thể nghĩ về việc thiết kế một phương trình giúp một đặc vụ đi qua mê cung.
Vì vậy, hãy nhìn vào phần thưởng.
Sau đó, trạng thái trước cung cấp cho nó một giá trị bằng để thưởng cho trạng thái trước đó, v.v.
Vì vậy, nó giống như tạo ra con đường này.
Tất cả đều tuyệt vời và tốt, nhưng vấn đề ở đây là, được rồi, điều gì sẽ xảy ra nếu nhân viên của chúng tôi vì lý do
nào đó bắt đầu ở trạng thái này thay vì bắt đầu ở đây và thực hiện những hành động này, nhưng nó thực sự bắt đầu ở trạng
thái?
Làm sao nó biết được?
Làm thế nào để nó ghi nhớ hành động cần thực hiện?
Nó nên đi đúng hay nên đi xuống?
Hoặc nó có thể nên đi bên trái?
Hay nó nên đi lên?
Làm thế nào để nó nhớ được đâu là phần tiếp theo tiếp theo kể từ đây nếu các giá trị duy nhất mà nó có là các giá trị này
bằng một?
Vì vậy, bạn không thể nhìn thấy những gì xa hơn.
Nó chỉ có thể nhìn thấy, được rồi, những gì tôi có ở đây và những gì tôi có ở đây, làm sao nó biết đường nào để
đi?
Vâng, ở giai đoạn này, nó không.
Nó khá giống nhau đối với các đại lý phải đi theo con đường nào.
Và đó là lý do tại sao cách tiếp cận này không thực sự hiệu quả.
Đó là một giải thích rất đơn giản.
Tất nhiên, còn nhiều điều nữa, nhưng theo một cách trực quan.
Đó là lý do tại sao chúng ta chỉ gán giá trị này ngược lại như vậy.
Bởi vì một trong những lý do là một khi tác nhân nằm giữa hai giá trị này, nó sẽ đi về đâu?
Nó không có thể bị nhầm lẫn như vậy.
Và vậy chúng ta giải quyết vấn đề này như thế nào?
Chúng ta sẽ làm gì ở đây?
Và đây là lúc chúng ta sẽ bắt đầu giới thiệu phương trình Belmont ở dạng thực tế của nó, từ
từ, từng bước.
Vì vậy, phương trình Belmont trông giống như thế này.
Vì vậy, chúng ta đã nói về V giá trị của việc ở một trạng thái nhất định, cũng như trạng thái hiện tại của bạn hoặc bất kỳ
trạng thái nhất định nào.
Và có cả s.
Và vì Prime là trạng thái, trạng thái sau, trạng thái mà bạn sẽ kết thúc sau trạng thái này và bằng cách
thực hiện hành động ung thư.
Nhưng chúng tôi biết rằng có nhiều hành động mà một nhân viên có thể thực hiện và đó là lý do tại sao chúng tôi có mức tối đa này
ở đây.
Vì vậy, bằng cách thực hiện một hành động, điều gì sẽ xảy ra với một đại lý?
Vì vậy, giả sử chúng ta đang ở trong một trạng thái bằng cách thực hiện một hành động ở trạng thái và chúng ta thực hiện hành động.
A Điều gì sẽ xảy ra là chúng ta sẽ ngay lập tức nhận được phần thưởng bằng cách chuyển sang trạng thái mới.
Và hãy nhớ rằng phần thưởng đó có thể là một hoặc cộng một hoặc trừ một nếu nó ở cuối trò chơi, hoặc nó có thể
là 0 nếu nó trong suốt trò chơi.
Trong trường hợp này, phần thưởng của chúng tôi trong suốt trò chơi là 0.
Vì vậy, đó là phần thưởng.
Thêm vào đó, chúng ta sẽ chuyển sang một trạng thái mới có giá trị là nguyên tố.
Vì vậy, đó là giá trị của trạng thái mới.
Và Gamma, chúng ta sẽ nói về Gamma trong giây lát.
Nhưng điểm tôi đang cố gắng nêu ra ở đây hoặc điểm tôi đang nêu ra ở đây là chúng ta có nhiều hành động khác nhau mà chúng ta có thể thực
hiện, và đó là lý do tại sao chúng ta có mức tối đa.
Vì vậy, bằng cách thực hiện hành động, chúng ta sẽ nhận được phần thưởng, cộng với việc chúng ta sẽ ở trong một trạng thái mới.
Và vì vậy, đối với mọi trường hợp trong trường hợp của chúng tôi, chúng tôi có bốn hành động khả thi.
Đối với mỗi một trong bốn hành động có thể xảy ra, chúng ta sẽ có một phương trình như thế này.
Vì vậy, điều này sẽ có một giá trị bốn, chúng sẽ có một giá trị khác nhau cho mỗi một trong bốn hành động.
Và chúng tôi sẽ chỉ xem xét mức tối đa vì tất nhiên, tác nhân muốn có trạng thái tối
ưu.
Vì vậy, nếu anh ấy ở trong tình trạng s, anh ấy sẽ xem xét những giá trị này.
Anh ấy sẽ tìm kiếm mức tối đa dựa trên hành động.
Tôi sẽ thực hiện hành động dẫn đến tối đa các giá trị này.
Vì vậy, hy vọng rằng điều đó có ý nghĩa tại sao chúng tôi đang sử dụng tối đa ở đây.
Sau đó, khi chúng ta đã có phần thưởng và giá trị của trạng thái, tại sao chúng ta lại có thông số gamma này ở đây?
Chà, nó chính xác để giải quyết vấn đề mà tác nhân không biết phải đi theo con đường nào, bởi vì nó không thể
so sánh giá trị của hai trạng thái ở cả hai bên và chúng giống nhau.
Đó là lý do tại sao gamma được gọi là hệ số chiết khấu.
Vì vậy, chúng ta sẽ xem xét điều đó trong.
Chỉ để hiểu rõ hơn về nó.
Vì vậy, chúng ta hãy lấy công thức của chúng tôi.
Chúng tôi sẽ đặt nó ở đây trên đầu trang.
Đúng.
Và bây giờ chúng ta sẽ phân tích giá trị của các trạng thái khác nhau này là gì.
Và mọi tiểu bang ở đây đều là một hình vuông.
Và do đó, một trong những thứ này ở một trong những hình vuông màu trắng này là một trạng thái.
Và chúng tôi sẽ tính toán giá trị của việc ở trong trạng thái đó.
Vì vậy, hãy bắt đầu với hình vuông này.
Giá trị của việc ở trong trạng thái này là gì?
Chà, chúng ta cần sử dụng tối đa giá trị này trên tất cả các hành động.
Và chúng tôi biết rằng giá trị đại diện này được tối đa hóa khi chúng tôi tiến gần đến vạch đích.
Đó là cách nó được xây dựng.
Và chỉ cần nhìn vào bạn có thể thấy vì ở đây có phần thưởng và ở đây có
hệ số chiết khấu nhân với giá trị của trạng thái tiếp theo.
Và nó chỉ có ý nghĩa rằng đó là cách chúng ta sẽ xây dựng phương trình đó.
Vì vậy, nó có ý nghĩa rằng từ đây giá trị lớn nhất sẽ là nếu chúng ta di chuyển sang phải.
Vì vậy, đó là cách chúng tôi tính toán giá trị của trạng thái.
Giá trị của trạng thái này là bằng, lớn nhất hoặc bằng với giá trị này.
Nếu chúng ta di chuyển sang phải, nếu chúng ta thực hiện một hành động di chuyển sang phải.
Vậy giá trị này sẽ là bao nhiêu?
Chà, phần thưởng của việc di chuyển sang phải là một phần thưởng.
Và bất kể gamma gamma là gì, chúng ta không có giá trị ở trạng thái này vì chúng ta đã ở trạng thái
tốt nhất có thể.
Vì vậy, đây là trạng thái cuối cùng.
Nó sẽ không có giá trị.
Chúng tôi chỉ nhận được một phần thưởng ở đây và đó là kết thúc của trò chơi.
Vì vậy, giá trị của giá trị tối đa này sẽ bằng một.
Và đó là lý do tại sao giá trị của các trạng thái ở đây bằng một.
Bây giờ, mọi thứ trở nên thú vị khi chúng ta di chuyển sang trái, khi chúng ta lùi lại một chút.
Vì vậy, bây giờ chúng ta hãy tính toán giá trị của điều này, ở trạng thái này.
Và để làm được điều đó, chúng ta sẽ cần gamma.
Vì vậy, giả sử hệ số chiết khấu của chúng tôi là 0. 9 và hệ số chiết khấu sẽ có ý nghĩa khi chúng ta tính
toán điều này.
Vì vậy, từ đây, chỉ dựa vào trực giác và cơ sở của chúng ta, bởi vì chúng ta biết mê cung này hoạt động như thế nào, mê cung này hoạt động như
thế nào, chúng tôi biết rằng hành động tốt nhất có thể là đi về bên phải, bởi vì từ đây chúng ta đi
tới đây.
Vì vậy, điều đó có nghĩa là mức tối đa sẽ đạt được khi ở trạng thái này, bạn đi sang bên phải.
Và vì vậy, hãy xem điều gì sẽ xảy ra nếu chúng ta cắm nó vào đây.
Vì vậy, nếu bạn đi từ đây đến đây, bạn không nhận được bất kỳ phần thưởng sẽ vẫn là một con số không.
Nhưng sau đó bạn sẽ nhận được gamma.
Vì vậy, bạn nhận được 0. 9 lần giá trị của trạng thái mới, là một.
Vì vậy, trong trường hợp này, giá trị, toàn bộ kết quả của điều này là một lần 0, 0. 9 lần một bằng 0. 9.
Vì vậy, đó là giá trị của chúng tôi, 0. 9.
Vì vậy, nếu chúng tôi tính toán điều này ngay bây giờ, bạn sẽ thấy điều đó từ đây.
Chúng ta biết chỉ bằng cách nhìn vào mê cung, chúng ta biết bởi vì chúng ta là con người, bởi vì chúng ta hiểu cách thức hoạt
động của phương trình này.
Tất nhiên, một AI, đặc vụ sẽ phải thử nghiệm những thứ này, nhưng vì chúng ta giống như một quả cầu pha lê, chúng ta
có thể nhìn thấy toàn bộ mê cung này.
Chúng tôi có chế độ xem mắt của con chim ngay bây giờ.
Chúng tôi biết rằng các hành động tốt nhất là đi đến bên phải.
Vì vậy, nếu chúng tôi cắm tất cả vào đây, nó sẽ không có phần thưởng, cộng với 0. 9 lần giá trị ở trạng thái này, 0. 9 là
0. 81 và như vậy.
Vì vậy, ở đây nó sẽ là 0. 73 và ở đây sẽ là 0. 66.
Vì vậy, bạn có thể thấy rằng cách hoạt động của hệ số chiết khấu là nó chiết khấu giá trị của trạng thái khi bạn
ở xa hơn.
Vì vậy, nếu bạn đã quen thuộc với lý thuyết tài chính, thì nó tương tự như giá trị thời gian của tiền.
Như bạn sẽ nghĩ gì về nó theo cách này?
Bạn muốn có $ 5 hôm nay hay $ 5 trong mười ngày nữa kể từ bây giờ?
Chỉ cần ai đó cho bạn lựa chọn, tôi sẽ đưa bạn 5 đô la hôm nay hoặc tôi sẽ đưa cho bạn 5 đô la. 10 ngày kể từ bây giờ.
Tất nhiên bạn sẽ chọn $ 5 hôm nay.
Tại sao vậy?
Chà, bởi vì bạn có thể lấy 5 đô la đó và bạn có thể đầu tư chúng với một mức lãi suất nhất định,
rất giống với Gamma.
Và 5 đô la của bạn trong mười ngày sẽ thực sự tăng lên có thể là 5 đô la. 73 hoặc cái gì đó tương tự.
Và đó là cách giá trị thời gian của tiền hoạt động.
Và rất giống khái niệm ở đây.
Và điều quan trọng cần hiểu ở đây, đây chỉ là một lý thuyết, một cách mà việc học củng cố hoạt động.
Vì vậy, Richard Bellman đã đưa ra phương trình này và từ đó, bây giờ đó là cách chúng tôi sử dụng nó.
Vì vậy, bạn có thể tiếp tục và đưa ra một phương trình khác.
Nó không nhất thiết phải có cờ bạc.
Nó có thể có một số yếu tố khác, thậm chí có thể không có một yếu tố nào đó.
Nhưng cách tiếp cận này hoạt động và đó là lý do tại sao chúng tôi đang sử dụng nó.
Và đây là hình ảnh trực quan của nó.
Vì vậy, bạn càng ở xa, giá trị của hiện hữu ở trạng thái này càng ít đi.
Và về giá trị thời gian của tiền bạc, nếu tôi có thể nói với bạn, bạn muốn ở đâu hơn?
Bạn có muốn ở đây không?
Bạn sẽ nói rằng tôi muốn ở đây.
Vì vậy, chúng tôi đang tạo ra hiện tượng đó giống như giá trị thời gian của tiền.
Chúng tôi tạo ra nó một cách nhân tạo thông qua Gamma để khuyến khích các đại lý hoặc truyền cảm hứng cho các đại lý
tiến gần hơn đến đích.
Vì vậy, nếu một đại lý được hỏi, bạn muốn ở đây hay ở đây vì cách thức hoạt động của
phương trình này, nó sẽ chọn ở đây.
Không có gì hơn thế, không có gì ít hơn.
Đó không phải là thứ mà thế giới hoạt động theo cách này.
Không, đó chỉ là thứ mà chúng tôi đang tạo ra một cách giả tạo để các đại lý của chúng tôi
hiểu rằng đó là.
Điều này là tốt.
Tất cả đều tốt.
Nhưng cái này tốt hơn cái này.
Và cái này tốt hơn cái này.
Và cái này tốt hơn.
Và cái này nữa.
Và bằng cách đó bạn có thể nhìn thấy đại lý cũ có thể nhìn thấy hướng nào cần phải đi.
Vì vậy, có thể thấy rằng nếu tôi đang đứng ở đây, hãy nhớ rằng vấn đề mà chúng tôi đã gặp phải hay anh ấy đang đứng ở đây?
Vậy nếu bạn đang đứng ở đây, tôi sẽ đi xuống hay như thể tôi đứng ở đây để đi lên hay tôi đi xuống?
Chà, bây giờ không còn là vấn đề nữa, bởi vì bạn có thể thấy rằng thực sự tốt hơn nếu tăng
lên vì giá trị ở đây lớn hơn.
Và sau đó từ đây tốt hơn là nên đi, phải không, bởi vì giá trị ở đây lớn hơn ở đây.
Và sau đó từ đây tốt hơn là nên đi, phải không?
Bởi vì giá trị ở đây lớn hơn ở đây.
Hơn ở đây.
Và từ đây, anh ấy đã biết rằng mình cần phải đi, phải không.
Bởi vì anh ấy sẽ nhận được một phần thưởng ở đây.
Vì vậy, đó là cách toàn bộ phương pháp này hoạt động.
Bây giờ, chúng ta hãy xem nhanh phần còn lại của hình vuông.
Vậy làm thế nào để tính giá trị của hình vuông này?
Chà, đây là nơi mà mọi thứ trở nên phức tạp một chút.
Vì vậy, từ đây, bạn có thể không thực sự đi sang trái, phải không?
Bạn thực sự có thể đi đúng.
Vì vậy, chúng ta không thể cứ tiếp tục như vậy vì thực sự có thể sẽ ngắn hơn nếu đi theo con đường này.
Vì vậy, những gì chúng ta sẽ làm là chúng ta sẽ tính toán giá trị trong hình vuông này trước.
Và bởi vì rõ ràng từ đây, cách tốt nhất là đi lên một lần nữa.
Đó là bởi vì chúng tôi thấy rằng chúng tôi có quả cầu pha lê, chúng tôi có thể nhìn thấy mọi thứ và bạn sẽ
thấy sâu hơn trong phần này, bạn sẽ thấy cách tác nhân thực sự khám phá điều này, hiểu điều này theo cách của họ
thông qua thử nghiệm.
Nhưng đối với chúng tôi, chúng tôi biết rằng tốt hơn là nên đi theo hướng này.
Vì vậy, chúng ta sẽ tính toán giá trị ở đây, và đó là lý do tại sao chúng ta sẽ tính giá trị trong
hình vuông này trước tiên.
Vì vậy, ở đây chúng tôi có ba hành động khả thi.
Trong thực tế, chúng tôi thực sự có bốn.
Chúng ta cũng có thể đi sang trái.
Theo giả thuyết, đặc vụ có thể nhấn trái và va vào tường và ở lại đây.
Nhưng vì đơn giản, nó sẽ hiển thị những hành động mà chúng ta biết những gì chúng ta biết và có quả cầu pha lê, chúng
ta biết những hành động nào là hành động thực sự dẫn đến một điều gì đó khác với trạng thái cũ
một lần nữa.
Và vì vậy, từ đây, chúng ta lại biết rằng, chỉ vì chúng ta có một quả cầu pha lê, nên chúng ta biết rằng con đường
tốt nhất để đi là con đường này.
Tất nhiên, một đặc vụ sẽ phải thử nghiệm và tìm ra cách tốt nhất.
Và bạn sẽ thấy điều đó xảy ra như thế nào trong phần này.
Bạn sẽ thực sự thấy cách một tác nhân đi vòng quanh và cách bạn sẽ thử nghiệm khi cố gắng tìm những giá trị này.
Nhưng đối với chúng tôi, chúng tôi biết nó là như vậy.
Vì vậy, ở đây, nếu chúng ta cắm mọi thứ vào một, vì vậy đầu ra tối đa, tốt nhất là khi bạn đi lên và ở
đây là a10. 90.
Vì vậy, bạn cắm nó vào, bạn nhận được 0. 9.
Vì vậy, chúng tôi tính toán cái đó.
Hãy tính toán một cách tiếp cận này.
Đây là bạn có ba cách bạn có thể thực hiện bốn cách cho đại lý, nhưng đối với chúng tôi, chúng tôi có thể thấy đó chỉ
là ba cách.
Vì vậy, 0. 81 từ đây bạn có 0. 73.
Và nó thực sự gắn liền với giá trị này bởi vì sau đó nếu bạn giảm giá một lần nữa, bạn sẽ nhận được 0. 66 và ở đây bạn
có 0. 73 vì đây là con đường tối ưu.
Vậy là xong.
Đó là các giá trị, tất cả các trạng thái này.
Và bây giờ bạn có thể thấy rằng bởi vì chúng tôi đã tạo ra phương trình này, chúng tôi
đã tạo ra một cách tổng hợp toàn bộ khái niệm về việc bạn càng gần về đích, trạng thái đó càng có giá trị.
Không phải bởi vì chúng tôi đã tạo ra nó ngay bây giờ, nó khá rõ ràng cho tác nhân xem nó sẽ đi theo hướng nào.
Và chúng ta sẽ nói nhiều hơn về điều đó trong các bài hướng dẫn sắp tới.
Tôi hy vọng bạn thích phiên hôm nay và tôi biết rằng nó có vẻ hơi cơ bản ở giai đoạn này, nhưng khi chúng ta
xem qua phần này, chúng ta sẽ thêm một chút phức tạp vào nó.
Đồng thời, nếu bạn không thể chờ đợi, nếu bạn muốn nhảy vào đó, thì có một tờ giấy mà bạn có
thể nhìn vào, và đó là tờ giấy gốc của Richard Bellman.
Nó được gọi là Lý thuyết về lập trình động từ năm 1954, và bạn có thể tìm thấy nó tại liên kết này và bạn cứ việc.
Vì vậy, bạn có thể nhảy thẳng vào nó và đọc từ tác giả của Phương trình Bellman.
Nhưng hãy nhớ rằng đây là một bài báo khá nặng về mặt toán học.
Và trên ghi chú đó, tôi mong được gặp bạn lần sau.
Và cho đến khi đó, hãy tận hưởng.
TÔI.