Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Hôm nay chúng ta đang nói về sự khác biệt theo thời gian.
Bây giờ, đó là một hướng dẫn rất quan trọng bởi vì sự khác biệt về thời gian là trái tim và linh hồn của thuật toán
học Q.
Đây thực sự là cách mọi thứ chúng ta đã học được cho đến nay cùng phát huy tác dụng trong quá trình học tập.
Vì vậy, chúng ta hãy xem xét.
Hãy nhớ lần chúng ta nói về tìm kiếm xác định và không xác định và nhớ cách chúng ta đã nói
trong trường hợp này đó là khi người đại diện muốn đi lên, anh ta chắc chắn sẽ đi lên.
Và khi trong trường hợp này anh ấy muốn đi lên, thì có 10% khả năng anh ấy sẽ đi.
Chúng ta còn 10% khả năng anh ấy sẽ đi đúng và 80% khả năng anh ấy sẽ đi đúng.
Đi thẳng tới.
Tất nhiên, những con số này là tùy ý và có thể khác nhau.
Và toàn bộ khái niệm này là nó có thể khác nhau trong các vấn đề khác nhau.
Vì vậy, không cần phải quan tâm đến việc anh ta đang di chuyển theo cách nào, chỉ là có một số ngẫu
nhiên, một cái gì đó nằm ngoài tầm kiểm soát của tác nhân xảy ra bên trong môi trường này.
Và ảnh hưởng của nó, như bạn nhớ, là trong ví dụ xác định, rất dễ dàng để
tính toán các giá trị.
Chà, không nhất thiết phải luôn luôn rất dễ dàng.
Nhưng trong trường hợp của chúng tôi, chúng tôi chỉ có thể đơn giản tính toán chúng bằng cách sử dụng phương trình bellman.
Và chúng tôi đã có các giá trị chính xác.
Và sau đó, như bạn nhớ, tôi đã đề cập rất cẩn thận rằng những giá trị này cho ví dụ
tìm kiếm không xác định nằm ngoài đầu tôi.
Chúng không được tính toán.
Lần cuối cùng vào thời điểm đó, tôi đã nói rằng chúng tôi không phải là chúng tôi sẽ không tính toán chúng bởi vì nó rất phức tạp.
Nhưng máy tính có thể làm điều đó và chúng tôi chỉ làm theo những giá trị này mà chỉ là những giá trị mà tôi đã tạo ra.
Nhưng họ đã hoàn thành công việc.
Họ đã giúp chúng tôi hiểu rõ các khái niệm, bây giờ chúng tôi sẽ quay lại vấn đề đó một chút và hiểu chính xác
những gì đang diễn ra ở đây.
Tại sao việc tính toán các giá trị này trong ví dụ không xác định hoặc nói chung là khó hơn nhiều trong các bài
toán này, trong các môi trường này và tác nhân đi qua chúng?
Tại sao nó là tại sao nó có thể rất khó để tính toán các giá trị?
Vâng, khi bạn nghĩ về nó, bởi vì khi người đại diện di chuyển, chẳng hạn, từ đây sang phải, anh
ta không nhất thiết phải luôn luôn di chuyển theo cách đó.
Đôi khi có khả năng anh ấy sẽ đi đến một người thay vì đi thẳng.
Vì vậy, chúng ta hãy gọi đây là đông bắc, tây nam, như vậy, v.v. Thay vì đi về phía Tây, đôi khi đặc vụ có thể đi về
phía Nam.
Và ví dụ, từ đây, thay vì đi về phía bắc, đôi khi anh ta có thể đi về phía đông.
Rất xin lỗi.
Vì vậy, ở đây thay vì đi về phía đông, đôi khi anh ta có thể đi về phía nam.
Và ở đây thay vì đi về phía bắc, đôi khi anh ta có thể đi về phía đông hoặc phía tây.
Và ở đây, thay vì đi về phía bắc, đôi khi anh ta có thể đi về phía tây, đông hoặc tây, v.v.
Vì vậy và do đó như vậy.
Để tính giá trị này, bạn cần biết giá trị này là gì.
Nhưng điều thú vị là để tính được giá trị này, bạn cần biết giá trị này là bao
nhiêu.
Vì vậy, có rất nhiều đệ quy xảy ra ở đây và do đó bạn không thể chỉ xác định những giá trị này là gì.
Và trên hết, đệ quy này không xác định.
Đôi khi nó xảy ra theo cách này.
Đôi khi thay vì đi lên, anh ta sẽ đi đúng.
Đôi khi thay vì đi lên, anh ta sẽ đi sang trái.
Đôi khi chính là lúc anh ấy muốn đi lên, anh ấy sẽ đi lên.
Vì vậy, nó là tùy thuộc vào cơ hội.
Và vì vậy có thể nhiều lần đặc vụ sẽ đi qua con đường này và anh ta sẽ đi lên, đi lên, đi lên, đi lên.
Và anh ấy sẽ nghĩ rằng từ đây anh ấy luôn đi lên.
Và do đó, giá trị của trạng thái sẽ đi, sẽ tốt, và rồi đột nhiên anh ta
sẽ tụt xuống vực và giá trị này sẽ giảm xuống.
Và do đó, bạn có thể thấy làm thế nào có một số ngẫu nhiên hoặc ngẫu nhiên đối với toàn bộ phép tính của các giá trị này bởi vì
tất cả chúng đều được liên kết với nhau.
Hơn nữa, trên hết, bạn có được sự ngẫu nhiên đó trong môi trường vốn có vì đây là một dấu ấn của
quá trình quyết định.
Vì vậy, đó là nơi tất cả những điều này kết hợp lại với nhau và đó là nơi chúng tôi sẽ giới thiệu khái
niệm về sự khác biệt theo thời gian, điều này sẽ cho phép tác nhân tính toán các giá trị này.
Và ở đây chúng tôi đã xử lý các giá trị V, và kể từ đó chúng tôi đã chuyển sang các giá trị Q.
Vì vậy, đó là những gì chúng tôi sẽ làm việc với.
Chúng tôi sẽ xem xét.
Giá trị Q.
Vì vậy, như bạn nhớ lại, đây là phương trình Belmont của chúng tôi cho các giá trị Q.
Vì vậy, giá trị Q hoặc giá trị của việc thực hiện một hành động nhất định ở trạng thái A bằng với phần thưởng mà bạn nhận được
sau khi thực hiện hành động đó.
Vì vậy, ngay sau khi thực hiện hành động đó, cộng với việc bạn đạt được mức tối đa, bạn sẽ nhận được gamma của tổng tất cả các
giá trị có thể.
Vì vậy, bạn sẽ nhận được giá trị kỳ vọng của trạng thái mà bạn sẽ đạt được.
Vì vậy, như bạn nhớ lại, đó là công thức của chúng tôi cho phương trình xây dựng.
Và bây giờ, chỉ vì mục đích đơn giản, chúng ta sẽ viết lại nó theo cách cổ điển, theo cách mà chúng ta đã
từng nói về phương trình Belmont trước khi chúng ta biết về thành phố ngẫu nhiên.
Vì vậy, như bạn nhớ, đây là phương trình Belmont của chúng tôi theo nghĩa của một ví dụ tìm kiếm xác định, bởi vì ở đây
bạn không có giá trị mong đợi đó, bạn không có tổng của tất cả các xác suất.
Bạn chỉ có điều đó như thể nó được xác định ở đâu.
Bạn sẽ kết thúc trạng thái nào?
Và sau đó bạn đang lấy giá trị tối đa ở một trạng thái đó.
Và lý do chúng tôi viết lại nó đơn giản là lý do duy nhất là vì viết nó dễ hơn và chúng tôi
sẽ dễ dàng thuộc công thức hơn.
Vì vậy, chúng tôi sẽ chỉ nhớ rằng chúng tôi đã thay thế phần này bằng phần này và bạn cũng sẽ tìm thấy ký hiệu
này trong rất nhiều tài liệu, vì vậy bạn sẽ dễ dàng theo dõi các nguồn khác nếu bạn đang học
những thứ kia.
Nhưng hãy nhớ rằng trên thực tế, ý của chúng tôi là cách tiếp cận theo xác suất ở đây.
Thay vì ký hiệu này, chúng tôi sẽ dễ dàng hơn để vận hành điều này và hiểu những gì đang xảy ra và
giống như nhìn vào các phương trình để chúng không quá lộn xộn.
Nhưng một lần nữa, hãy nhớ rằng, trên thực tế, ý của chúng tôi là cách tiếp cận theo xác suất ở đây.
Và vì vậy chúng tôi thực sự gần hoàn thành.
Vì vậy, chúng ta hãy nhìn vào những gì đang xảy ra.
Vì vậy, đây là trạng thái trống của chúng ta về mê cung.
Chúng tôi không có bất kỳ giá trị gợi ý nào.
Hãy xem nào.
Hoặc chúng ta có thể, nhưng chúng ta hãy để trống cho đến bây giờ.
Hãy chỉ nhìn vào một trong các trạng thái.
Vì vậy, một trong những ô, đặc biệt là ô này.
Và ở đây, chúng ta có, ví dụ, đối với hành động đi lên, chúng ta có một giá trị Q mà chúng ta đã tính toán.
Vì vậy, không phải là chúng ta chưa có bất kỳ giá trị Q nào.
Chúng tôi có, chúng tôi làm, nhưng chúng tôi không minh họa bất cứ điều gì.
Chúng tôi chỉ để trống vì mục đích đơn giản.
Nhưng chúng ta có một thời đại đã quay quanh một thời gian.
Và giả sử, bằng cách nào đó, anh ta đã tính toán giá trị Q này là đi lên hoặc
về phía bắc từ trạng thái này, từ ô cụ thể này, và giá trị là Q As
và A.
Đặc vụ đang ngồi trong phòng giam này và bây giờ anh ta cần phải lựa chọn xem anh ta sẽ đi đâu?
Và anh ấy biết giá trị của điều này, của hành động đi lên phía bắc, và đó là Q, S và A và ở đây tôi đang nói trước đây và lý
do cho điều đó là vì anh ấy đã có trước khi anh ấy thực hiện hành động.
Anh ấy vẫn chưa thực hiện hành động nào.
Vì vậy, anh ấy vẫn ở trong phòng giam.
Và trước khi anh ta thực hiện hành động, giá trị ở đây là Q và S và bây giờ anh ta thực sự thực hiện hành động.
Vì vậy, hãy nói rằng anh ấy quyết định điều này là tốt nhất.
Anh ta thực hiện hành động và anh ta di chuyển đến phòng giam này.
Vâng, bây giờ những gì xảy ra bây giờ đến sau vì vậy sau khi anh ta hành động, chúng ta có thể đo giá trị này là bao
nhiêu?
Hãy chỉ tính toán giá trị này, giá trị phần thưởng cho việc thực hiện hành động đó, cộng với gamma lần, mức
tối đa của trạng thái mới này mà anh ta vừa đạt được là nguyên tố.
Và do đó, mức tối đa trên tất cả các hành động có thể có trong tương lai.
Và những gì chúng ta có ở đây là giá trị trước khi thực hiện hành động đó và sau đó chúng ta đã tính toán chỉ số này
sau đó, nhưng như bạn có thể nhớ lại từ công thức trước đó, vì vậy nếu chúng ta quay lại
rất nhanh từ công thức trước đó, những gì chúng ta vừa tính thực sự là giá trị.
Đó là cách tính Q của SNR.
Vì vậy, phần bên phải này, chúng tôi chỉ tính toán nó một cách riêng biệt, nhưng sau khi chúng tôi thực hiện hành động như vậy một lần nữa trước khi chúng tôi biết
Q của một S và một giá trị, một cái gì đó mà chúng tôi đã tính toán qua các lần lặp lại của chúng tôi trước
đây.
Vì vậy, một cái gì đó rất là một giá trị được lưu trữ trong bộ nhớ của chúng ta.
Vì vậy, giống như một số mà chúng ta biết.
Và bây giờ sau khi các hành động được thực hiện, chúng tôi biết anh ta thực sự nhận được phần thưởng nào, phần thưởng nào mà đặc
vụ thực sự nhận được và chúng tôi có thể tính toán giá trị mới này.
Vì vậy, về bản chất, chúng tôi đang tính toán lại giá trị này.
Nhưng bây giờ với thông tin mới, thông tin mới là phần thưởng mà chúng tôi nhận được và cộng với trạng thái
mà chúng tôi đã kết thúc và mức tối đa trong trạng thái đó, giá trị mới này là gì cho trạng thái cụ thể mà chúng tôi đang
xem xét.
Vậy giá trị của bản thể đó ở trạng thái đó là gì.
Vì vậy, về cơ bản Q của S và A nhưng được cung cấp thông tin mới và bây giờ sự khác biệt theo thời gian được định nghĩa là
TD của A và của hai trong số sự khác biệt giữa hai điều này.
Vì vậy, ở đây yếu tố đầu tiên là giá trị sau của bạn.
Vì vậy, loại giống như Q của S và A, nhưng tính nó sau đó và Q trước đó của một bài luận và A
mà bạn đã lưu trong bộ nhớ của mình.
Và câu hỏi đặt ra là chúng có khác nhau không?
Vì vậy, lý tưởng nhất là chúng phải giống nhau.
Lý tưởng nhất là điều này phải giống như điều này đơn giản vì đây là công thức để tính toán điều này.
Nhưng có điều đây không phải là thứ mà chúng tôi đã tính toán.
Đây là thứ mà chúng ta có được từ bằng chứng thực nghiệm, thứ mà chúng ta có được từ việc đi qua
mê cung nhiều lần và tính toán.
Vì vậy, đây là một cái gì đó chúng tôi đã đưa ra cho đến nay.
Nó không liên quan đến lần lặp hiện tại.
Đó là thứ mà chúng tôi đã nghĩ ra trước đây rất lâu, không lâu trước đây, nhưng trong một trong những
lần lặp lại trước đây của chúng tôi đi qua mê cung, trong khi đây là thứ chúng tôi đã tính toán ngay bây giờ và
không có gì đảm bảo rằng chúng sẽ giống nhau.
Bởi vì sự ngẫu nhiên tồn tại trong mê cung, bởi vì điều này có thể đã được tính toán và một số sự kiện ngẫu nhiên nhất định đã
được kích hoạt và điều này có thể được tính toán.
Các sự kiện ngẫu nhiên khác nhau đã được kích hoạt.
Và vì vậy bây giờ chúng ta hãy viết lại điều đó ở đây.
Hãy chuyển nó lên đó.
Vậy chúng ta sử dụng cái này như thế nào?
Câu hỏi là, được rồi, vì vậy chúng ta có sự khác biệt về thời gian này.
Làm thế nào để chúng ta sử dụng điều này và tại sao nó được gọi là sự khác biệt theo thời gian?
Chà, lý do nó được gọi là chênh lệch thời gian là vì về cơ bản bạn đang tính toán giống
nhau.
Bạn đang tính Q của S và vì vậy giá trị Q của hành động đó, bạn đang tính ở đây và bạn đang tính
ở đây.
Nhưng sự khác biệt là thời gian.
Đây là Q của bạn về SNA trước đây.
Đây là Q của S và A của bạn bây giờ là Q của A mới của bạn và câu hỏi là nó đã có sự khác biệt?
Có sự thay đổi giữa chúng trong thời gian không?
Và làm thế nào chúng ta có thể sử dụng điều này để có lợi cho mình nếu thực sự có sự thay đổi về thời gian?
Chà, một điều chúng ta có thể làm là chúng ta có thể nói, được rồi, bạn biết đấy, Q trong A của chúng ta không phải giá trị mới này
không bằng giá trị cũ.
Vì vậy, chúng ta sẽ loại bỏ cái cũ, chúng ta sẽ quên đi cái cũ và chúng ta sẽ chỉ sử dụng giá trị này như một giá trị mới.
Nhưng điều đó sẽ không thông minh.
Và lý do cho điều đó là trong môi trường của chúng ta, các sự kiện ngẫu nhiên đôi khi có thể xảy ra.
Và điều gì sẽ xảy ra nếu Q và A cũ của chúng ta là điều gì đó xảy ra liên tục như 80% thời gian và sau đó tương tự được thể hiện bằng
điều gì xảy ra 80% thời gian?
Và sau đó là cái mới này, chỉ là những gì đã xảy ra do ngẫu nhiên.
Trong trường hợp đó, chúng tôi sẽ loại bỏ một thứ chịu trách nhiệm cho phần lớn tình huống.
Và chúng tôi sẽ thay thế nó bằng một thứ chỉ xảy ra 10 hoặc 20% thời gian.
Đó không phải là cách tốt nhất để đi.
Và đó chính là lý do tại sao chúng tôi không muốn thay đổi hoàn toàn giá trị Q của mình.
Chúng tôi muốn sử dụng như thay đổi từng bước một, từng chút một.
Và đó là lý do tại sao chúng ta sẽ sử dụng sự khác biệt thời gian này theo một cách cụ thể.
Vì vậy, chúng tôi sẽ nói, đây là một công thức mà chúng tôi sẽ sử dụng Q của và A và chúng tôi sẽ cập nhật nó theo cách
như vậy.
Chúng tôi sẽ lấy giá trị cũ của Krsna và chúng tôi sẽ thêm thời gian alpha của sự khác biệt theo thời gian.
Vì vậy, Alpha sẽ là tỷ lệ học tập của chúng tôi.
Đó là một thông số mới mà chúng tôi đang giới thiệu.
Đó là cách học thuật toán nhanh chóng.
Vì vậy, về cơ bản chúng tôi đang lấy sự khác biệt này và bất kể nó là gì, chúng tôi sẽ thêm nó vào Thứ Tư của Q trước đó
của chúng tôi.
Bây giờ, công thức này có thể không có ý nghĩa gì hoặc chỉ cần nhìn qua, nó không có ý nghĩa gì vì bạn đã có
Q thứ tư ở đây và Q của S và A ở đây.
Nó giống nhau, nên có lẽ nên phủ định lẫn nhau.
Nhưng chúng tôi sẽ viết lại điều này theo một cách khác.
Vì vậy, tôi sẽ chỉ cho bạn một lần nữa.
Vì vậy, tôi chỉ thêm thời gian cho các công thức này.
Vì vậy, đây là Q T trừ đi một, trước đây là Q, T trừ đi một trước, đây là mới.
Cần có một vòng tròn ở đây, một vòng tròn ở đây cũng vậy.
Nhưng đừng bận tâm.
Và ở đây chúng ta có sự khác biệt theo thời gian alpha, sự khác biệt mới về thời gian hiện tại.
Vì vậy, bạn có thể thấy những gì chúng tôi đang làm.
Chúng ta đang nói, được rồi, hãy lấy Q hiện tại của chúng ta sẽ bằng Q trước đó của chúng ta cộng với bất kỳ
sự khác biệt theo thời gian nào mà chúng ta tìm thấy lần alpha, công thức ở đây là trái tim và linh hồn của thuật toán
học Q.
Đây là cách các giá trị Q được cập nhật và thật tốt khi chúng ta đã biết giá trị Q là gì, Gamma
là gì, R là gì và tất cả những thứ này là gì.
Và bây giờ tất cả những gì chúng ta cần thấy là bạn có giá trị Q trước đó.
Vâng, điều đó tốt.
Và sau đó điều có thể xảy ra là khi bạn thực hiện hành động khi bạn thực sự hành động, khi đặc vụ hành động, anh ta
sẽ biết anh ta sẽ nhận được phần thưởng và cuối cùng anh ta sẽ ở trong một trạng thái.
Và như vậy dựa vào đó anh ta có thể tính toán được.
Aha.
Được rồi, vậy giá trị Q của nước đi mà tôi đã thực hiện là gì.
Và bây giờ đó là phần này của phương trình.
Trừ đi giá trị Q cũ sẽ nhận được chênh lệch thời gian của bạn và bây giờ bạn cần lấy chênh lệch thời gian theo thời
gian alpha.
Và đó là cách bạn sẽ điều chỉnh giá trị Q của mình.
Đó là những gì bạn sẽ điều chỉnh giá trị Q của mình.
Và bây giờ chỉ để kết thúc điều này, đại loại như thế này là đủ để hiểu chuyện gì đang xảy ra,
nhưng chỉ để làm rõ mọi thứ hơn nữa hoặc có thể làm mọi thứ rối hơn nữa, những gì chúng ta sẽ làm là chúng ta sẽ thực hiện
sự khác biệt về thời gian này hoặc sự khác biệt về thời gian này ở đây.
Chúng tôi sẽ gắn nó vào công thức này.
Vì vậy, chúng tôi sẽ lấy tất cả phần này và gắn nó vào công thức này và kết thúc với một phương trình lớn.
Vì vậy, chúng ta bắt đầu.
Có phương trình của chúng tôi.
Vì vậy, đây là phương trình đầy đủ với sự khác biệt thời gian được viết ra hoàn toàn.
Và lý do tôi viết ra điều này là, trước hết, bạn có thể sẽ tìm thấy điều này trong các tài
liệu khác nếu bạn nghiên cứu nó.
Và điều thứ hai là nó làm cho một số thứ phức tạp hơn một chút.
Anh ấy có các công thức dài hơn, nhưng cũng làm cho một số điều rõ ràng hơn một chút.
Ví dụ, bạn có thể thấy ở đây vai trò của alpha.
Bạn có thể thấy nó tốt hơn bởi vì bạn hãy nhìn vào điều này ở đây.
Q T trừ một.
Và bạn đây.
Q T trừ một bằng dấu âm.
Vì vậy, nếu bạn cắm alpha bằng một, nếu bạn đặt một cái ở đây, thì điều này sẽ phủ định với điều này.
Vì vậy, chúng sẽ tiêu diệt lẫn nhau.
Và tất cả những gì bạn còn lại là phần này.
Và điều đó có nghĩa là chính xác tình huống mà chúng tôi đã nói, được rồi, vì vậy chúng tôi đã có một giá trị mới,
mà lẽ ra nó phải như vậy.
Hãy cập nhật giá trị Q của chúng ta với giá trị mới và quên đi những gì chúng ta đã có trước đó.
Và như chúng ta đã thảo luận, đó không phải là cách tiếp cận tốt nhất vì có những sự kiện ngẫu nhiên ở đây và chúng
tôi muốn cập nhật mọi thứ từng bước.
Và mặt khác, nếu bạn đặt Alpha bằng 0, điều xảy ra sau đó là bạn hoàn toàn quên mất toàn
bộ phần này và q t của bạn cho phần mới hoặc phần hiện tại sẽ luôn bằng phần
trước.
Vì vậy, bạn sẽ không học được bất cứ điều gì.
Và điều đó có nghĩa là bất cứ điều gì đang xảy ra trong mê cung đều không quan trọng bởi vì bạn đã quyết định giá trị
của mình từ lâu và bạn sẽ giữ nó.
Vì vậy, đó là lý do tại sao Alpha không nên bằng 0 hoặc không nên là một.
Nó phải ở đâu đó ở giữa.
Và nó sẽ cho phép bạn học từ từ, từng bước sẽ cho phép bạn, như của bạn hoặc người đại diện khi nó
đi qua mê cung, sẽ có được sự khác biệt theo thời gian này.
Và từ từ nhưng chắc chắn giá trị này sẽ được cập nhật và cập nhật.
Đã cập nhật.
Và điều gì sẽ xảy ra cuối cùng là đến một lúc nào đó, hy vọng thuật toán sẽ hội tụ.
Và điều đó có nghĩa là sự khác biệt theo thời gian này sẽ bắt đầu ngày càng trở nên gần hơn
với 0 và cuối cùng chỉ là, tốt, rất gần với 0 hoặc thậm chí là 0000.
Và điều đó có nghĩa là mỗi khi giá trị mới của bạn hoặc giá trị mới được tính toán của bạn, giá trị lẽ ra không phải là
giá trị này, mà giá trị giả định phải có sau khi bạn thực hiện
bước này sẽ chỉ bằng giá trị trước đó của bạn.
Và sau đó một và sau đó là số không.
Và điều đó có nghĩa là khi chênh lệch thời gian của bạn bằng 0, điều đó có nghĩa là thuật toán của bạn
đã hội tụ và không thực sự cần thiết phải tiếp tục cập nhật những gì đang xảy ra, không nhất thiết phải tiếp tục cập nhật các giá
trị Q của bạn.
Lưu ý ở đây là lần duy nhất bạn có lẽ là một trong những lần duy nhất bạn vẫn
muốn tiếp tục thực hiện việc cập nhật toàn bộ giá trị hàng đợi của mình nếu môi trường liên tục thay đổi, nếu không
phải nó chỉ có một số ngẫu nhiên ngẫu nhiên. các sự kiện trong đó, nhưng bản thân môi
trường đang sửa đổi, đang biến đổi, đang thay đổi theo thời gian.
Vì vậy, bạn liên tục cần phải học hỏi bởi vì bạn không thể tìm hiểu tất cả mọi thứ và đưa
ra chính sách tối ưu bởi vì chính sách tối ưu cũng luôn thay đổi theo môi trường.
Trong trường hợp đó, bạn sẽ cần tiếp tục tính toán chênh lệch thời gian và tính các giá trị Q.
Nhưng ngoài ra, điều đó giống như một sự phức tạp thêm.
Ngoài ra, đây là cách các giá trị Q được cập nhật.
Vì vậy, đây là công thức chính của thuật toán học Q, và đây giống như phiên bản mở rộng của thuật toán đó.
Và bây giờ tất cả sẽ kết hợp lại với nhau và có ý nghĩa tại sao chúng ta có phương trình bellman và
không chỉ những gì nó đại diện, các giá trị Q, mà còn cả cách tác nhân cập nhật các giá trị Q của nó và tìm ra chính xác những gì đang
diễn ra trong môi trường đó. có thể đưa ra chính sách tối ưu.
Vì vậy, tôi biết điều này là khá nhiều thứ để tiếp thu, nhưng hy vọng bạn thích hướng dẫn hôm nay và hy vọng
bạn có thể loại bỏ các khái niệm cơ bản và trực giác đằng sau các giá trị cốt lõi.
Và toàn bộ khái niệm về sự khác biệt theo thời gian là gì và tại sao nó lại quan trọng, tại sao nó lại giúp chúng tôi từ từ đào
tạo các đại lý của mình và khiến họ hiểu được môi trường của họ mà họ đang hoạt động.
Và nếu bạn muốn tìm hiểu thêm một chút về sự khác biệt theo thời gian, thì một bài báo rất phổ biến là học dự đoán
bằng các phương pháp của sự khác biệt theo thời gian.
Của Richard Sutton năm 1988.
Chúng tôi cũng đã có tài liệu tham khảo của Richard Sutton, nhưng đây là một tài liệu tham khảo khác.
Và thực ra anh ấy có một cuốn sách.
Vì vậy, nếu bạn hiểu phong cách viết và phong cách giao tiếp của anh ấy, thì hãy xem cuốn sách của anh ấy cũng giống
như một phiên bản mở rộng hơn của tất cả những điều này.
Tôi chưa đọc cuốn sách, nhưng đó là những gì tôi đang tưởng tượng.
Đồng thời, đây là liên kết đến bài báo và bạn có thể tìm hiểu thêm một chút về hoặc có thể
nhiều hơn về sự khác biệt thời gian ở đó.
Và tôi hy vọng bạn thích hướng dẫn hôm nay và mong được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng tôi.