Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Trong câu chuyện hôm nay, chúng ta đang nói về điểm A cuối cùng trong a3c, chúng ta đang nói về lợi thế.
Vì vậy, nó là đó.
Chúng tôi đã nói về diễn viên, nhà phê bình và không đồng bộ trước đây và từ từ xây dựng theo cách của chúng tôi để những gì chúng ta
sẽ xem xét ngày hôm nay.
Và với lợi thế, chúng tôi sẽ kết hợp mọi thứ lại với nhau.
Vì vậy, đây là những gì chúng tôi có cho đến nay.
Chúng tôi có một mạng nơ-ron được chia sẻ giữa các tác nhân, tác nhân không đồng bộ, và sau đó chúng tôi có người chỉ
trích, cũng được chia sẻ giữa các tác nhân.
Vậy tất cả điều này diễn ra như thế nào và tại sao lời phê bình này lại được chia sẻ giữa các tác nhân?
Chúng ta hãy xem xét điều đó.
Vâng, hiểu điều này tốt hơn.
Chúng ta sẽ xem xét một ví dụ.
Ví dụ, chúng ta sẽ xem xét tác nhân này và xem điều gì sẽ xảy ra khi anh ta ở một trạng thái nhất định và anh ta
cần đưa ra quyết định hành động nào để chơi.
Vì vậy, đại lý này đang ở trong tình trạng.
Anh ta nhìn thấy hình ảnh này.
Và sau đó những gì sẽ xảy ra là thông tin này đi vào mạng nơ-ron, nó đi
qua lớp chập, sau đó đi vào lớp gộp, rồi đi vào lớp làm phẳng.
Và từ đó nó đi vào các lớp ẩn của mạng nơ-ron.
Và sau đó như một đầu ra, anh ta nhận được tất cả các giá trị chính sách này, các giá trị hoặc chính sách, và
anh ta cũng nhận được giá trị, giá trị phê bình.
Và vì vậy, như chúng ta đã biết, mạng nơ-ron, để hoạt động, chúng cần truyền lại một số lỗi hoặc tổn thất
nhất định thông qua mạng.
Vì vậy, theo cách này, để cập nhật trọng số, vậy trọng số hoặc vì vậy những tổn thất nào chúng ta sẽ giải
quyết ở đây?
Chà, chúng ta đã có hai lần thua lỗ.
Chúng tôi đã bị mất giá trị và mất chính sách.
Vì vậy, tổn thất giá trị được liên kết với tổn thất chính sách giá trị được liên kết với chính sách.
Và giá trị của sự mất mát, chúng tôi đã xử lý nó trước đây.
Chúng tôi biết rằng chúng tôi có phần thưởng và chúng tôi biết rằng chúng tôi có hệ số chiết khấu.
Vì vậy, về cơ bản, điều này rất giống với những gì chúng ta đã nói trong phần hướng dẫn học sâu.
Về cơ bản, mạng lưới dự đoán một giá trị V nhất định và đồng thời chúng ta có thể ước tính những gì nên dựa trên những gì
chúng ta biết về môi trường cho đến nay.
Chúng ta có thể ước tính giá trị V nên ở trạng thái nào và bằng cách so sánh hai giá trị, chúng ta có thể tính toán sự
mất giá trị và sau đó truyền lại mạng, cập nhật trọng số.
Vì vậy, đó là khá đơn giản.
Cái mới ở đây là chính sách thất thu.
Và như vậy mất mát chính sách này là gì và nó hoạt động như thế nào?
Chà, đây là phần mà toàn bộ tình huống này, nơi mà những lời chỉ trích được chia sẻ giữa các diễn
viên hoặc giữa các đặc vụ cuối cùng sẽ xuất hiện.
Vì vậy, để hiểu mất chính sách, chúng ta cần giới thiệu một giá trị được gọi là lợi thế, do đó tên của
phần này của hướng dẫn này và toàn bộ phần này của thuật toán.
Lợi thế và lợi thế được tính bằng Q của S và A trừ đi V của S.
Vì vậy, về cơ bản, giá trị Q mà bạn chọn để chơi của hành động mà bạn đã chọn để chơi ở trạng thái bạn đang
ở, chẳng hạn, trừ đi giá trị của trạng thái đó.
Vì vậy, đây là sự khác biệt giữa hai và đó được gọi là lợi thế.
Và lợi thế được sử dụng trong việc tính toán tổn thất của chính sách.
Bây giờ, chúng ta sẽ không đi sâu vào công thức tính toán tổn thất chính sách vì nó khá phức tạp.
Nó sử dụng entropy hoặc nó có thể sử dụng entropy không cần thiết.
Chúng tôi sẽ không mổ xẻ công thức đó, nhưng chúng tôi sẽ hiểu điều này ở mức độ trực quan.
Tại sao chúng ta lại làm việc này?
Tại sao chúng ta lại tính toán lợi thế này và nó sẽ giúp chúng ta như thế nào?
Vâng, chúng ta hãy nhìn vào điều này trong một giây.
Giá trị Q ở đây đến từ những gì mạng nơ-ron đã dự đoán cho tác nhân này.
Vì vậy, nó đã dự đoán trong hành động cụ thể này, trong trạng thái cụ thể này cho hành động mà nó có thể chơi.
Vì vậy, nó có những hành động này và nó có thể chọn một trong số chúng và nó có thể chơi tốt.
Trong khi giá trị V là giá trị được quy định bởi nhà phê bình.
Đó là giá trị mà chúng tôi có ở đây trong phần chia sẻ này.
Và đó là chìa khóa ở đây, rằng phần này được chia sẻ.
Vì vậy, nhà phê bình bởi vì đây là cách nhà phê bình phát huy tác dụng, bởi vì chúng tôi có một giá trị mà chúng tôi chọn hoặc hành động
mà chúng tôi chọn để chơi cho tác nhân này trong trạng thái đó.
Nhưng sau đó nhà phê bình có thể cho chúng ta biết giá trị đã biết của trạng thái đó là gì không?
Giá trị tổng thể đã biết cho toàn bộ nhóm tác nhân đang hoạt động cùng nhau này là bao nhiêu?
Bởi vì họ đang chia sẻ không chỉ bởi vì họ đang chia sẻ bản chất, mà bởi vì họ đang chia sẻ những lời chỉ trích.
Tất cả đều đóng góp vào điều này cho những giá trị này đang được tính toán cho các trang web khác nhau.
Vì vậy, toàn bộ thuật toán a3c cho biết, được, vì vậy nhà phê bình biết một giá trị V.
Giá trị Q mà bạn đang chọn tốt hơn bao nhiêu so với giá trị V đã biết?
Đó là những gì nó đang nói.
Vì vậy, về cơ bản đó là nó.
Vậy được rồi, tôi sẽ chọn một giá trị Q ở đây dựa trên chính sách của tôi, dựa trên việc chúng tôi sử dụng bất cứ
thứ gì như hàm max mềm hay chính sách tham lam của epsilon hoặc những thứ tương tự như vậy, và tất
nhiên sẽ có thăm dò cộng với khai thác được kết hợp trong đó, nhưng chúng tôi chọn một giá trị Q và bây
giờ câu hỏi là phần thêm là gì?
Đó là gì?
Lợi thế để có cơ hội chạy.
Lợi thế mà hành động đã chọn của bạn mang lại so với giá trị đã biết của trạng thái đó là gì?
Và đó là bản chất của lợi thế.
Và về cơ bản sau đó được sử dụng để tính toán tổn thất chính sách và sau đó tổn thất chính sách sau đó được truyền ngược trở lại
thông qua mạng trở lại.
Vì vậy, cả hai đều được truyền ngược lại qua mạng và trọng số được điều chỉnh để mạng thể hiện tốt
hơn giá trị của người chỉ trích.
Và đó cũng là phần trên cùng này.
Nhưng rồi đây cũng là một phần mấu chốt ở đây là giá trị, trọng số quay trở lại khi chính sách thua lỗ này được truyền bá
trở lại.
Các trọng lượng được điều chỉnh theo cách sao cho lợi thế này được phát huy tối đa.
Vì vậy, đó là khía cạnh trực quan của sự hiểu biết trực quan về nó, rằng chúng tôi đang trở lại
tuyên truyền sự mất mát chính sách này thông qua mạng lưới để giúp tối đa hóa lợi thế này.
Và điều đó có nghĩa là về cơ bản khi một tác nhân bắt gặp các hành động xấu, chẳng hạn như các hành động
mà giá trị Q nhỏ hơn giá trị đã biết cho trạng thái này.
Vì vậy, về cơ bản toàn bộ thuật toán biết rằng giá trị của trạng thái là một cái gì đó X và sau đó đột nhiên bạn
bắt gặp một hành động rất xấu và bạn đã làm một, bạn đã chọn một hành động xấu.
Và điều đó có nghĩa là gì đối với thuật toán a3c có nghĩa là, tại sao chúng ta lại làm điều gì đó
như vậy khi nó tồi tệ hơn những gì chúng ta đã biết về toàn bộ môi trường này và những gì chúng ta có thể
đã làm.
Vì vậy, chúng ta không nên làm nhiều hơn thế.
Và do đó trọng lượng được điều chỉnh theo một cách.
Vì vậy, điều đó xảy ra hiếm hơn để nó xảy ra ít hiếm hơn.
Vì vậy, đó là trường hợp ít xảy ra hơn mà chúng ta chọn hành động xấu đó.
Mặt khác, nếu bạn chọn một hành động rất tốt trong đó giá trị Q lớn hơn V hoặc lớn hơn nhiều
so với giá trị đã xảy ra trong quá trình lan truyền ngược lại sự mất mát chính sách
thông qua mạng, trọng số sẽ được cập nhật theo cách để củng cố điều đó , để khuyến khích, trấn an rằng sẽ xảy ra một lần nữa để các quả cân sẽ
được điều chỉnh theo hướng như vậy.
Vì vậy, thuật toán ba C sẽ nghĩ rằng, Ồ, thật tuyệt.
Lợi thế là rất cao ở đó.
Tôi nên làm nhiều việc đó hơn và do đó nó sẽ cập nhật trọng số theo cách mà hành động đó sẽ có nhiều khả năng
xảy ra hơn trong tương lai.
Vì vậy, đó là cách mạng từ từ, dần dần thích ứng và từ từ tự xây dựng thành một thứ
mà một mặt tính toán giá trị một cách chính xác và mặt khác, hoặc
càng chính xác càng tốt.
Và mặt khác, nó khuyến khích hoặc nó có những hành động có lợi thế cao.
Vậy là xong.
Đó là phần này.
Và bây giờ chúng ta hãy xem xét một cái khác chỉ để củng cố những gì chúng ta vừa thảo luận.
Vì vậy, chúng ta hãy nhìn vào một trong những hàng đầu.
Vì vậy, điều tương tự ở đây.
Các đại lý hàng đầu nhìn thấy một tình huống.
Một trạng thái đang ở trong một trạng thái và sau đó cần phải quyết định những gì cần làm.
Vì vậy, gửi thông tin này đến mạng.
Vì vậy, hình ảnh này đi vào mạng, đi đến lớp tổng hợp lớp phức hợp, lớp làm
phẳng, nó đi vào các lớp ẩn.
Và sau đó từ đây chúng ta nhận được một đầu ra, chúng ta nhận được các giá trị Q của chính sách, chúng ta nhận lại các giá trị,
điều tương tự.
Chúng tôi đã có hai tổn thất.
Chúng ta đã có sự mất giá trị ở đây, hãy đánh bóng sự mất mát mà ở đây là sự mất giá trị.
Chúng tôi đã biết cách tính toán của nó và chúng tôi đã thảo luận về vấn đề này trong nghiên cứu sâu và cũng vừa mới thảo
luận về vấn đề này.
Vì vậy, đó là cách giá trị được tính toán.
Và sau đó là sự mất mát về chính sách, một lần nữa, để tính toán điều mà chúng tôi sẽ không đưa vào diễn
đàn, nhưng ở mức độ trực quan, chúng tôi đang tính toán lợi thế là OC Vì vậy, chúng tôi đã thực hiện một hành động nhất định, chúng tôi đã chọn một
hành động nhất định dựa trên chính sách lựa chọn của chúng tôi, cho dù đó là mềm, tối đa hay epsilon, tham lam
hoặc bất kỳ chính sách lựa chọn nào khác mà chúng tôi đang sử dụng.
Và sau đó hành động chúng tôi đã thực hiện là gì?
Bây giờ chúng ta hãy so sánh nó với giá trị đã biết của trạng thái, giá trị này đến từ nhà phê bình được chia sẻ.
Vì vậy, nhà phê bình này giống như, nếu bạn nghĩ về nó, anh ta đang quan sát tất cả các tác nhân này
cùng một lúc.
Anh ấy đang nhìn cái này, nhìn cái này, cái này.
Tất cả họ đều đang đóng góp về phía nhà phê bình để khiến nhà phê bình
bắt nhịp nhanh hơn với môi trường, để đảm bảo rằng nhà phê bình là đại diện cho những
gì đang diễn ra trong môi trường thực tế để cân nhắc rằng đây là nơi dẫn đến mất giá
trị. để trọng số của mạng nơ-ron thực tế mà chúng phản ánh rất tốt, tình hình thực tế của sự vật trong môi trường để sau
đó dựa vào giá trị này rồi sử dụng tại đây.
Và về cơ bản, tất cả những tác nhân này, tất cả những tác nhân này đều đóng góp vào nhà phê bình này.
Nhưng đồng thời, thông qua sự mất mát giá trị này, nhưng đồng thời, nhà phê bình đang quan sát các quyết định
hoặc chính sách của các tác nhân này giống như việc quay lại nhìn lại giống như tôi đang cố gắng vẽ như một mũi
tên để chính sách, một mũi tên, một mũi tên.
Đó là nhìn lại họ, vào những quyết định mà họ đang đưa ra.
Nó chỉ trích những quyết định này thông qua lợi thế.
Nó nói rằng, được rồi, bạn đã đưa ra quyết định, bạn đã chọn điều này, bạn đã chọn hành động này.
Thật tuyệt.
Bây giờ chúng ta hãy tính toán lợi thế hoặc bất lợi của nhánh.
Đây là một bằng giá trị Q của quyết định tôi đã đưa ra hoặc lựa chọn tôi đã thực hiện.
Hành động mà tôi đã chọn thực hiện trừ đi giá trị đã biết đối với nhà phê bình.
Giá trị đã biết đối với nhà phê bình.
Vì vậy, hãy tính toán sự khác biệt.
Nếu đó là sự khác biệt thấp trong chính sách của bạn, thì khi lỗi chính sách của bạn được truyền lại thông qua mạng, cách
nó sẽ được điều chỉnh sẽ khuyến khích các trọng số được điều chỉnh theo cách
không xảy ra nữa, điều đó .
Giá trị Q hoặc cái đó.
Giá trị Q sẽ thấp hơn.
Vì vậy, do chính sách của chúng tôi chọn các hành động dựa trên giá trị Q, giá trị Q càng cao thì càng có
nhiều khả năng được chọn.
Vì vậy, nếu chúng tôi đang sử dụng như chính sách ARG tối đa, thì chúng tôi sẽ luôn chọn chính sách có giá trị cao nhất.
Như bạn còn nhớ, chúng tôi đã thảo luận về vấn đề này, sau đó chúng tôi sẽ luôn chọn cái có
giá trị cao nhất, nhưng chúng tôi thực sự đang sử dụng phương pháp tiếp cận theo xác suất, trong khi họ đang sử dụng chính sách soft
max hay epsilon?
Và sau đó, về cơ bản chúng tôi đang chọn nơi chúng tôi có thể chọn bất kỳ một trong số chúng.
Nhưng giá trị Q càng cao thì càng tốt.
Vì vậy, nếu chúng ta chọn một thứ gì đó và khi đó lợi thế rất thấp, thì hãy nói, mạng sẽ được cập
nhật theo cách mà lần sau giá trị Q này của thứ đó, hành động nhất định sẽ ít hơn và có thể
sẽ có thứ khác hơn.
Vì vậy, đó là cách mà điều đó được diễn ra.
Và mặt khác, nếu chúng ta chọn thứ gì đó mà lợi thế sẽ cao, thì điều này sẽ đi vào lỗ hổng
chính sách và sau đó mạng lưới sẽ được cập nhật.
Vì vậy, điều đó thường được quan sát giống như kịch bản.
Và về cơ bản, toàn bộ chính sách mất mát này giúp mạng thích nghi hoặc thay đổi theo cách mà chúng ta làm được nhiều
thứ tốt hơn, tốt, hành động tốt và những điều tốt và ít làm những điều xấu hơn.
Và đó là cách mà hai trận thua này phát huy tác dụng và đó là cách chúng lan truyền trở lại.
Vì vậy, hy vọng rằng điều đó sẽ sáng tỏ theo một cách rất trực quan.
Tất nhiên, chúng tôi đã không đi sâu vào các công thức vào toán học phức tạp đằng sau tất cả những điều này và
thích đi vào các chi tiết rất phức tạp.
Nhưng đồng thời, hy vọng theo một cách trực quan và trực quan, tất cả những điều này làm
sáng tỏ lý do tại sao chúng ta có tác nhân và nhà phê bình và cách họ tương tác với nhau, rằng bạn có những tác nhân này
đồng bộ.
Vì vậy, đây là mặt đồng bộ của mọi thứ sau đó.
Bạn biết đấy, đây là diễn viên của bạn và là nhà phê bình của bạn và đây là lợi thế của bạn và tất cả điều đó phát huy
tác dụng như thế nào.
Vì vậy, đây là những tác nhân đồng bộ.
Họ đang chơi trò chơi này hoặc khám phá môi trường và làm việc thông qua môi trường.
Và tất cả họ đều đang đóng góp cho một nhà phê bình, sau đó họ đang quan sát các chính
sách của họ, quan sát các tác nhân, đó được gọi là cái gì, và thông qua lợi thế.
Và do đó, dẫn đến mất chính sách này, sau đó là mất chính sách và mất
giá trị, chúng được tuyên truyền trở lại để điều chỉnh mạng lưới để một mặt thể hiện cách thức thực sự của mọi thứ trong môi
trường, mặt khác, để nâng cao hiệu suất của các diễn viên.
Vậy là xong.
Đó là bản tóm tắt nhanh về trực giác mà chúng ta đã thảo luận.
Và một lần nữa, hy vọng rằng tất cả điều này sẽ kết hợp lại với nhau ở mức độ trực quan.
Và tất nhiên, trong phần hướng dẫn thực hành, chúng ta sẽ nói nhiều hơn về cách hoạt động của tất cả những điều này.
Và Adlon sẽ hướng dẫn bạn về điều này, quá trình xây dựng điều này, nhưng có hình ảnh này trong tâm trí bạn
và loại này giống như một lộ trình của mọi thứ, cách nó kết hợp với nhau sẽ tốt, nên như vậy.
Tôi hy vọng nó sẽ rất hữu ích cho bạn để điều hướng tốt hơn khía cạnh thực tế của mọi thứ.
Và về cách đọc bổ sung cho ngày hôm nay, chúng tôi có hai yếu tố.
Vì vậy, người đầu tiên là có lợi thế.
Vì vậy, ở đây chúng tôi đã kiểm soát chiều cao, liên tục, sử dụng ước tính lợi thế tổng
quát của John Shulman.
Và đây là hình ảnh một hình cây gậy đang đứng dậy, giống như đang đứng lên.
Và tại đây, bạn có thể tìm thấy nhiều hơn nữa về lợi thế và lợi thế và bạn sẽ tìm ra các loại
lợi thế khác nhau.
Vì vậy, bạn đã có ước tính lợi thế chung, bạn đã có những lợi thế mà bạn thực sự sử dụng trong, trong các
công thức, trong tính toán.
Vì vậy, nếu bạn muốn tìm hiểu thêm về lợi thế và chính xác cách nó hoạt động,
các công thức đằng sau nó và một số phần tử hoặc công thức hàng đầu, hàng đầu và biết cách sử dụng lợi thế này mà chúng ta đã thảo luận, thì đây
là bài viết để đi đến.
Và một yếu tố khác nữa mà chúng tôi muốn nhắc bạn là blog, một loạt các bài đăng trên blog của Arthur Giuliani, mà
chúng tôi đã đề cập đến một vài lần.
Đây là phần tám, cụ thể là về a3c.
Vì vậy, ở đây bạn có thể nhận được một lời giải thích khác.
Vì vậy, với một chút toán học hơn về những gì đang xảy ra và có thể bạn có thể thu thập thêm một số điều từ
đây.
Chỉ cần ghi nhớ hai điều.
Trước hết, như mọi khi, blog này nằm trong TensorFlow, trong khi chúng tôi đang sử dụng PyTorch.
Vì vậy, hãy ghi nhớ điều đó.
Và điều thứ hai là cách chúng tôi cấu trúc phương pháp tiếp cận của mình là trước tiên chúng tôi nói về nhà phê bình tích cực,
sau đó chúng tôi nói về sự đồng bộ và sau đó chúng tôi nói về lợi thế.
Trong khi đó trong blog của mình, Arthur lần đầu tiên nói về một nhà phê bình đồng bộ và thực tế và lợi thế.
Vì vậy, hãy ghi nhớ điều đó.
Vì vậy, hy vọng rằng điều đó không làm bạn thất vọng.
Nhưng ngoài ra, tất nhiên, đó là một phần nội dung tuyệt vời và chúng tôi thực sự khuyên bạn nên xem nó
để biết thêm một số thông tin.
Vậy là xong.
Hy vọng rằng bạn sẽ thích hướng dẫn hôm nay và tôi mong được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng tôi.