Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Hôm nay chúng ta đang nói về phần đầu tiên của a3c, phần phê bình diễn viên.
Vì vậy, ở đây chúng ta có một thuật toán phê bình tác nhân lợi thế đồng bộ và chúng ta sẽ nói về tác
nhân được gạch chân đó.
Đó là nơi chúng ta sẽ bắt đầu.
Về mặt kỹ thuật, bạn có thể bắt đầu ở bất cứ đâu, nhưng sẽ có ý nghĩa hơn rất nhiều
nếu bắt đầu từ hành động đến phê bình, bởi vì theo cách đó chúng ta sẽ có một lời giải thích liên tiếp hoặc sự hiểu biết trực quan về những gì đang diễn ra sẽ
tạo điều kiện thuận lợi.
Nhưng nếu chúng ta bắt đầu một cách đáng ngạc nhiên ở cuối chữ viết tắt này.
Được rồi, cho đến nay trong khóa học này, chúng tôi đã đưa ra phương pháp học tích hợp sâu sắc, được minh họa ngay tại
đây.
Vì vậy, chúng tôi đã có máy tính nhìn thấy các pixel.
Vì vậy, hình ảnh và pixel thực tế, không chỉ là vector.
Vì vậy, nó không gian lận.
Nó thực sự nhìn thấy chính xác những gì con người nhìn thấy.
Nó nhìn thấy những con quái vật, nó nhìn thấy sức khỏe, nó nhìn thấy các thông số ở phía dưới, nó nhìn thấy hành lang, nó nhìn
thấy súng.
Nó nhìn thấy chính xác những thứ giống như con người sẽ thấy khi chơi trò chơi này.
Sau đó, hình ảnh đó được chuyển qua một lớp phức hợp, sau đó nó được chuyển qua một lớp tổng
hợp và nó được làm phẳng và đi vào mạng nơ-ron.
Và sau đó ở đầu ra, chúng tôi có các hành động, như bạn nhớ, chúng tôi có các giá trị dấu hiệu đó.
Sau đó, chúng tôi áp dụng chính sách lựa chọn hành động cho họ.
Vì vậy, ví dụ: chúng tôi áp dụng giá thầu tối đa mềm và chúng tôi tìm ra hành động mà chúng tôi muốn thực hiện.
Và do đó, có một số khám phá cộng với khai thác đang diễn ra ở đó, sự kết hợp của cả hai.
Vì vậy, đó là cách học tập tích hợp sâu đã hoạt động.
Nhưng bây giờ hãy xem chúng ta sẽ làm gì với điều này.
Vì vậy, vì mục đích đơn giản, để chúng ta thao tác với điều này dễ dàng hơn
vì chúng ta sẽ điều chỉnh hình ảnh này và di chuyển nó xung quanh, chúng ta sẽ thay thế các hình tròn bằng hình vuông bằng
những hình này bằng những hình hộp chữ nhật này.
Và chúng tôi cũng sẽ loại bỏ những ranh giới đó ở giữa.
Chỉ cần thay đổi chúng thành mũi tên.
Vì vậy, điều này không thay đổi bản chất.
Đây chỉ là đại diện trên biểu đồ này.
Điều này vẫn còn thậm chí sự biểu diễn này vẫn còn sâu sắc, phức tạp.
Q Học sẽ dễ dàng hơn để chúng tôi sửa đổi nó và hiển thị chính xác ba chìa khóa là gì.
Vì vậy, đó chỉ là cách chúng tôi sẽ đại diện cho mọi thứ từ đây và những gì một phím ba làm hoặc phần cụ thể
này.
Vì vậy, chúng tôi đang bắt đầu nhớ rằng, chúng tôi đang bắt đầu giống như từng bước một.
Chúng tôi đang bắt đầu với phần phê bình tích cực.
Vì vậy, chúng ta sẽ xem làm thế nào chúng ta đi từ việc học tích hợp sâu sắc đến ba bước quan trọng từng bước và bước đầu
tiên.
Chúng tôi sẽ giới thiệu phần phê bình tích cực này ngay tại đây.
Vì vậy, chúng ta sẽ nói về điều đó.
Vì vậy, điều đầu tiên xảy ra là bit cuối cùng này, đầu ra thực sự là chúng tôi sẽ vẽ lại nó như thế
này.
Vì vậy, nó chính xác cùng một đầu ra, chính xác các giá trị cue giống nhau hoặc chính xác các hành động giống nhau.
Vì vậy, nếu anh ta nếu bạn có tám hành động khả thi, bạn vẫn có tám hành động có thể.
Chúng tôi sẽ đặt chúng ở trên cùng để chúng chiếm ít không gian hơn.
Vì vậy, không có gì cho đến nay, không có gì thay đổi.
Cho đến nay điều này và điều này hoàn toàn giống nhau.
Nhưng bây giờ đây là nơi mà bộ phận phê bình tích cực hoạt động.
Chúng ta sẽ có đầu ra thứ hai mà chúng ta sẽ có.
Vì vậy, đầu tiên là một tập hợp các đầu ra.
Và ở đây chúng ta sẽ có một đầu ra riêng lẻ.
Vì vậy, về mặt kỹ thuật, chúng ta sẽ sử dụng mạng nơ-ron của chúng ta?
Vì vậy, một lần và bây giờ hình ảnh và mọi thứ như giá trị đi qua mạng từ trái sang phải ở
đây.
Họ không chỉ đưa ra một bộ giá trị.
Họ thực sự chia ra hai bộ.
Và vì vậy tập hợp hàng đầu, chúng ta đã biết nó là gì.
Đó là những hành động khả thi.
Nhưng ở đây chúng ta thực sự sẽ có một giá trị bổ sung khác.
Vì vậy, chúng ta hãy xem xét điều đó.
Giá trị đó như thế nào?
Vì vậy, chúng ta bắt đầu.
Đó là hàng đầu.
Vì vậy, chúng tôi chỉ muốn giảm kích thước của hình minh họa này.
Đầu ra trên cùng là các giá trị Q, như chúng ta đã thảo luận trước đây cho các hành động.
Vì vậy, chúng giống nhau.
Mọi thứ đều giống nhau.
Nhưng sau đó bây giờ phần dưới cùng này.
Ồ, và phần trên cùng thực sự được gọi là diễn viên.
Chúng tôi sẽ đặt tên cho nó.
Đó là diễn viên bởi vì đó là phần mà tác nhân chọn những gì họ muốn làm để giống như họ
đang diễn.
Nó như thể nó đang biểu diễn trên sân khấu và nó sẽ có ý nghĩa hơn khi chúng tôi cũng có tên thứ hai
trên màn hình.
Và sau đó đầu ra thứ hai giống như một giá trị và đó là V của SE, vì vậy đó là giá trị của
trạng thái.
Vì vậy, nếu Q của S là Q của S và A là giá trị Q của một hành động nhất định.
Và như bạn có thể thấy, đó là lý do tại sao có hành động một hành động, hai hành động ba cho đến hành động sáu hoặc tuy
nhiên nhiều hành động có thể có ở trạng thái đó.
Vì vậy, trong một trạng thái nhất định.
SE Giá trị Q của hành động là gì?
Một Hành động để hành động một, hành động hai, v.v.
Sau đó, ở đây chúng tôi cũng dự đoán chúng tôi cũng đang sử dụng mạng nơ-ron để dự đoán đâu là giá trị của trạng thái mà
chúng tôi thực sự đang ở.
Và phần này được gọi là phần phê bình.
Và đó là trực quan hoặc thậm chí không trực quan đầy đủ.
Điều đó giống như sự khởi đầu của trực giác đằng sau nhà phê bình diễn viên rằng bây giờ có hai đầu ra từ mạng nơ-ron,
không chỉ một, mà trước đây chúng ta chỉ có một đầu ra đó, mà bây giờ chúng ta gọi là diễn viên.
Nhưng bây giờ chúng ta có hai đầu ra, diễn viên và nhà phê bình.
Và sẽ có một.
Động giữa chúng, mà chúng ta sẽ khám phá thêm.
Nhưng hiện tại, điều quan trọng là phải hiểu rằng chúng tôi không chỉ dự đoán các giá trị Q của các hành động mà tác nhân
có thể thực hiện từ trạng thái nhất định này.
Nhưng nó cũng dự đoán giá trị ở trạng thái hiện tại này, sử dụng cùng một mạng nơ-ron đó.
Vì vậy, đó là cốt lõi của bước đầu tiên trở thành nhà phê bình thực tế.
Và bây giờ chúng ta sẽ cần nói về sự đồng bộ, điều mà chúng ta sẽ thực hiện trong hướng dẫn
tiếp theo để hiểu chính xác điều gì đang xảy ra giữa lý thuyết hành động.
Và điều cuối cùng cho ngày hôm nay là tất cả các giá trị quan trọng này, như chúng ta biết, đó còn được gọi là chính sách.
Vì vậy, trong một số tài liệu và một số blog và một số cuộc thảo luận bạn có thể tìm thấy ở nhà phê bình tích
cực, bạn có thể thấy tác giả nói về các giá trị Q ở khía cạnh này của tác nhân.
Trong một số tài liệu và các bài đăng trên blog và các cuộc thảo luận khác, bạn sẽ thấy tác giả nói về chính
sách này.
Vì vậy, và thường thì nó sử dụng người dùng như một chữ cái Hy Lạp P để đại diện cho chính sách hoặc bạn có thể chỉ
nói chính sách của nhà nước.
Vì vậy, đây hoàn toàn là chính sách của văn phòng nhà nước bởi vì như chúng ta nhớ, chính sách là nếu bạn tập
hợp tất cả các hành động lại với nhau, các hành động có thể xảy ra và sau đó là quyết định hành động nào cần thực hiện.
Vì vậy, những điều này sẽ giống như xác suất của mỗi hành động.
Vì vậy, đó là chính sách.
Vì vậy, đừng vội bỏ qua nếu bạn nhìn thấy cái này hay cái kia, về cơ bản chúng có nghĩa giống nhau.
Vì vậy, một mặt ở đây bạn đã có chính sách hoặc các giá trị Q, mặt khác,
bạn có giá trị thực của trạng thái và chúng được dự đoán từ mạng nơ-ron.
Vì vậy, đó là bước khởi đầu của nhà phê bình tích cực.
Chúng ta sẽ tiếp tục vấn đề này trong hướng dẫn tiếp theo khi chúng ta nói về đồng bộ và tôi mong được gặp
bạn ở đó.
Cho đến lúc đó hãy tận hưởng tôi.