Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Trong hướng dẫn hôm nay, chúng ta đang thực hiện bước đầu tiên của mình trong thế giới của a3c và ở bước đầu tiên,
chúng ta sẽ tìm hiểu chữ viết tắt này là gì.
Vì vậy, a3c là viết tắt của một thuật toán phê bình tác nhân lợi thế đồng bộ.
Đây là một thuật toán được phát triển tại Google DeepMind vào năm 2016 bởi một nhóm các nhà nghiên cứu và
nó là thuật toán tiên tiến nhất cho trí tuệ nhân tạo cho đến nay.
Bây giờ nó có nhiều sửa đổi, và chúng ta sẽ thảo luận thêm về điều đó trong khóa học, đặc biệt là trong các hướng
dẫn thực hành.
Nhưng tuy nhiên, thuật toán này thổi bay mọi thứ khác, bao gồm cả các mạng học tập phức hợp sâu ra khỏi mặt
nước, hoàn toàn ra khỏi mặt nước.
Và nó nhanh hơn.
Mất ít thời gian hơn cho việc đào tạo và đạt được kết quả tốt hơn.
Vì vậy, trong suốt phần này của khóa học, chúng tôi sẽ tham khảo và chúng tôi đã tham khảo,
nhưng chúng tôi sẽ tham khảo nhiều hơn một bài báo hoặc bài báo đã được xuất bản lần đầu tiên giới thiệu a3c.
Nó được gọi là Phương pháp không đồng bộ của Học tập củng cố sâu của Vladimir Munich và những người khác từ
Google DeepMind.
Vì vậy, bây giờ tôi sẽ cho bạn xem bài báo này để bạn có một giới thiệu về nó.
Vì vậy, đây là bài báo này.
Tôi muốn giới thiệu nó cho bạn để bạn có thể cảm nhận nó và sẵn sàng làm quen với nó một
chút.
Và tất nhiên, chúng tôi rất khuyến khích bạn nên đọc qua bài báo và hiểu chính xác những gì họ đang
nói về.
Và bạn sẽ thấy rằng trong suốt các hướng dẫn thực hành tại Lund sẽ đưa bạn qua một số phần
nhất định của bài báo, thông qua các đoạn hoặc phần nhất định có liên quan đến những gì chúng ta sẽ lập trình tại
thời điểm đó.
Và điều tôi muốn chỉ ra ở đây là, như bạn có thể thấy, rất nhiều nghiên cứu đã đi vào vấn đề này, nhưng và
cũng có rất nhiều tài liệu tham khảo, nhưng giống như một phần mà tôi thực sự thích ở phần cuối?
Cuối cùng, họ so sánh các thuật toán khác nhau, so sánh kết quả.
Và đây là những gì tôi muốn chỉ ra ở đây.
Vì vậy, hãy phóng to một chút.
Vì vậy, ở đây, như bạn có thể thấy ở đó, ngay cả trong Google DeepMind, họ đang đào tạo hoặc họ đang đánh giá các thuật toán
trên trò chơi giống như chúng tôi đang làm trong khóa học này.
Vì vậy, nguyên tắc hoàn toàn giống nhau bởi vì trò chơi là một môi trường mô phỏng hoặc một môi trường nhỏ, một môi trường hạn chế với những quy
tắc nhất định và họ muốn hiểu trí thông minh nhân tạo này hoạt động tốt như thế nào trong những
trò chơi đó.
Và ở đây chúng tôi có chính xác tất cả những trò chơi mà bạn có thể tìm thấy rất nhiều trong số đó bạn có thể tìm thấy ở phòng tập thể dục ngoài
trời và những trò chơi mà chúng tôi đã và đang làm việc.
Ví dụ, trong phần này, chúng tôi đang làm việc với Breakout.
Vì vậy, nó cũng ở đây.
Vì vậy, bạn có thể thấy rằng đối với Breakout, họ đã in đậm, họ đã đánh dấu thuật toán tốt nhất.
Vì vậy, DCN đó là thuật toán chúng tôi đang làm việc và sau đó là một số thuật toán khác.
Và ở đây bạn đã có a3c, a3c với bộ nhớ ngắn hạn dài hạn lshtm.
Vì vậy, đó là một trong những chúng tôi sẽ thực hiện trong phần này của khóa học.
Chúng tôi sẽ có a3c với LSHTM, làm cho nó thậm chí còn mạnh hơn.
Vì vậy, như bạn có thể thấy, đột phá là kết quả tốt nhất đạt được bởi hệ thống ba chìa khóa.
Vì vậy, đó là âm thanh số 66. 8 so với những người khác.
Và bạn cũng có thể thấy điều đó đối với hầu hết chúng.
Vì vậy, nếu bây giờ chúng ta thích xem một bức tranh lớn hơn, bạn có thể thấy rằng hầu hết những cái in đậm thực sự nằm trong
cột cuối cùng này.
Vì vậy, có, thực sự, có một số trò chơi mà các thuật toán khác đang hoạt động tốt hơn.
Nhưng như bạn có thể thấy, DCN thực sự không hoạt động tốt hơn trong bất kỳ trò chơi nào.
Nhưng bạn có thể thấy rằng có những thuật toán khác.
Các thuật toán khác đôi khi hoạt động tốt hơn, nhưng một nhóm hoạt động tốt nhất trong hầu hết các trường hợp.
Vì vậy, bạn có thể thấy rằng điều này là táo bạo.
Cái này in đậm, cái này, cái này, cái này, v.v.
Vì vậy, bạn có thể thấy rằng hệ thống a3c là một thuật toán thực sự mạnh mẽ.
Nó thực sự đi đầu trong trí tuệ nhân tạo và đó chính xác là những gì chúng tôi sẽ triển khai.
Vì vậy, phần rất thú vị phía trước.
Rất khuyến khích bạn xem qua bài báo này và cảm nhận về những gì chúng ta sẽ nói
đến.
Và sau đó trong suốt phần này và trong suốt đặc biệt là khía cạnh thực tế của sự vật, bộ ống hút thực tế, chúng ta
sẽ đi qua vấn đề này một cách chi tiết.
Chúng tôi thực sự sẽ làm việc với mã giả của họ ở đây, mã này có sẵn.
Và chúng tôi sẽ tinh tế và chúng tôi sẽ chỉ cho bạn cách thực hiện điều đó và cách chúng tôi sẽ làm việc với
điều đó.
Và trên ghi chú đó, tôi hy vọng bạn sẽ thích bài báo này và tôi mong được gặp bạn lần sau.
Và cho đến lúc đó, hãy tận hưởng tôi.