Xin chào và chào mừng bạn đến với mô-đun thứ ba của diễn ngôn, Đạo luật không đồng bộ A3 C đối với tác nhân phê bình.
Và vì vậy, bây giờ tôi thực sự có thể nói chào mừng bạn đến với công nghệ máy học hiện đại.
Vào thời điểm đó, tôi đang nói điều này vì có thể một số bạn sẽ tham gia khóa học sau một hoặc hai năm.
Nhưng vào thời điểm tôi đang nói điều này vào năm 2017, trong khi bạn chuẩn bị làm việc trên một trong những mô hình mạnh mẽ
nhất trong trí tuệ nhân tạo, nhưng còn nhiều điều khác không phải là điều đặc biệt duy nhất về mô-đun này.
Không chỉ chúng tôi sắp làm việc với mô hình AI mạnh mẽ nhất, mà chúng tôi sẽ triển khai phiên bản mạnh
mẽ nhất của thuật toán này, phiên bản được tối ưu hóa nhất, phiên bản được triển khai của mô hình a3c, bởi vì bạn có thể tưởng tượng
rằng có trái tim của ba thuật toán C, nhưng sau đó có rất nhiều công cụ mà chúng tôi có
thể sử dụng để tối ưu hóa toàn bộ mô hình.
Và vì vậy, bạn không chỉ nắm được trung tâm của thuật toán mà còn phải triển khai tất cả các công
cụ này xung quanh nó để làm cho mô hình trở nên siêu mạnh mẽ.
Và tại sao tôi muốn làm điều đó?
Đó là vì hai lý do.
Lý do đầu tiên là chúng tôi sắp kết thúc khóa học này.
Khóa học này là khóa học cấp cao nhất giữa ba khóa học ML, DL và AI và Z.
Vì vậy, bây giờ tôi nghĩ bạn đã sẵn sàng để đưa nó lên cấp độ tiếp theo.
Và lý do thứ hai là việc giải quyết breakout thực sự rất khó.
Hãy nhớ trong video quảng cáo, chúng tôi muốn đặt Breakout làm mô-đun đầu tiên vì chúng tôi nghĩ rằng đây sẽ là thử
thách dễ dàng nhất, nhưng hoàn toàn không phải vậy.
Đó thực sự là thử thách khó khăn nhất.
Một cách dễ dàng để giải thích điều này là tốt, trong thời kỳ diệt vong, những con quái vật rất lớn và do đó dễ bị phát hiện hơn
và do đó dễ dàng giết hoặc tránh hơn.
Nhưng đột phá là chúng ta có quả bóng nhỏ này mà AI cũng phải phát hiện, vì AI vẫn sẽ có mắt
ở đây.
Chúng tôi vẫn sẽ thực hiện học tập củng cố sâu.
Vì vậy, nó thực sự siêu thách thức và đó là lý do tại sao chúng tôi không thực sự có lựa chọn để triển
khai phiên bản mạnh nhất của ba C.
Bây giờ, tại sao tôi lại nói đây là phiên bản mạnh mẽ nhất?
Đó là vì một lý do cụ thể.
Nó không giống như tôi đang nói rằng tôi sẽ triển khai phiên bản mạnh mẽ nhất của ba chữ C bây giờ nó không phải
là điều này.
Lý do tôi nói điều này là phiên bản chúng tôi sắp triển khai và đây là điều
rất đặc biệt mà chúng tôi sẽ thực hiện, thực sự là phiên bản C đã được thực hiện bởi ai đó nhưng được sửa
chữa bởi một trong những người có ảnh hưởng nhất trong học máy ngày nay, người tình cờ là người tạo ra PyTorch.
Tên anh ta là Adam Packer.
Vì vậy, bây giờ những gì chúng ta sẽ làm, chúng ta sẽ truy cập GitHub trên trang chính
của PyTorch, và nếu bạn cuộn xuống, xuống cuối, xuống dưới cùng, bạn sẽ thấy nhóm, nhóm của PyTorch người sáng tạo và
người đóng góp.
Và bạn có thể thấy ở đây rằng PyTorch hiện đang được duy trì bởi Adam Pascal.
Đó là người mà chúng ta thực sự nên biết ơn vì có rất ít phiên bản của bộ ba
khóa hoạt động tốt cho Breakout.
Và anh ấy đã sửa một trong những mã cho RC để làm cho breakout hoạt động hoàn hảo.
Vì vậy, Adam Pascal không chỉ duy trì PyTorch mà còn là một trong những người sáng tạo ra Pytorch.
Và như tôi đã nói hôm nay, anh ấy nằm trong top 10 người có ảnh hưởng nhất trong lĩnh vực máy học.
Vì vậy, chúng tôi có thể yên tâm rằng phiên bản mà chúng tôi sắp triển khai có lẽ là phiên bản mạnh nhất trong ba
phiên bản C hiện nay.
Và vì vậy thực hiện này là gì?
Chà, ban đầu nó đến từ một nhà phát triển tên là Ilia Stoichkov.
Và như bạn có thể thấy, anh ấy đã triển khai PyTorch cho a3c, vốn ban đầu không hoạt động tốt cho
breakout, nhưng sau đó ai đó đã thực hiện yêu cầu kéo.
Nếu chúng ta đi đến pull request ở đây, chúng ta có thể thấy rõ ràng rằng ở đó, chúng ta có cái này, một giải
pháp rõ ràng hơn cho vấn đề tốt nghiệp.
Và đoán xem yêu cầu hồ bơi này được thực hiện từ ai?
Nó được tạo ra từ Adam Pascal, người tạo ra PyTorch.
Và điều đó đã giải quyết được vấn đề khiến HRC hoạt động rất tốt trên Breakout mà không phải chờ ngày này qua
ngày khác.
Và do đó, nếu chúng ta quay lại quá trình triển khai này, chúng ta có thể thấy bốn người đóng góp cho việc triển khai
mạnh mẽ nhất này và đây là những người đóng góp.
Vì vậy, cảm ơn bạn rất nhiều cho tất cả họ.
Và chúng ta có thể nói lời cảm ơn to lớn và đặc biệt tới Adam Paschke vì đã khắc phục sự cố chia sẻ gradient.
Anh ấy bắt đầu bằng cách thực hiện một fork, là một nhánh con của mã, và sau đó anh ấy thực hiện một
yêu cầu kéo tới nhà phát triển để khắc phục sự cố này trong mã, đây là một vấn đề chia sẻ tuyệt vời và đó là cách anh ấy
trở thành một người đóng góp lớn. của việc triển khai này, làm cho toàn bộ hoạt động hoàn toàn tốt.
Và tin tôi đi, tôi đã thử nghiệm rất nhiều trên mô hình ba C.
Tôi thực sự đã thực hiện năm mô hình.
Tôi thậm chí còn tuyệt vọng rằng nó không hoạt động tốt, vì vậy tôi đã thực hiện đột phá của riêng mình trên đường cong để
có một quả bóng lớn hơn và do đó, xử lý trước hình ảnh dễ dàng hơn.
Sau đó, tôi quay lại mở API và tự triển khai HRC, nhưng điều đó mất nhiều thời gian để chạy và đào tạo
trên một máy tính khá mạnh.
Vì vậy, tôi muốn tìm một cách tốt hơn và đó là cách của nó.
Sự triển khai rất mạnh mẽ này của mô hình a3c.
Trong đó một trong những người đóng góp chính là người tạo ra PyTorch.
Vì vậy, những gì chúng ta sẽ làm trong mô-đun này, tôi nghĩ bạn đã sẵn sàng cho điều đó, là triển khai
mã cấp cao nhất này để triển khai RC.
Vì vậy, về cơ bản chúng tôi sẽ triển khai lại tất cả các tệp này và chúng tôi chủ yếu sẽ nhấn mạnh vào
các tệp có liên quan trực tiếp đến RC cho tất cả các phần liên quan trực tiếp đến RC.
Chúng tôi sẽ triển khai từng dòng mã cho những người khác.
Tôi sẽ chỉ giải thích mã.
Vì vậy, chúng ta sẽ có thể giải quyết vấn đề này mà không thấy nó quá áp đảo.
Vậy là xong.
Một mô-đun khá đặc biệt.
Chúng tôi không chỉ làm việc trên một mô hình hiện đại của AI, mà còn tại thời điểm tôi đang phát biểu, tôi
rất tự tin rằng chúng tôi đang triển khai phiên bản RC mạnh mẽ nhất.
Vì vậy, chúng ta hãy làm điều đó.
Hãy quay lại Python và bắt đầu tất cả những điều này.
Trước khi bắt đầu, chúng ta sẽ làm điều đơn giản nhất mà chúng ta sẽ làm trong mô-đun này, thiết
lập thư mục thư mục làm việc.
Vì vậy, chúng ta hãy đi đến thư mục mẫu A-Z của chúng tôi.
Mô-đun ba, hãy tìm ra mô-đun thách thức nhất và chúng ta bắt đầu.
Đó là tất cả các tệp của chúng tôi.
Vì vậy, hãy xem những cái nào liên quan trực tiếp đến a3c và vì vậy hãy xem cái nào chúng tôi sẽ triển khai từng
dòng một và tập trung sức lực của chúng tôi.
Vì vậy, thực tế có hai tệp.
Cái đầu tiên được mô hình hóa tại PI, chính là cái này.
Vì vậy, chúng tôi sẽ thực hiện lại từng dòng một vì đó là điều quan trọng nhất.
Đó là nơi chúng tôi tạo ra ba bộ não quan trọng.
Và điều quan trọng nhất cần hiểu ở đây là chúng ta sẽ có một mô hình được chia sẻ sẽ
có cùng cập nhật về trọng số cho người diễn và người phê bình.
Vì vậy, đó là một phần của phiên bản đặc biệt của RC, mô hình được chia sẻ với bản cập nhật được chia sẻ về
trọng lượng.
Và sau đó, tệp quan trọng nhất khác mà chúng tôi sẽ thực hiện từng dòng một là đoàn tàu mà PI đã rơi, tất
nhiên là ngay sau khi chúng tôi tạo ra bộ não của RC.
Chà, chúng ta phải đào tạo họ và chúng ta đào tạo họ trong chuyến tàu này, tệp PI đó.
Vì vậy, đây là một đoạn mã khá dài, nhưng đây là phần chứa đựng trái tim của mô hình a3c, sẽ
có hai tổn thất để giảm tổn thất giá trị, đó là tổn thất liên quan đến dự đoán của nhà phê bình
và tổn thất chính sách, đó là cuối cùng liên quan đến các dự đoán của diễn viên.
Vì vậy, điều này là khá mới.
Nhưng bạn biết đấy, đó là bởi vì trong a3t, về cơ bản chúng ta đang làm việc với một số tác nhân, mỗi tác nhân có
bản sao môi trường của riêng mình.
Nhưng chúng ta cũng có lớp được kết nối đầy đủ này xuất ra giá trị của hàm V và về cơ bản đó là
tầm nhìn chung về những gì đang xảy ra trong trò chơi.
Vì vậy, điều này sẽ khá thách thức.
Vì vậy, hãy đảm bảo ở trạng thái tốt và cho phần còn lại của các tệp.
Vâng, tôi sẽ chỉ giải thích chúng chi tiết, nhưng không phải bằng cách dành quá nhiều thời gian cho chúng.
Tin tôi đi, bạn muốn giữ sức cho việc này.
Điều này sẽ được rất nhiều.
Vì vậy, các tệp này chống lại PI, đó là một sự cải thiện của môi trường phòng tập thể dục nhờ vào vũ trụ.
Vì vậy, về cơ bản tệp đó chỉ cải thiện môi trường phòng tập thể dục với vũ trụ và
cho phép xử lý trước tối ưu hình ảnh và cũng để bình thường hóa tất cả các giá trị của môi
trường, như cường độ màu hoặc cường độ phần thưởng.
Vâng, tất cả các giá trị của môi trường.
Tệp này chuẩn hóa tất cả các giá trị này và cũng đảm bảo rằng chúng tôi có quá trình xử lý trước hình ảnh tối ưu.
Và như bạn có thể thấy, nó được lấy từ trang openai GitHub nơi đại lý cửa hàng vũ trụ.
Vì vậy, chúng tôi sẽ không mất quá nhiều thời gian cho việc này.
Chúng tôi thực sự sẽ dừng lại ở đây.
Bạn chỉ cần hiểu rằng chúng tôi cải thiện môi trường phòng tập thể dục với vũ trụ để có được quá trình xử lý trước
hình ảnh tối ưu.
Phần còn lại không quá quan trọng, đặc biệt là đối với ba C.
Sau đó, chúng ta có API chính, là mã sẽ thực thi toàn bộ.
Vì vậy, bạn biết mã sẽ chạy toàn bộ nội dung, tạo ra bộ não, đào tạo bộ não và
xuất video.
Và đó là bởi vì nó sẽ chạy tất cả các mã này ở đây.
Vì vậy, mô hình chúng tôi đã thấy nó là gì sau đó.
Số pi tối ưu của tôi là một trình tối ưu hóa đặc biệt.
Về cơ bản đó là trình tối ưu hóa nguyên tử, nhưng hãy điều chỉnh nó cho phù hợp với mô hình được chia sẻ này mà chúng tôi đang triển khai.
Vì vậy, chúng tôi sẽ giải thích tất cả mã này trong một hướng dẫn.
Sau đó, chúng tôi đã kiểm tra số pi.
Đó thực sự là cái cuối cùng.
Vì vậy, kiểm tra số pi về cơ bản là tệp sẽ triển khai tác nhân kiểm tra.
Vì vậy, đó là một tác nhân sẽ chơi bùng phát mà không cần cập nhật mô hình.
Vì vậy, điều đó hoàn toàn độc lập với việc đào tạo.
Và chúng tôi cũng sẽ giải thích chi tiết về mã này.
Bên cạnh đó, tin tốt là bạn sẽ có hai mã một mã, đây sẽ là mã chúng tôi thực hiện trong các bài hướng
dẫn nhưng không có bất kỳ bình luận nào.
Và một trong những mã là một trong thư mục mã có tất cả các mã lệnh nó, vì vậy với tất cả sáu tệp
này, tất cả đều được chỉ huy tốt, vì vậy nếu bạn bỏ lỡ điều gì đó trong bất kỳ hướng dẫn nào, bạn sẽ có
thể xem các lệnh tại mã để hiểu những gì đang xảy ra.
Vậy là xong.
Tôi hy vọng bạn vui mừng thực hiện điều này.
Bạn thực sự đang ở trên đỉnh núi bây giờ hoặc ngay dưới đỉnh bởi vì bạn cần phải hiểu điều
này trước.
Bạn đang đến đó để hít thở đầy đủ oxy.
Và chúng ta sẽ bắt đầu cuộc hành trình siêu thú vị này.
Cho đến lúc đó, hãy tận hưởng.
TÔI.