Bạn đã sẵn sàng chưa?
Làm thôi nào.
Hãy bắt đầu bằng cách cài đặt tất cả các phụ thuộc hệ thống cho khôn ngoan.
Hãy nhấp vào nút phát này và bây giờ nó sẽ cài đặt tất cả các phụ thuộc, như bạn có thể
thấy, như gối hoặc psi, pi, và một số phụ thuộc khác sẽ cần thiết để chạy thành công.
Nhưng tất cả những thứ còn lại như pytorch, các mô-đun phòng tập thể dục đã được cài đặt sẵn.
Vì vậy, điều đó thực sự tuyệt vời.
Đó thực sự là vẻ đẹp của Google CoLab và đó là nhờ nó mà không ai trong số các bạn sẽ gặp bất kỳ vấn đề
nào khi thực thi mã và hình dung kết quả cuối cùng.
Được rồi.
Vì vậy, điều này sẽ thực sự mất một hoặc 2 phút.
Vì vậy, tôi sẽ tua đi nhanh ở đây và tôi sẽ gặp bạn rất sớm trong phần còn lại của quá trình thực
thi mã.
Được rồi.
Chúng ta dường như đã kết thúc quá trình cài đặt hệ thống.
Các phụ thuộc, như bạn có thể thấy, đó là tải chúng xuống, cài đặt chúng trong khi thu thập chúng với tất cả
các yêu cầu phù hợp.
Và trong vài giây, nó sẽ được thực hiện đúng.
Và chúng ta hãy xem.
Ba hai.
Chúng ta bắt đầu.
Đã cài đặt thành công mọi thứ.
Đừng lo lắng về những lỗi này ở đây.
Chúng sẽ không ảnh hưởng đến việc thực thi mã, nhưng mọi thứ đều được cài đặt thành công như chúng ta muốn.
Được rồi, bây giờ bước tiếp theo.
Rất quan trọng.
Nhìn vào nút quan trọng này.
Nó nói rằng sau khi cài đặt tất cả các phụ thuộc, về cơ bản sau khi thực hiện ô đầu tiên này ở đây, bạn phải
khởi động lại thời gian chạy của mình.
Nếu không, bạn sẽ gặp một số lỗi thực thi ở đây.
Vì vậy, chúng ta hãy làm điều đó nhanh chóng.
Nó rất đơn giản.
Bạn chỉ cần nhấp vào thời gian chạy ở đây và sau đó khởi động lại thời gian chạy và sau đó có, được rồi.
Điều này sẽ khôi phục thời gian chạy của bạn.
Và bây giờ bạn có thể thực hiện tất cả các ô này bằng cách chỉ cần nhấp vào nút phát.
Vì vậy, hãy làm điều này, bắt đầu với việc xử lý trước hình ảnh tệp đầu tiên này.
Được rồi, trước tiên chúng ta hãy nhập các thư viện, sau đó xử lý trước các hình ảnh bằng lớp
hình ảnh xử lý trước và bây giờ chúng ta đã chuyển sang triển khai phát lại trải nghiệm có nghĩa là lớp này.
Được rồi, hãy làm điều này.
Đầu tiên chúng tôi nhập các thư viện, sau đó chúng tôi xác định một bước của môi trường.
Sau đó, chúng tôi thực hiện tiến trình trên một số bước và từng bước với lớp Step Progress giống hệt như những gì chúng tôi
có trong thư mục.
Và sau đó chúng tôi thực hiện phát lại trải nghiệm bằng cách xây dựng lớp bộ nhớ phát lại này.
Được rồi, tất cả đều tốt.
Và bây giờ chúng ta chuyển sang tệp thứ ba, tệp này tôi làm cho tôi hoặc py và trước tiên chúng ta nhập các thư viện.
Sau đó.
Được rồi.
Vì vậy, sẽ mất một chút thời gian ở đây vì chúng tôi nhập tất cả các mô-đun ngọn đuốc, sau đó chúng tôi
nhập các gói cho openai và doom.
Vì vậy, với phòng tập gym và Wisdom Gym và các rapper.
Vì vậy, tất cả tốt.
Và sau đó chúng ta chuyển sang phần một ở đây, xây dựng AI, nơi chúng ta sẽ tạo ra bộ não, sau đó
là cơ thể, và sau đó lắp ráp mọi thứ.
Vì vậy, trước tiên hãy làm cho bộ não trở nên ổn định với lớp CNN.
Sau đó, hãy tạo cơ thể với lớp thân tối đa mềm, và sau đó hãy tạo AI với một lớp.
Được rồi.
Vì vậy, tất cả tốt.
Và bây giờ chúng ta đã chuyển sang phần hai, nơi chúng ta sẽ đào tạo AI,
tất nhiên là học sâu, phức hợp.
Được rồi.
Vì vậy, chính xác giống như những gì chúng ta có ở đây.
Đầu tiên, chúng tôi có được môi trường diệt vong với các mô-đun mới của chúng tôi với Tomb.
Đừng lo lắng về điều này.
Đây không phải là một lỗi.
Sau đó, chúng ta sẽ xây dựng AI bằng cách tạo ra các đối tượng khác nhau, bộ não, CNN, các cơ quan của cơ
thể tối đa và toàn bộ AI chứa bộ não và cơ thể.
Được rồi.
Tôi đã thực hiện điều này?
Đúng.
Sau đó, chúng tôi thiết lập trải nghiệm, phát lại với và các bước và bộ nhớ như một bộ nhớ phát lại khách quan, sau
đó chúng tôi triển khai theo dõi tính đủ điều kiện.
Được rồi.
Để cải thiện hiệu suất.
Sau đó, chúng tôi tạo đường trung bình động trên 100 bước với lớp MA.
Và cuối cùng, các bạn của tôi, bạn đã sẵn sàng chưa?
Chà, đây là lúc, bạn biết đấy, phần rất thú vị mà chúng ta sẽ đào tạo AI trong
hơn 20 kỷ nguyên.
Được rồi, bạn sẽ thấy rằng quá trình này sẽ hơi lâu.
Bạn biết đấy, có lẽ sẽ mất một hoặc 2 giờ vì tôi tăng kích thước.
Vui lòng giảm kích thước trở lại 80 x 80 nếu bạn thấy nó quá dài.
Nhưng tin tôi đi, bạn sẽ có những video hay hơn nhiều với những kích thước này.
Vậy bạn đã sẵn sàng chưa?
Hãy làm điều này trong ba, hai, một, bắt đầu.
Được rồi, vì vậy điều này sẽ thực thi mã của khóa đào tạo.
Và trong vài giây nữa, chúng ta sẽ có thể thấy kỷ nguyên đầu tiên, tất nhiên, kỷ nguyên này sẽ có phần
thưởng âm.
Nhưng bạn sẽ thấy rằng qua các kỷ nguyên, phần thưởng sẽ tăng lên từng chút một cho đến khi đạt được phần
thưởng dương và sau đó cho đến khi đạt hàng trăm phần thưởng.
Thực ra thì, hãy nhắm đến điều đó.
Hãy hy vọng rằng với 20 kỷ nguyên, chúng tôi sẽ có một số phần thưởng cuối cùng ở mức hàng trăm, bạn biết đấy, như 100 hoặc
200 hoặc 300, bởi vì với những phần thưởng này, tôi đã thực sự thử nghiệm chúng.
Đúng.
Kỷ nguyên đầu tiên, phần thưởng âm, -98.
Vì vậy, tôi đã nói rằng với phần thưởng vào khoảng 100, 203 trăm, chúng tôi sẽ nhận được một số kết quả tuyệt vời.
Bạn biết đấy, chúng ta sẽ thấy AI quản lý để tiêu diệt một số quái vật hoặc tránh chúng hoặc, bạn
biết đấy, di chuyển về phía chiếc áo quan.
Vì vậy, đó là kỷ nguyên đầu tiên, kỷ nguyên một -98.
Và sau đó, bạn biết đấy, chúng ta sẽ thấy kỷ nguyên số hai với phần thưởng có thể đã tốt hơn.
Tuy nhiên, bạn biết đấy, tất nhiên lúc đầu AI không được đào tạo.
Nó đang khám phá môi trường.
Đúng.
Hãy nhớ sự đánh đổi này trong học tập củng cố, khám phá và khai thác?
Chà, lúc đầu, AI chỉ đơn thuần là khám phá, sau đó nó sẽ đào tạo và sau đó nó sẽ
trở nên thông minh hơn và thông minh hơn, và đó là lúc nó sẽ đạt được một số phần thưởng cao.
Vì vậy, hoàn toàn ổn nếu có phần thưởng tiêu cực khi bắt đầu.
Có thể chúng ta sẽ đạt được điều đó trong 3/1 kỷ nguyên, nhưng sau đó bạn sẽ thấy rằng sau kỷ nguyên số
bốn hoặc năm hoặc sáu, chúng ta sẽ bắt đầu đạt được những phần thưởng có thể là tích cực và sau đó hy vọng phần thưởng vào khoảng
102 trăm hoặc 300.
Vì vậy, sẽ mất một chút thời gian, như tôi đã nói.
Vì vậy, chúng ta sẽ không ở lại đây trong 2 giờ, nếu không tôi sẽ không còn điều gì để nói.
Vì vậy, những gì tôi sẽ làm là bây giờ tôi sẽ bật một bản nhạc vui nhộn hoặc thú vị.
Và chúng ta bắt đầu, kỷ nguyên số hai, -62.
Vì vậy, đã có một số cải tiến.
Tốt đấy.
Nhưng bạn sẽ thấy rằng sẽ có một số cải tiến thậm chí còn tốt hơn khi chúng ta tiến bộ hơn trong các kỷ nguyên.
Vì vậy, những gì tôi đã nói?
Vâng, bây giờ tôi sẽ đặt một số bản nhạc thú vị và phát bài huấn luyện ở chế độ tăng tốc.
Và tất nhiên, tôi sẽ gặp bạn vào cuối khóa đào tạo để xem kết quả cuối cùng.
Được rồi.
Vậy là xong.
Ba hai một bắt đầu.
Được rồi.
Và đây là lúc chúng ta kết thúc khóa đào tạo.
Xin chúc mừng.
Bạn đào tạo mô hình học tập phức hợp, sâu sắc trên một ứng dụng rất khó khăn, đó là chơi trò
chơi diệt vong.
Vậy phải nói gì trước?
Vâng, như chúng tôi hy vọng, chúng tôi đã đạt được một số phần thưởng trung bình là hơn 100.
Sau đó, điều quan trọng cần nói là, tất nhiên, với nhiều kỷ nguyên hơn, bạn sẽ nhận được phần thưởng cao hơn.
Vì vậy, nếu bạn đã sẵn sàng, ví dụ: đào tạo mô hình này cho nhiều kỷ nguyên hơn, như 100 kỷ nguyên hoặc
hơn thế nữa để đạt được phần thưởng nhiều hơn khoảng 304 trăm 500 hoặc thậm chí là 1000.
Chà, cứ tự nhiên mà làm.
Ví dụ: bạn có thể để chế độ này chạy vào ban đêm khi bạn ngủ và khi thức dậy vào buổi sáng,
bạn sẽ đạt được kết quả tốt hơn.
Lưu ý rằng bạn cũng có thể sử dụng GPU trong thời gian chạy, phải không?
Nếu bạn thay đổi kiểu thời gian chạy, điều này tôi không nên làm vì nếu không nó sẽ khởi động lại sổ ghi chép.
Nhưng trong trình tăng tốc phần cứng ở đây, bạn có thể chọn GPU hoặc thậm chí là CPU, nhưng đó chỉ là khi bạn muốn
tối ưu hóa hiệu suất và thực hiện một số bài tập siêu chăm chỉ.
Nhưng ở đây tôi chỉ sử dụng điều cổ điển vì tôi chỉ muốn chỉ cho bạn cách thực hiện tất cả những điều này.
Và chúng ta bắt đầu.
Bây giờ chúng ta sẽ thực thi phần còn lại của sổ làm việc với mã bổ sung này chỉ dành riêng cho sách hạt
nhân này, tất nhiên, chúng ta sẽ hình dung AI hoạt động.
Được rồi, hãy làm điều này.
Đầu tiên hãy nhập các thư viện.
Đúng.
Tất cả đều tốt.
Sau đó, chúng tôi sẽ in hình dạng đầu vào và một số hành động có thể.
Được rồi.
Vì vậy, ở đây chúng ta sẽ thực sự nhận ra rằng chúng ta có bảy hành động khả thi trong môi trường Doom Corridor.
Vì vậy, đây là di chuyển về phía trước, di chuyển lùi, đi bên trái, đi bên phải, bắn.
Và sau đó có thể bảo vệ bản thân hoặc bất cứ điều gì.
Tôi không biết hành động cuối cùng là gì, nhưng một cái gì đó như thế.
Sau đó, đây là các kích thước của khung đầu vào.
Điều này tương ứng với chiều cao của khung.
Nó có chiều cao 240 pixel.
Điều này tương ứng với chiều rộng của khung, phải không?
Nó lớn 320.
Và điều này tương ứng với, bạn biết đấy, thực tế là chúng tôi làm việc với các hình ảnh có màu và ba hình ảnh ở
đây tương ứng với ba yếu tố của kênh của chúng tôi.
Được rồi, hãy thực hiện ô tiếp theo, hiển thị một khung của môi trường chỉ để xem nó như
thế nào.
Và thực sự, hãy nhớ rằng, điều đó rất hữu ích khi nhìn thấy môi trường bạn đang làm việc, phải không?
Vì vậy, ở đây chúng ta thấy rằng chúng ta đang ở Doom Corridor, nhưng nếu bạn muốn thử nghiệm với
một số môi trường khác ở đây, hãy nhớ chúng cũng nằm trong trang chính ở đây.
Ngay tại đây.
Đúng.
Bạn biết đấy, bạn có tất cả danh sách các môi trường mà tôi khuyên bạn nên thử nghiệm.
Vì vậy, nếu bạn muốn có một cái nhìn vào một cái khác.
Bạn biết đấy, tôi có thể cho bạn thấy thực sự.
Hãy lấy cái này và sau đó tôi sẽ quay trở lại hành lang diệt vong này.
Đúng.
Vì vậy, nếu tôi thay thế nó bằng cái này.
Đúng và tôi thực hiện điều này tốt.
Chúng tôi sẽ có ba hành động lần này.
Tất nhiên nó là một ô đơn giản hơn, và nếu chúng ta thực thi tốt ô này, chúng ta sẽ thấy môi trường này, phải không?
Vì vậy, đó chỉ là một cách để xem nhanh những gì bạn đang làm việc và để có được bản xem trước, về cơ
bản, về những gì AI sẽ làm trong môi trường.
Được rồi.
Vì vậy, chúng ta hãy quay trở lại Hành lang Trí tuệ.
Hãy thực hiện lại điều này ngay bây giờ trong trường hợp chúng ta cần nó cho các ô tiếp theo.
Được rồi, hành lang diệt vong hoàn hảo.
Bây giờ chúng ta hãy chuyển sang ô cuối cùng.
Vì vậy, đây là một chức năng trợ giúp sẽ được sử dụng để hiển thị.
Vì vậy, hãy thực thi ô này và bây giờ hãy chạy AI trên một tập.
Và ở đây bạn sẽ có thể hiểu mã bởi vì, bạn biết đấy, về cơ bản nó là quá trình
chạy không khí trên một tập đầy đủ, ở mỗi bước, nó ở một trạng thái cụ thể, nó sẽ thực hiện một hành động trong
trạng thái đó, sau đó nó sẽ nhận được phần thưởng và sau đó đạt đến trạng thái tiếp theo, phải không?
Vì vậy, đây là quá trình MDP cổ điển, phải không?
Quá trình quyết định Markov.
Và vậy là xong.
Như vậy là xong một tập.
Và cuối cùng, chúng ta sẽ nhận được video về cách chơi của AI của chúng ta, người đã được đào tạo với 20 đô la, đã có thể đạt được hơn
100 phần thưởng, điều này sẽ giúp chúng ta có một số kết quả khá tốt, nhưng có thể không đạt được
mục tiêu.
Nhưng nó ổn mà.
Bạn sẽ tự mình thử nghiệm điều đó.
Và bây giờ tôi muốn bạn nhấp vào nút này hoàn toàn ở đây vì tôi sẽ muốn cho bạn thấy video được phổ biến
như thế nào.
Vì vậy, đây là một số thư mục chứa một số phần tử như khung, bạn biết đấy, khung của kết quả hoặc
một số JS và tệp.
Nhưng thực sự những gì chúng tôi sẽ quan tâm là video cuối cùng.
Và để có được nó, chúng ta chỉ cần nhấp vào nút play tại đây và bạn sẽ thấy nó sẽ được điền vào
thư mục chính tại đây.
Đừng bỏ lỡ nó và không sao cả.
Bạn biết đấy, có vẻ như ô đã được thực thi, đó là trường hợp.
Nhưng bạn sẽ thấy điều đó trong vài giây.
Chúng ta sẽ thấy một tệp AVI, một tệp video đang được điền ở đây.
Nó sẽ xuất hiện sau 10 giây.
Tôi thậm chí có thể đếm ngược nếu bạn muốn.
Vì vậy, chúng ta hãy làm điều này.
Và mười, chín, tám, bảy, sáu, năm, bốn, ba, hai, một, đi nào.
Và bây giờ nó sẽ thực sự xuất hiện trong vài giây nữa.
Vâng, chúng ta bắt đầu.
Được rồi.
Vì vậy, trò chơi đại lý.
Chơi đi, Avi.
Đó là video của bạn.
Vì vậy, chúng ta hãy tải xuống và nó sẽ được tải xuống máy tính của bạn, mà tôi sẽ tìm thấy ngay tại đây.
Đúng.
Vì vậy, đó là trò chơi đại lý video.
Đóng vai FBI.
Đảm bảo mở nó bằng trình phát video có codec như VLC.
Đúng.
Nó sẽ không hoạt động với trình phát thời gian nhanh nếu bạn đang sử dụng máy Mac, nhưng nó chắc chắn sẽ hoạt động với VLC.
Vì vậy, chúng ta hãy xem và đây là video.
Được rồi.
Vì vậy, hãy để tôi chỉ cần nhấn tạm dừng ở đây.
Được rồi.
Vì vậy, đây là video.
Và như bạn có thể thấy, đây là kích thước 256 x 256 của khung.
Vì vậy, như bạn có thể thấy, nó không lớn lắm.
Đúng.
Vì vậy, đó là lý do tại sao tôi thực sự muốn làm việc với các kích thước này thay vì 80 x 80.
Vì vậy, bây giờ chúng ta hãy xem xét video.
Vì vậy, đây là AI chơi trò diệt vong trong một tập và nó phải tránh những con quái vật, không bị giết.
Nó phải di chuyển về phía trước để đạt được áo quan.
Vì vậy, chúng ta hãy xem nó làm như thế nào.
3 đến 1 đi.
Được rồi.
Vì vậy, đầu tiên nó bị bắn, nó sẽ di chuyển về phía trước, được không?
Và sau đó nó bị giết bởi những con quái vật.
Nhưng điều đó vẫn khá tốt.
Bạn biết đấy, nó hiểu rằng nó phải tiến về phía trước áo vest vì phần thưởng cao nhất
là đạt được chiếc áo vest.
Và tất nhiên, bạn biết đấy, nếu bạn thực sự muốn xem đoạn video về mắt của bạn chạm đến áo vest
và chiến thắng trong trò chơi này, về cơ bản bạn sẽ phải luyện mắt của mình trong nhiều kỷ nguyên hơn và có thể thực hiện một số loại
cải tiến khác, chẳng hạn như điều chỉnh bộ não của mắt bạn hoặc thực hiện một số điều chỉnh tham số, chẳng hạn như điều chỉnh
tốc độ học tập.
Chà, bạn có nhiều lựa chọn nếu bất kỳ ai trong số bạn nhận được một video tuyệt vời hoặc, bạn biết đấy, video về
một AI đã đạt được phần thưởng hơn 1000 chẳng hạn.
Chà, vui lòng chia sẻ nó trong phần Hỏi & Đáp.
Tôi chắc rằng các sinh viên khác sẽ rất vui khi nhận được nó.
Được rồi.
Vì vậy, tôi hy vọng bạn thích triển khai mô hình học tập tích hợp, sâu sắc.
Bây giờ chúng ta sẽ chuyển sang phần tiếp theo, sẽ là về việc triển khai mô hình
A ba then chốt và thậm chí là mô hình tốt hơn và mạnh mẽ hơn sẽ triển khai để chơi trò chơi đột phá.
Vì vậy, tôi sẽ gặp bạn trong phần tiếp theo.
Và cho đến khi đó, hãy tận hưởng.
TÔI.