Người hướng dẫn: Xin chào mọi người và chào mừng trở lại.
Trong video này, chúng ta sẽ nói về cách
sử dụng ChatGPT để giải quyết "Đột phá",
sử dụng ChatGPT để triển khai A3C.
Vì vậy, tôi đã nhắc nó với rất nhiều lời nhắc điên rồ, chúng tôi đã nhận được
kết quả đáng kinh ngạc, chúng ta sẽ thấy chúng sau giây lát.
Vì vậy, video này về cơ bản sẽ hướng
dẫn quá trình suy nghĩ
của tôi về cách tôi thực sự nhận
được kết quả và cách bạn thực sự có thể sử
dụng ChatGPT để tạo thuật toán A3C.
Được rồi, vì vậy tôi đã bắt đầu tương tự như những gì chúng tôi đã làm cho "DOOM",
tôi đã nói, được rồi, về cơ bản, bạn
là một chuyên gia máy học với
nhiều năm kinh nghiệm về người máy.
Tôi thuê bạn thực hiện thuật toán A3C cho "Breakout. Mục tiêu là có một thuật toán SOTA, A3C
đầy đủ chức năng
có thể chơi trò chơi "Bứt phá".
Tôi đã triển khai các lớp, môi trường
mã thử nghiệm và các phiên
bản tùy chỉnh của trình tối ưu hóa Adam
được sử dụng làm trình tối ưu hóa trọng
số chia sẻ cho mô hình A3C.
Vì vậy, điều này mang lại cho nó nhiều
ngữ cảnh hơn, những gì tôi đã làm, tôi sẽ cung cấp ba điều này cho bạn.
Vì vậy, khi tôi tham khảo trước khi tạo phần còn lại của mã, mục tiêu của
bạn là triển khai giải pháp đầy
đủ bằng Python, Torch, tương
tự như những gì chúng
tôi có và tối ưu hóa mã để được thực
thi trong Google Colab, giống
như những gì chúng tôi đã có trước đây.
Ngoài ra, hãy nhận xét từng
dòng mã để học sinh có thể hiểu
những gì bạn đã làm trong mã.
Đặt câu hỏi làm rõ nếu cần, hiểu rồi.
Vì vậy, chúng tôi có một số trùng lặp với những gì
chúng tôi đã làm đối với Deep
Q đàm thoại cho "DOOM", nhưng tôi đã thêm rất nhiều ngữ cảnh mà tôi
đã triển khai mọi thứ
và tôi muốn chúng được sử dụng.
Vì vậy, đó là những gì tôi bắt đầu và nó đã được xác nhận.
Vâng, tôi hiểu và tôi sẽ hỏi bất kỳ câu
hỏi nào, vui lòng cung cấp phần còn lại của mã.
Sau đó, tôi nói, đây là trình tối ưu hóa Adam,
đã dán mã cho trình tối ưu hóa Adam, cho
các tài nguyên chúng tôi có và tôi đã đưa ra hướng dẫn này,
tôi nói, hãy đợi phần còn lại
của mã trước khi triển khai, tôi
chỉ, trước khi tôi nhận được bất kỳ kết quả tốt nào
, tôi thực sự chỉ cần dán và nó ngay lập tức chuyển sang triển khai
A3C mà không cần đợi phần còn lại.
Vì vậy, tôi đã thêm điều
này như một loại mã
hệ thống, lời nhắc hệ thống, và nó nói, được rồi, vui lòng cung
cấp môi trường và kiểm
tra mã.
Vì vậy, nó thực sự đề cập đến những gì chúng
tôi đã đưa ra trong lời nhắc đầu tiên.
Tôi nói, mát mẻ, đây là việc thực
hiện môi trường phòng tập thể dục.
Tôi đã dán mã chính
đó, tôi đã thêm ngữ cảnh ở đây, nếu bạn
xem qua, và đây là
tệp chính chạy mọi thứ.
Và sau đó tôi nói, được rồi, tuyệt,
hãy đợi mã kiểm tra.
Và nó nói, vâng, tôi, tuy nhiên,
tôi vẫn cần xem mã
thử nghiệm trước khi triển khai A3C, tôi nói, thật tuyệt,
đây là mã thử nghiệm.
Và bạn thấy đây là cách nếu bạn
có một dự án lớn hơn, lớn hơn,
bạn có thể sử dụng dự án đó để điều
khiển nó để sử dụng đoạn
mã đó hoặc làm tài liệu tham khảo, theo kiểu
để bạn thực sự có thể tạo ra thứ gì đó theo
kiểu mã của mình.
Thật tuyệt, và khi tôi làm điều
đó, nó nói, thật tuyệt, hãy làm đi.
Và về cơ bản, nó nói rằng tôi sẽ sử
dụng mã chính này, thử nghiệm và thực hiện điều này.
Và sau đó nó nói, đã tạo mô hình. py, điều mà thực ra chúng tôi cũng đã làm
trong khóa học.
Và anh ấy nói, đây là mô hình ActorCritic,
và tôi so sánh với mô hình của chúng ta.
Đây là phiên bản mới hơn của python, rất
nhiều việc khởi tạo trọng số và những
thứ tương tự có thể được thực hiện theo cách thanh lịch hơn.
Vì vậy, nó đã làm điều đó và nó thực sự
sử dụng khá tốt, sau đó tạo mã đào tạo và về cơ bản
là ActorCritic.
Và nếu bạn xem qua, nó khá đơn giản, vì vậy
nó chắc chắn cần phải được
cải thiện.
Vì vậy, những gì bạn có thể làm, bạn có thể
nói, được rồi, tôi đã
nói tiếp tục, và nó tiếp tục viết ra.
Nó tạo ra điều này như một sự mất mát,
nhưng vâng, về cơ bản có mọi
thứ chúng tôi cần, nó đã tối ưu hóa
mọi thứ và bạn có
thể thấy
trình tối ưu hóa đó. dừng lại ở cuối.
Vì vậy, về cơ bản, nó đã sử dụng mọi
thứ mà chúng tôi đã xác định cho
đến nay, cũng như sự mất
mát thích hợp, và vâng, trình tối ưu hóa, mọi thứ.
À chính nó đấy.
Trong một vài bước đơn giản,
chúng tôi đã quản lý để triển khai toàn bộ mã
cho một trong những mô hình tiên tiến nhất
được coi là một trong những mô
hình tốt nhất trong năm 2017, 2018.
Cho đến ngày nay, nó thực sự có rất
nhiều khả năng để giải quyết các môi trường phức
tạp như "Breakout. Như bạn đã thấy, bây giờ chúng ta có ChatGPT
chẳng hạn, bạn có thể hướng
dẫn nó triển khai một số phần nhất định của mã.
Và nếu bạn không biết một số
phần của mã thực sự
làm gì, bạn có thể đi và hỏi
nó, chẳng hạn, thật
tuyệt, bạn
có thể giải thích phần đào
tạo và phong tục của Adam ở đâu không?
Vì vậy, tôi đang nhắc nó thực sự giải thích chính nó, vì vậy đó
là một cách khác
để nhắc nó về cơ bản nhằm cung cấp cho bạn thêm lý do đằng
sau thế hệ của nó.
Và bạn có thể thấy rằng
nó thực sự sẽ giải thích từng bước một.
Vì vậy, vâng,
chúng ta có thể đợi điều này, bạn có thể thực
hiện các lời nhắc tương tự và bạn sẽ nhận được kết
quả thực sự tương tự như của
tôi, nhưng nói chung bây giờ, những gì nó
sẽ làm là lấy chức năng đào tạo mà
nó đã xác định ngay trên đầu ngay tại
đây, và về cơ bản nó sẽ trải qua từng bước và thực hiện nó.
Vì vậy, vâng, đó sẽ là nó.
Tôi thực sự khuyến khích bạn dùng thử
mã này trong Google
Colab, mã này
có thể thực hiện được, sẽ hơi khó để mã này hoạt động do tính
trực quan và hạn
chế của môi trường Goggle Colab.
Tuy nhiên, bạn chắc chắn
có thể đi và dán các lỗi ở đây, và bạn có thể,
bạn có thể đi và nhận được
một số kết quả khá tốt để gỡ lỗi quy trình.
Và vâng, với điều đó, tôi sẽ để bạn làm
như vậy và bây giờ bạn có cách sử dụng
ChatGPT về cách nhận giá trị cho A3C.
Và vâng, hy vọng bạn thích
khóa học cho đến nay, tạm biệt.