Luka: Xin chào mọi người và chào mừng trở lại.
Trong video
này, chúng ta sẽ nói về ChatGPT và
cách sử dụng nó để thực hiện cùng một thuật toán cho Doom
mà chúng ta sẽ sử dụng trong khóa
học, Q-learning sâu tích chập.
Vì vậy, trong vài phút
tới, chúng ta sẽ đi qua con đường mà tôi thực sự đã chỉ và yêu cầu
ChatGPT để chúng tôi lấy mô hình của mình.
Vì vậy, hãy để tôi giúp bạn hiểu tôi đã làm như thế nào và tại
sao tôi lại thực hiện một số lời nhắc nhất định theo cách tôi đã làm.
Vì vậy, lời nhắc ban đầu được tạo ra khá tốt từ phía tôi.
Tôi nói: "Bạn
là Chuyên gia máy học cao cấp" với
nhiều năm kinh nghiệm làm việc trong
các dự án "áp dụng máy học vào mô phỏng và người máy. Đây là phần đầu tiên, thiết lập sân khấu, giao
vai cho họ.
Vì vậy, về cơ bản, không gian vectơ của
toàn bộ ChatGPT sẽ được nhắc nhiều hơn về các chủ đề học máy.
Bây giờ tôi muốn đưa vào bối cảnh của mình, Doom.
Và trên thực tế, làm thế nào để đạt được điểm đó, tôi đã nói, "Được rồi,
tôi đã thuê bạn để giúp tôi" triển
khai thuật toán Convolutional
Deep Q-Learning "cho môi trường Doom.
"Mục tiêu là có" một thuật toán học
tăng cường đầy đủ
chức năng "có thể chơi Doom, một môi trường trò chơi.
"Tôi đã triển khai các lớp "trải nghiệm và xử
lý bộ nhớ và hình ảnh.
"Tôi sẽ cung cấp cho bạn điều đó" để bạn có thể kết hợp điều
đó vào mã cuối cùng.
Điều này thực sự quan trọng, mà hầu hết mọi người bỏ lỡ.
Bạn cần có cách nào đó để nói với anh ấy hoặc
nói với ChatGPT rằng bạn đã có thứ gì đó và bạn muốn
sử dụng mã đó trong lần triển
khai cuối cùng.
Vì vậy, nếu tôi không cung cấp ngữ cảnh này, thì nó sẽ tạo ra
một số mã, một số triển khai Q-learning
tích chập sâu sẽ không xem xét việc
sử dụng experience_replay và chức năng xử lý
hình ảnh của chúng tôi, nhưng chúng
tôi muốn điều đó.
Vì vậy, sau đó tôi
tiếp tục nói: "Mục tiêu của bạn là triển
khai giải pháp đầy đủ bằng Python, "Torch for model" và
tối ưu hóa mã để được thực thi trong Google
Colab "để sinh viên xem qua mã" có thể thực thi những mã đó mà không cần
máy tính mạnh như vậy. Về cơ bản, điều này
cho ChatGPT biết định dạng của giải pháp
cuối cùng mà bạn muốn có là gì.
Và cuối cùng, "đặt câu hỏi làm rõ nếu
cần" sẽ cung cấp thêm ngữ cảnh.
Và "Ơ, nếu bạn không biết", nếu bạn không
có đủ ngữ cảnh, hãy hỏi tôi. Và cuối cùng, hỏi, "Hiểu chưa? Tôi muốn xác nhận rằng nó đã nhận được.
Đây là một cách thông minh để cho phép nó phản ánh về điều
này và không nghiêm ngặt tạo ra các lời nhắc tiếp theo, câu trả lời tiếp theo.
Nếu bạn không làm điều này,
nếu bạn không hỏi “Hiểu chưa? " hoặc "Xóa? hay “Bạn có hiểu không? " hoặc đại loại như
vậy, nó sẽ hoàn toàn bỏ qua một
số phần và bắt đầu tạo.
Vì bạn có giới hạn về số lượng mã thông
báo bạn có trong câu hỏi
và trong câu trả lời, nên bạn muốn phá vỡ giới
hạn đó để có thể làm mới số lượng mã thông báo mà bạn có thể tạo.
Vì vậy, câu trả lời đầu tiên
là: "Tôi hiểu nhiệm vụ.
"Tôi sẽ làm chính xác những gì tôi sẽ yêu cầu.
"Nhưng trước khi tiếp tục, tôi có một vài câu hỏi. Và đây là nơi "nếu bạn có bất kỳ câu hỏi nào, hãy hỏi tôi",
nó đã hỏi tôi những câu hỏi khá hay.
Trước hết, bạn có môi trường tùy chỉnh hay bạn sử dụng
thứ gì đó đã có sẵn?
Vì vậy, OpenAI, VizDoom và những thứ tương tự.
Sau đó, chúng tôi chuyển sang phần giống
như, có bất kỳ chỉ số hiệu suất cụ thể nào mà bạn muốn tôi
theo dõi không?
Có yêu cầu về chính mô hình không?
Phiên bản nào của Python và PyTorch?
Và cuối cùng, có ràng buộc cụ thể
nào về thời hạn không?
Đây hầu hết là từ các kế hoạch kinh doanh mà
nó đã được đào tạo, nhưng đối với nó,
nó không thực sự như vậy, như thế này không liên quan đến nó, nhưng không sao.
Tôi cung cấp: "Vâng, tôi sẽ sử dụng OpenAI Gym và
đây là cách tải nó. Đây là từ khóa học.
Tôi nói, được, làm theo phần thưởng trung bình,
không có yêu cầu cụ thể, hãy sáng tạo miễn là nó hoạt động, sử dụng
các mô hình hoặc phiên bản mới nhất của thư
viện và thời hạn là gì.
Tôi chỉ viết "CÀNG SỚM CÀNG TỐT".
Ngoài ra, đây là những lớp tôi đã đề cập.
Vì vậy, tôi chỉ dán các lớp mà chúng tôi có trong khóa học.
Vì vậy, trải nghiệm
phát lại, mọi thứ, và cuối cùng, bộ nhớ phát
lại, xử lý hình ảnh, thế là xong.
Và với điều này, tôi xây dựng ngữ cảnh,
và bây giờ nó bắt đầu tạo ra.
Vì vậy, nó tạo ra mã.
Về cơ bản, nó bắt đầu bằng cách xử
lý trước hình ảnh, sau đó tạo ra mạng Q sâu,
khá giống với những gì chúng tôi có.
Sau đó, nó bắt đầu
bằng cách khởi tạo mã đó và sau đó đào tạo mã.
Tất cả mọi thứ cho đến nay đã làm việc, và sau đó nó phá vỡ ở đây.
Nếu bạn muốn tiếp tục tạo
ra thứ gì đó lâu hơn, tôi chỉ cần viết "tiếp tục".
Và nó nói, "Tiếp tục? Vâng, chắc chắn. Nó tiếp tục tạo và bam, chúng
ta có mã đầy đủ.
Tuyệt vời.
Nó nêu cách sử dụng, tần
suất, những gì cần thay đổi và những thứ tương tự.
Nó cũng giúp tôi với điều này.
Và để tôi đưa bạn đến với Google Colab của tôi.
Vì vậy, tôi đã bắt đầu bằng cách dán mã
vào đây, dán chức năng tiền xử lý của chúng tôi.
Tôi sẽ chuyển sang các thay đổi trong chức năng tiền xử lý này
sau giây lát.
Sau đó, tôi đã dán phát lại trải nghiệm này, một
số cài đặt từ phía tôi.
Chúng tôi sẽ giải thích điều này trong giây lát.
Tôi đã chơi với mã đào tạo và mạng Q sâu của anh ấy.
Vì vậy, chắc chắn có nhiều cách để cải thiện điều này.
Đặc biệt nếu bạn có môi trường địa phương, nó sẽ hoạt động.
Nếu bạn đang sử dụng cái này trong Google Colab, nó có thể bị hỏng.
Vì vậy, hãy để tôi đưa bạn đến đó.
Vì vậy, tôi đã làm điều đó, và tôi đã gặp lỗi.
Tôi nói, "Này, mã ban đầu của tôi mà nó cung cấp không hoạt động.
Tôi vừa dán mã, thông báo
lỗi này và nói: "Tôi không thể thay đổi kích thước hình ảnh. Và nếu bạn xem mã của chúng tôi từ khóa học, nó yêu cầu thay
đổi kích thước hình ảnh bằng mã này.
Nhưng phiên bản mới hơn của SciPy thực sự đã loại bỏ điều này.
Vì vậy, nó nói, "Ồ, vâng," có vẻ như cái này
có thể đã bị xóa. "Đây là phiên bản mới với Gối.
Và trên thực tế, nó không yêu cầu điều đó.
Về cơ bản, nó đã viết lại toàn bộ lớp
hình ảnh tiền xử lý bằng Gối thay vì SciPy.
Vì vậy, tôi đã sử dụng nó, và nó thực sự hoạt động.
Và sau đó tôi nói, "Được rồi, "Tôi gặp sự cố với Môi
trường khi sử dụng Google Colab.
“Giải quyết như thế nào? Đây là lỗi. Và nó nói, "Ồ, vâng, xin lỗi.
"Có vẻ như môi trường đặc biệt này không hoạt động.
"Dưới đây là những gì bạn làm.
"Về cơ bản, bạn cài đặt và thực hiện việc này. Tôi gặp một lỗi, một lỗi khác.
Và lỗi này thực sự chỉ ra rằng
không tìm thấy kết xuất trong phiên bản cụ thể này.
Và nó nói, "Được rồi, hãy cài đặt phiên bản này. Tôi đã làm. Một lỗi khác.
Và nó nói, "Ồ, vâng, vâng, "Google Colab không hỗ trợ kết xuất,
thư viện OpenGL," có nghĩa
là, đối với chúng tôi, chúng tôi cần làm, thay vì Google
Colab, một thứ khác cho mục
đích trực quan hóa.
Về cơ bản, nó hướng dẫn tôi từng bước một, hướng dẫn những
việc cần làm, cách
thay đổi điều đó và những thứ tương tự.
Và nếu bạn làm điều này cục bộ, bạn sẽ giải quyết được vấn đề.
Nhưng về cơ bản, điều
này hiện đang dạy bạn cách sử dụng ChatGPT đúng cách.
Giống như, ngay tại đây, bạn đã thấy rằng tôi mắc một số lỗi,
tôi đã nhắc nhở những lỗi đó, v.v.
Và bây giờ, bạn
có, giống như, nếu bạn cuộn lại, bạn có mã hoạt động
đầy đủ với mạng Q sâu, với
mã đào tạo,
và bạn có thể yêu cầu nó tạo mã kiểm
tra, và nó sẽ làm được.
Tuyệt vời, phải không?
À chính nó đấy.
Đây là cách sử dụng ChatGPT để giải quyết deep Q hoặc
mạng Q sâu tích chập cho Doom.
Cảm ơn. Hãy tận hưởng khóa học!