Người hướng dẫn:
Xin chào các bạn của tôi và chào mừng bạn đến với trường hợp sử
dụng khoa học dữ liệu mới này với ChatGPT, lần này sẽ là về học tăng cường.
Vì vậy, chúng tôi sẽ nói với ChatGPT
ngay bây giờ rằng chúng tôi đã lập trình một chiếc ô tô tự lái ảo mà chưa
có bất kỳ AI nào.
Vì vậy, chúng tôi vừa triển khai khả năng tiến lên, rẽ
trái, rẽ phải và dừng lại.
Và chúng ta sẽ nói rằng chiếc xe tự lái này sẽ được thưởng
nếu nó đến được một điểm đến nhất định
và bị phạt nếu nó đi ra khỏi điểm đến này hoặc
nếu nó gặp phải một số chướng ngại vật.
Được rồi, sau đó chúng ta sẽ hỏi ChatGPT
nên triển khai mô hình AI nào cho ô tô
tự lái và triển khai như thế nào.
Được rồi?
Vì vậy, hãy làm điều này.
Tôi sẽ mở một cuộc trò chuyện mới ở đây.
Và bên trong chúng
ta sẽ nói chính xác, "Này,
tôi đã lập trình một chiếc ô tô
tự lái ảo với các hành động
là tiến lên, rẽ trái, rẽ phải và dừng lại.
Và sau đó chiếc xe này sẽ được
thưởng khi nó đến một điểm đến nhất
định và bị phạt
nếu nó đi xa hơn điểm đến này
hoặc nếu nó gặp phải một
số chướng ngại vật. Được rồi, bây giờ, hãy tham lam hơn.
Tôi chỉ muốn hỏi một số
đề xuất về cách xây dựng mô hình học
tăng cường cho xe tự lái, nhưng thực ra chúng ta hãy
trực tiếp xây dựng nó.
Tại sao không?
Hãy xem ChatGPT có khả năng gì.
Vì vậy, tôi sẽ hỏi, "Bạn
có thể vui lòng viết cho tôi
một mã Python bằng cách sử dụng các
thư viện tốt nhất để xây dựng mô hình học
tăng cường triển khai AI bên trong chiếc xe tự
lái đó không? Được rồi, hỏi điều này hơi
tham lam, nhưng chúng ta không bao giờ biết được.
ChatGPT có thể cung cấp cho chúng tôi chính xác những gì chúng tôi muốn.
Vì vậy, hãy thử và nếu
nó gặp bất kỳ rắc rối nào, chúng tôi sẽ giúp nó.
Được rồi, vậy hãy nhấn Enter và chúng ta bắt đầu.
Chắc chắn rồi, được rồi, đó lại là một khởi đầu tuyệt vời.
"Tôi có thể giúp bạn bắt đầu triển khai mô hình học
tăng cường cho ô tô tự lái của
bạn bằng Python. Tuyệt vời.
"Đây là một số mã minh họa cách
bạn có thể sử dụng, thư viện OpenAI Gym. Tuyệt vời.
"Để đào tạo một mô
hình học tăng cường cho ô tô tự lái của bạn. Được rồi, điều đó thực sự tuyệt vời, tôi không ngờ rằng ChatGPT lại làm được điều
đó một cách dễ dàng như vậy và những gì nó đang
làm hiện giờ đều có ý nghĩa.
Nó đang khởi tạo, bảng Q, số lượng
trạng thái, số lượng hành động, tỷ lệ học
tập được khởi tạo thành 0. 1, hệ số
chiết khấu về 0. 95.
Điều này thực sự tuyệt vời, tôi rất kinh ngạc.
Tỷ lệ thăm dò về 0. 5, số tập tối đa là 1.000,
số bước tối đa cho mỗi tập
là 100.
Sau đó, nó đào tạo mô hình Q-learning, thật tuyệt vời.
Sau đó, tôi sẽ thách thức anh ấy triển khai một mô hình tiên
tiến hơn như mô hình
deep Q-learning hoặc A3C nhưng hãy xem nào.
Nó thực hiện mọi thứ từ đầu với Vòng lặp For.
Nó bắt đầu bằng cách chọn một hành động, sau
đó nó thực hiện bước mà AI thực hiện
hành động, sau đó nó cập nhật bảng Q và sau
đó đặt trạng thái cho ngày tiếp theo.
Đây thực sự là quá trình học tăng cường, quá trình Q-learning,
điều này thật tuyệt vời.
Sau đó, nó thậm chí còn triển khai cách kiểm tra mô hình
Q-learning, và cuối cùng, nó đóng môi trường.
Wow, điều đó thực sự tuyệt vời.
Được rồi, tôi không mong đợi nhiều như vậy.
Vì vậy, vì nó đã làm điều đó quá dễ dàng, hãy
thực sự thử thách nó nhiều hơn, thậm chí khó hơn.
Vì vậy, trước tiên, tất nhiên, hãy nói, "Cảm ơn
rất nhiều, điều đó thực sự hữu ích.
Tuy nhiên, tôi
đã biết cách triển
khai Q-learning.
Vì vậy, bạn có
thể vui lòng làm điều tương tự với
mô hình học
tăng cường nâng cao hơn chẳng
hạn như deep Q-learning không. Hoặc thậm chí tốt hơn, hãy siêu tham lam.
"Một mô hình học tập củng cố hiện đại. Được rồi, sẵn sàng cho việc này chưa?
Chúng ta đi đây.
Và tất nhiên. Anh ấy luôn nói, "Chắc chắn rồi. Thật ngạc nhiên.
"Đây là một số mã chứng minh cách bạn có thể
sử dụng thư viện đường cơ sở OpenAI
để đào tạo mô hình Q-learning
sâu, DQN, cho ô tô tự lái của bạn. Và ở đây chúng tôi đi một lần nữa.
Nó cung cấp cho chúng tôi mã.
Điều đó thực sự tuyệt vời.
Được rồi, vâng, bây giờ nó sử dụng thư viện Wrap
DeepMind từ thư viện Atari chung của đường
cơ sở và lần này nó triển khai
lại AI với mô hình Q-learning sâu.
Điều đó thực sự, thực sự tuyệt vời.
"Mã này sử dụng thuật toán DQN để đào tạo mô hình Q-learning
sâu cho ô tô tự lái của bạn.
Mô hình sẽ học cách thực hiện hành động tốt
nhất ở mỗi trạng thái để tối đa hóa phần thưởng.
Ngoài ra, nếu muốn sử
dụng mô hình học tăng cường nâng cao hơn, bạn có thể sử dụng thư
viện OpenAI Spinning Up, nơi cung cấp triển khai
các thuật toán học tăng cường
tiên tiến nhất.
Đây là một số mã minh họa cách bạn có thể
sử dụng thư viện Spinning Up để huấn luyện
tối ưu hóa chính sách gần nhất, mô hình PPO. Thật vậy, đó là một mô hình tuyệt vời.
"Đối với xe tự lái của bạn. Và đây, nó cung cấp lại cho bạn mô hình
với toàn bộ mã.
Ồ, thật là một cuộc cách mạng, ChatGPT này.
Nghiêm túc mà nói, tôi thực sự ấn tượng.
Phải rồi, bạn đã có mã.
"Mã này sử dụng thuật toán PPO để
đào tạo mô hình học tăng
cường cho ô tô tự lái của bạn.
Mô hình sẽ học cách thực hiện các
hành động để tối đa hóa tổng phần thưởng chiết khấu dự kiến.
Tôi hi vọng cái này giúp được.
Hãy cho tôi biết nếu bạn có bất
kỳ câu hỏi nào, hoặc nếu bạn muốn được hỗ trợ thêm. Chà, ngay cả tôi cũng không mong đợi nhiều như
vậy, vì vậy tôi chỉ ấn tượng
giống như bạn, cùng một lúc làm tất cả những điều này.
Vì vậy, chúng tôi sẽ nói, "Xin chân thành cảm ơn, điều đó thật tuyệt vời. Và thực hiện.
Một lần nữa xin cảm ơn bạn đã xem trường hợp sử
dụng khoa học dữ liệu này với ChatGPT.
Bây giờ chúng ta hãy chuyển sang cái tiếp theo.
Và cho đến lúc đó, hãy tận hưởng việc học máy.