Xin chào, tất cả mọi người, và chào mừng trở lại.
Trong bài giảng cuối cùng, chúng tôi đã kết thúc việc bắt đầu xây dựng môi trường của mình.
Về cơ bản, chúng tôi có một lưới 11 x 11 ở đây mà chúng tôi muốn người đưa thư của chúng tôi lặp lại để giải quyết thách thức của chúng tôi.
Bây giờ chúng tôi muốn bắt đầu nghĩ về một khi chúng tôi có lưới điện.
Chúng tôi cũng cần có các hành động đối với người đại diện của mình và tôi sẽ xóa chúng thực sự nhanh chóng.
Chúng ta không cần những tế bào này.
Tôi chỉ muốn có nó trong một số khoảng cách.
Chỉ làm cho nó dễ dàng hơn để xem nó.
Cho tôi 1/2, để tôi xóa những cái này và chúng ta có thể để cái này ở đây.
Vì thế.
Tôi đã để lại một văn bản mà chúng tôi có và chúng tôi muốn thiết lập các hành động của mình như một hành động thẳng đứng xuống và sang trái.
Với Python, nó khá đơn giản.
Chúng tôi có thể xây dựng danh sách và thiết lập các hành động của mình.
Hành động của chúng ta sẽ bình đẳng.
Hai là chúng ta có lên phải, xuống trái.
Vì vậy, hãy thiết lập nó từ bên phải xuống và bên trái.
Chúng tôi cần cho người đại diện của chúng tôi thứ lỗi cho tôi một số khả năng để điều động những hành động này qua mê cung.
Ngoài ra, chúng tôi cũng phải bắt đầu thiết lập phần thưởng.
Bây giờ, đây là lúc nó sẽ bắt đầu trở nên phức tạp hơn một chút vì chúng ta
phải đặt các trạng thái khác nhau của môi trường, các trạng thái khác nhau theo nghĩa chúng ta muốn có thể gán các
-100 này và phủ định một trong các bước này hoặc các giá trị trạng thái này cho mỗi ô vuông trong lưới.
Vì vậy, chúng tôi muốn giúp đại lý của mình tìm hiểu từng tiểu bang hoặc vị trí trong thành phố của chúng tôi, chúng tôi muốn có giá trị phần thưởng.
Đó là cách mà đại lý của chúng tôi sẽ tìm hiểu.
Vì vậy, tác nhân có thể bắt đầu ở bất kỳ ô trắng nào, nhưng mục tiêu của nó luôn giống nhau.
Tôi muốn tối đa hóa tổng phần thưởng của nó trong Q Phần thưởng bản địa học tập.
Chúng tôi biết rằng chúng được gọi là hình phạt.
Chúng được sử dụng cho tất cả các trạng thái ngoại trừ mục tiêu.
Đó là cách chúng tôi sẽ thiết lập chính sách tối ưu đó, khuyến khích con mắt xác định con đường ngắn nhất dẫn
đến mục tiêu bằng cách giảm thiểu các hình phạt của nó.
Được rồi.
Ngoài ra, để tối đa hóa phần thưởng tích lũy, nhân viên AI sẽ cần tìm con đường ngắn nhất giữa khu vực đóng gói
vật phẩm, Quảng trường Xanh của chúng tôi, hãy nhớ và các địa điểm khác của thành phố nơi người
đưa thư có thể đi lại.
Các đặc vụ White Squares sẽ học cách tránh va chạm vào bất kỳ ranh giới nào của thành phố.
Đó là những hình vuông màu đen, như chúng ta thấy với -100.
Chúng tôi muốn tránh xa chúng.
Họ có nhiều hình phạt hơn.
Vì vậy, để làm điều này, chúng tôi có lưới của chúng tôi, môi trường mà chúng tôi đã tạo ở trên với các hàng của chúng
tôi, nhưng chúng tôi cũng muốn gán các giá trị này cho nó.
Vì vậy, để làm được điều đó, chúng ta hãy thử nghĩ về cách chúng ta có thể thiết lập rằng chúng ta có thể sử dụng
NumPy và chúng ta cũng có thể bắt đầu đặt nó thành Native 100 cho các hàng môi trường và cột môi trường.
Vì vậy, chúng tôi có các hàng môi trường và cột môi trường.
Vì vậy, chúng ta hãy gọi phần thưởng này bằng num pi đầy đủ và hãy chuyển vào các cột môi trường hàng trong môi trường của chúng ta và để đặt
giá trị của chúng ta, chúng ta có thể bắt đầu bằng -100.
Ngoài ra, chúng tôi cũng muốn đặt cửa sổ phần thưởng của mình thành.
Sử dụng các chỉ số 0 và 5.
Bằng 100.
Và điều này sẽ có ý nghĩa trong giây lát.
Vì vậy, chúng tôi đang xem xét Quảng trường Xanh của chúng tôi.
Chúng tôi có số 0 và năm của chúng tôi.
Chúng tôi đặt Hình vuông xanh của chúng tôi là 100, lấy những vị trí này hoặc vị trí này để đặt giá trị.
Bây giờ, tôi sẽ dán đoạn mã tiếp theo để chúng ta có thể xem qua.
Vì vậy, bạn không cần phải xem tôi viết từng bước ra vì nó hơi lặp đi lặp lại.
Và bây giờ chúng ta có khoảng trắng của chúng ta.
Hãy đặt ghi chú của chúng tôi cho điểm thưởng của chúng tôi.
Và trong đoạn mã này, chúng tôi đang sử dụng từ điển và đặt từng giá trị của chúng tôi trong từ điển của chúng tôi.
Vì vậy, chúng tôi có lối đi của chúng tôi.
Chúng tôi đang nghĩ về điều đó với từng hàng riêng lẻ và chúng tôi có thể thiết lập bằng cách cắt của chúng tôi, với chỉ mục của chúng
tôi từ một đến chín.
Và chúng tôi muốn sử dụng một phép lặp với vòng lặp for của chúng tôi để đặt các giá trị này.
Khi làm như vậy, bạn sẽ thấy nếu chúng tôi xem xét từ một đến mười, một, bảy và chín và bằng cách sử dụng điều này, chúng tôi
thực sự có thể đặt chỉ mục hàng trong phạm vi từ một đến mười, mà chúng tôi đang làm việc trong môi trường
của mình .
Chúng ta có thể đặt chỉ số cột.
Trong các lối đi của chỉ mục hàng với từ điển của chúng tôi, chỉ mục hàng và chỉ mục cột phần thưởng của chúng tôi, chúng tôi có
thể đặt nó thành âm.
Vì vậy, những gì điều này đang làm về cơ bản là nếu chúng ta xem xét từng cụ thể, nếu chúng ta lấy một phạm vi ở đây, ví dụ, lối
đi số chín cho tôi trong phạm vi của chúng ta, chúng ta có một tập hợp tiêu cực trong toàn bộ môi trường hoặc từng trạng thái trong
môi trường của chúng ta.
Đối với tám, chúng tôi có ba và bảy.
Vì vậy, nếu chúng ta có thể cuộn lên, chúng ta có thể thấy rằng trong ba và bảy, chúng ta đang đặt một
số âm vì tất cả chúng sẽ là số âm, 100 được đặt thành một trăm âm và với sự lặp lại này, chúng tôi có thể đặt
các phần thưởng đó hoặc đặt từng trạng thái mà chúng tôi đang xác định trong các lối đi của mình thành một lối đi tiêu cực.
Nó làm cho nó rất dễ dàng.
Thay vì phải viết thêm logic hoặc có thể là các hàm hoặc câu lệnh chi tiết hơn, chúng ta có thể lặp lại và
đặt các giá trị này.
Tôi thực sự khuyên bạn nên dành một phút để khám phá thử nghiệm nếu bạn muốn thay đổi môi trường sau
này.
Sau khi chúng tôi chạy giải pháp này, đó là một cách tuyệt vời để giúp tìm hiểu và củng cố các chính sách này.
Nhưng điều này đang bắt đầu thành hình và một điều thú vị mà chúng ta có thể làm là chúng ta có thể thực sự hình dung ra nó.
Vì vậy, chúng ta hãy làm bốn hàng trong phần thưởng.
In hàng và hãy in cái này và chúng ta có thể thấy tôi có thể phải thực sự chạy lại các ô.
Lời xin lỗi của tôi.
Tôi đã không kết nối với sổ ghi chép làm việc ở đây.
Cho nó 1/2.
Nó sẽ tạo ra một lỗi.
Tôi cần quay lại và chạy lại các ô.
Vì vậy, hãy để tôi chỉ cần chạy nó thực sự nhanh chóng.
Tôi muốn nhập NumPy.
Tôi thực sự có thể chỉ.
Ôi, tôi xin lỗi.
Hãy để tôi nói qua điều này ở đây và chúng ta sẽ đi xuống.
Chúng tôi muốn điều hành môi trường của chúng tôi.
Chúng tôi muốn thực hiện các hành động của mình.
Những cái khác chỉ là văn bản nên chúng tôi không cần chúng.
Nhưng tôi muốn có cái đó để các bạn có thể tham khảo.
Chúng tôi muốn điểm thưởng của mình và cuối cùng chúng tôi muốn hình dung điều này.
Chúng ta có thể thấy trực quan, biểu diễn số thực tế trong môi trường của chúng ta.
Thật là tuyệt.
Vì vậy, chúng tôi đã thiết lập môi trường của mình.
Công việc tuyệt vời.
Hy vọng các bạn đang tìm thấy điều này hữu ích.
Bây giờ chúng ta sẽ tóm tắt nó ở đây vì trong bài giảng tiếp theo, chúng ta sẽ bắt đầu đào tạo mô hình.
Vì vậy, điều này là để thiết lập các hành động của các đại lý của chúng tôi, thiết lập môi trường của chúng tôi, thiết lập phần thưởng của chúng tôi, hình phạt của chúng tôi.
Điều này sẽ giúp đại lý thiết lập chính sách tối ưu trong Q learning.
Nhìn chung, chúng tôi có hình ảnh đại diện này hoặc hình ảnh này được xây dựng và chúng tôi có thể thấy nó ở đây nếu chúng
tôi in ra hàng của mình.
Kinh ngạc.
Được rồi.
Tôi sẽ không tiếp tục lan man.
Hãy tóm tắt nó ở đây trong bài giảng tiếp theo.
Hãy bắt đầu đào tạo người mẫu.
Hẹn gặp lại các bạn trong bài giảng tiếp theo.