Xin chào tất cả mọi người, và chào mừng trở lại.
Trong bài giảng này, chúng ta sẽ thiết lập môi trường của mình và tôi muốn giới thiệu tổng quan ở cấp
độ cao hơn này cho những bạn muốn thử và tự giải quyết nó.
Và điều này có thể trông quen thuộc trong bài giảng trước, bạn đã thấy điều này.
Vì vậy, nếu bạn đọc qua nó, tôi xin lỗi.
Chúng ta sẽ vượt qua nó một cách thực sự nhanh chóng.
Những điều đầu tiên trước tiên.
Trong dự án này, chúng tôi thực sự muốn giữ cho nó càng đơn giản càng tốt theo nghĩa là chúng tôi không cần
nhập quá nhiều thư viện.
Về cơ bản, chúng tôi sẽ sử dụng NumPy cho việc đó.
Chúng ta chỉ cần nhập NumPy dưới dạng NP, thường là tham chiếu chung cho numpy.
Và chúng tôi cũng muốn thiết lập môi trường của mình như bạn sẽ thấy ở đây.
Và chúng ta sẽ xem xét lại vấn đề này một cách thực sự nhanh chóng như một cái nhìn tổng quan.
Bước đầu tiên cho quá trình học Q của chúng tôi là chúng tôi muốn xác định một môi trường mà người đưa thư phải điều hướng.
Chúng tôi cần môi trường đó được thiết lập để chúng tôi thực sự có thể lặp lại và thực hiện nó.
Trong bài giảng này, môi trường sẽ bao gồm các trạng thái, hành động và phần thưởng.
Trạng thái và hành động là đầu vào cho tác nhân học Q, trong khi các hành động có thể là tác nhân, đầu
ra là trạng thái mà chúng ta có thể nghĩ đến và xem hình ảnh này như là đại diện của chúng ta.
Các tiểu bang trong môi trường của chúng ta là tất cả các địa điểm có thể có trong thành phố mà chúng ta có thể gọi là thành phố
mẫu này.
Một số địa điểm này là ranh giới thành phố sẽ là hình vuông đen của chúng tôi, trong khi các địa điểm khác là các hòn
đảo mà người đưa thư có thể sử dụng để đi qua thành phố.
Đó sẽ là những hình vuông màu trắng.
Hình vuông màu xanh lá cây cho biết khu vực đóng gói và vận chuyển mặt hàng.
Các hình vuông màu đen và xanh lá cây là những gì chúng ta sẽ gọi là trạng thái đầu cuối.
Vì vậy, về tổng thể, mục tiêu của chúng tôi hoặc mục tiêu của đại lý, chúng tôi muốn sử dụng con đường ngắn nhất.
Chúng tôi muốn nhân viên của chúng tôi tìm hiểu con đường ngắn nhất giữa khu vực đóng gói vật phẩm, lọ, cây xanh và tất
cả các địa điểm khác trong thành phố mà bưu tá được phép đi lại.
Trong hình trên, chúng ta có 121 tiểu bang hoặc địa điểm có thể có trong thành phố.
Các trạng thái này được sắp xếp trong một lưới 11 x 11.
Do đó, mỗi vị trí có thể được xác định bằng chỉ số hàng và cột của nó.
Vậy bước đầu tiên của chúng ta sẽ là gì?
Và điều này thực sự muốn các bạn bắt đầu suy nghĩ về cách bạn có thể định nghĩa nó.
Chúng ta cần xác định môi trường của chúng ta.
Đây là một ví dụ điển hình về hình ảnh của chúng tôi và cách chúng tôi sẽ tiếp cận nó.
Vì vậy, làm thế nào bạn sẽ mô hình đó?
Hãy nhớ rằng, chúng ta đang sử dụng NumPy, vì vậy chúng ta cần xác định các ranh giới này và chúng ta có thể xác định mảng
numpy a3d để giữ các giá trị Q hiện tại của chúng ta cho từng trạng thái và cặp hành động khi chúng ta thấy biểu diễn của mình.
Và đối với những bạn chưa quen, hoặc có thể là mới hoặc các bạn muốn ôn
luyện lại, thì cẩm nang i a z từ khóa học này cực kỳ hữu ích, rất được khuyến khích.
Vậy chúng ta phải làm gì ở đây?
Chúng tôi thực sự có thể.
Hãy để tôi mở rộng điều này thực sự nhanh chóng cho chúng tôi để chúng tôi có thể xem nó dễ dàng hơn một chút.
Hãy để tôi chỉ thêm một số ô mã.
Chúng ta sẽ xác định mảng ba d numpy của chúng ta.
Làm thế nào bạn sẽ đi về điều này?
Vì vậy, chúng tôi có một số tùy chọn, nhưng tùy chọn thực sự đơn giản và dễ hiểu nhất, hãy gọi nó là các
hàng môi trường.
Rose Và hãy đặt nó thành 11.
Bây giờ là 11 giờ 11.
Sau đó, chúng ta cũng có thể làm một môi trường, gạch dưới các cột.
Và chúng ta cũng có thể đặt giá trị này thành 11.
Cuối cùng, chúng ta có thể đặt giá trị Q của mình vì chúng ta cần thêm numpy của mình với các hàng môi trường, cột
môi trường.
Và chúng ta có thể đặt giá trị này là Q bằng các số không NumPy và chúng ta cần sử dụng các hàng môi trường, cột
môi trường.
Và chúng tôi có mảng numpy 3D, bộ biểu diễn môi trường 3D của chúng tôi với môi trường của chúng tôi.
Đáng kinh ngạc.
Bây giờ và chúng ta sẽ tạm dừng nó ở đây, nhưng tôi muốn các bạn bắt đầu suy nghĩ về cách giải quyết vấn đề
này vì các bạn đã thiết lập môi trường của mình.
Điều tiếp theo mà bạn sẽ muốn làm như một gợi ý là thiết lập các hành động của bạn.
Tác nhân của bạn cần phải có khả năng di chuyển trong môi trường.
Vì vậy, làm thế nào bạn sẽ đại diện cho điều đó?
Bạn sẽ viết nó như thế nào cho vấn đề này?
Hãy để nó ra khỏi đây.
Trong video tiếp theo, chúng ta sẽ xem lại các thao tác đó.
Đáng kinh ngạc.
Hẹn gặp lại các bạn trong video tiếp theo.