Xin chào và chào mừng trở lại.
Trong bài giảng cuối cùng, chúng ta đã hoàn thành hoặc hoàn thiện định nghĩa thực tế về môi trường của chúng ta, sự thể hiện
các giá trị của chúng ta, hình phạt và phần thưởng của chúng ta cũng như hành động của chúng ta trong môi trường.
Trong bài giảng này, điều tôi muốn làm là giới thiệu khóa đào tạo, ý tưởng đằng sau cách đào tạo
mô hình và giúp bạn bắt đầu.
Và sau đó trong bài giảng tiếp theo cung cấp giải pháp và nhiều hơn nữa về phân tích cho các bước liên quan.
Vì vậy, chúng ta cần đào tạo mô hình những gì sẽ được yêu cầu đào tạo.
Đây là một cách tiếp cận mà chúng ta có thể sử dụng cho các bước sau để đào tạo mô hình.
Chúng tôi muốn chọn một trạng thái không phải trạng thái cuối ngẫu nhiên, đó sẽ là hình vuông màu trắng của tác nhân của chúng tôi và đó
là cách chúng tôi muốn bắt đầu trong tập của mình cho khóa đào tạo.
Sau đó, tất nhiên chúng tôi muốn chọn một hành động cho trạng thái hiện tại.
Chúng tôi cần phải có đại lý của chúng tôi có thể di chuyển xung quanh môi trường.
Vì vậy, các hành động đối với chúng tôi và đại diện của chúng tôi trong thử thách này sẽ được lựa chọn bằng cách sử dụng Epsilon Greedy.
Thuật toán này thường sẽ chọn hành động hứa hẹn nhất cho tác nhân, nhưng đôi khi chọn một tùy chọn
ít hứa hẹn hơn.
Để khuyến khích đại lý tìm hiểu môi trường, chúng tôi rất muốn tìm ra chính sách tối ưu.
Sau đó, chúng tôi muốn thực hiện hành động đã chọn và chuyển sang trạng thái tiếp theo.
Di chuyển đến địa điểm tiếp theo.
Và tại sao tôi nói điều này là tôi muốn các bạn suy nghĩ về cách bạn có thể chia nó thành
các hàm để giải quyết vấn đề này.
Tiếp theo, chúng ta cần nhận được phần thưởng khi chuyển sang trạng thái mới và sau đó tính toán chênh lệch thời gian.
Chúng ta phải cập nhật giá trị Q cho cặp trạng thái trước đó trong hành động và nếu trạng thái mới hoặc trạng thái hiện tại là
trạng thái đầu cuối, thì chúng ta sẽ chuyển đến một trạng thái.
Nếu không, chúng ta sẽ chuyển sang bước số hai.
Vì vậy, toàn bộ quá trình, chúng tôi sẽ đặt mục tiêu chạy trong 1000 tập để đào tạo.
Điều này sẽ cho chúng tôi đủ cơ hội hoặc đại lý của chúng tôi có đủ cơ hội để tính toán con đường ngắn nhất giữa
khu vực đóng gói mặt hàng và các địa điểm khác trong thành phố mẫu của chúng tôi.
Đáng kinh ngạc.
Vì vậy, hãy nghĩ về cách bạn sẽ tiếp cận vấn đề này và tôi muốn giúp bạn đưa ra ý tưởng để thử và giải quyết vấn
đề này.
Vì vậy, chúng tôi sẽ xem xét giải pháp của mình, chúng tôi sẽ sử dụng các chức năng sau.
Tôi thực sự có thể nhận xét điều này vì nó là một ô mã.
Lời xin lỗi của tôi.
Chúng tôi không muốn một ký hiệu đô la.
Chúng tôi muốn bình luận những điều này và tôi sẽ giúp bạn bắt đầu từ đầu tiên.
Nhìn chung, chúng ta sẽ có những hàm này xác định các bước của chúng ta để đào tạo mô hình.
Và để giúp bạn bắt đầu, chúng ta hãy xem cách chúng ta sẽ tiếp cận trạng thái đầu cuối
trong việc tạo một hàm trong python vì điều đầu tiên này, trước tiên, tất nhiên chúng ta muốn xác định hàm của
mình như hiện tại.
Trạng thái đầu cuối.
Và đây là tên của các chức năng mà bạn sẽ thấy để cung cấp cho bạn một ý tưởng có thể giúp bạn
phá vỡ nó.
Những gì chúng ta muốn làm là lấy chỉ mục hàng hiện tại và chỉ mục cột hiện tại.
Điều này sẽ giúp cung cấp cho chúng tôi vị trí đại lý của chúng tôi và chúng tôi có thể thêm vào đây cho phần thưởng của chúng tôi là đúng
hay sai.
Vì vậy, chúng tôi cần nó nếu câu lệnh.
Vì vậy, hãy đặt nếu phần thưởng của chúng tôi.
Của chúng tôi hiện tại.
Chỉ mục hàng.
Và chỉ số cột hiện tại bằng chỉ số âm nếu chúng ở trạng thái đó.
Chúng tôi sẽ trả về false hoặc bằng cách khác hoặc bằng cách khác.
Chúng tôi sẽ trở lại.
ĐÚNG VẬY.
Khá đơn giản, đủ.
Và đây là cách chúng ta sẽ có được ý tưởng của chúng ta về trạng thái đầu cuối của chúng ta sau khi chúng ta có nếu nó đang tồn tại ở
trạng thái đầu cuối, sau đó chúng ta muốn có được vị trí bắt đầu.
Như một gợi ý, bạn có thể xem xét bằng cách sử dụng chỉ mục hàng hiện tại và chỉ mục cột hiện
tại và đặt số liệu ngẫu nhiên.
Chúng tôi muốn khởi tạo ngẫu nhiên đó cho các cột môi trường hàng hàng môi trường.
Nhưng trong bài giảng tiếp theo, bạn sẽ thấy một sự cố.
Bạn sẽ thấy phần còn lại của các chức năng với một số ghi chú để giúp bạn đưa ra ý tưởng.
Tôi thực sự hy vọng rằng các bạn có cơ hội thử nghiệm điều này vì nó chỉ là một cách tuyệt vời để học hỏi
và giúp đưa ra cho bạn một ý tưởng.
Và đây là để giúp bạn bắt đầu.
Vì vậy, đừng lo lắng, bạn sẽ có lời giải trong bài giảng tiếp theo.
Và sau đó chúng ta sẽ kết thúc mọi thứ bằng cách thực sự chỉ định hệ số chiết khấu Epsilon, tỷ lệ học
tập, những thứ đó để đào tạo, chạy đào tạo và xem kết quả.
Đáng kinh ngạc.
Hãy dừng lại ở đây một lần nữa.
Cố gắng giải quyết vấn đề này.
Nhưng nếu không, nếu bạn chỉ muốn nâng cao, hãy chuyển sang bài giảng tiếp theo và bạn sẽ nhận được
giải pháp cho khóa đào tạo để xác định các hàm này.
Được rồi, tôi sẽ gặp lại các bạn trong bài giảng tiếp theo.