Xin chào, tất cả mọi người, và chào mừng trở lại.
Trong bài giảng trước, bạn đã thấy cách chúng tôi sử dụng các chức năng trợ giúp của mình để thực sự thiết lập cốt lõi của chức năng nhằm đào tạo các
mô hình của chúng tôi.
Vì vậy, chúng tôi đã có trạng thái đầu cuối, vị trí xuất phát, hành động tiếp theo, vị trí tiếp theo và
đường đi ngắn nhất thực sự xác định phần lớn cách tác nhân của chúng tôi hoặc cách môi trường hoạt động.
Điều cuối cùng chúng tôi phải làm là sử dụng đào tạo của chúng tôi để sử dụng đào tạo của chúng tôi.
Nó khá đơn giản theo nghĩa những gì chúng ta cần bao gồm bởi cách chúng ta tiếp cận nó là một câu
chuyện khác.
Điều đó đang được nói, ngoài ra, nếu các bạn sử dụng một cách tiếp cận khác hoặc bạn muốn tùy chỉnh điều này và thử
nghiệm với nó, thì điều đó rất nên làm.
Ngoài ra, nếu bạn sử dụng một cách tiếp cận khác và bạn muốn thảo luận về nó, vui lòng chia sẻ
nó trong phần Hỏi và Đáp.
Rất vui khi thảo luận với bạn.
Đó là một ý tưởng tuyệt vời vì có rất nhiều cách để giải quyết vấn đề này và bạn có thể tìm
ra cách tốt hơn, có lợi hơn.
Chúng tôi có thể xem xét ưu và nhược điểm một lần nữa, rất vui khi thảo luận về nó.
Được rồi.
Vậy chúng ta phải làm gì?
Chúng tôi phải bắt đầu đào tạo của chúng tôi.
Đối với đào tạo của chúng tôi.
Chúng tôi muốn sử dụng Epsilon.
Vì vậy, về cơ bản tỷ lệ phần trăm mà chúng tôi sẽ thực hiện cho hành động tốt nhất cho hành động của chúng tôi thay vì một hành động ngẫu
nhiên.
Vì vậy, hãy đặt epsilon của chúng tôi và đặt nó thành 0. 9 và chúng tôi sẽ làm điều gì đó tương tự với các giá trị của chúng tôi đối
với hệ số chiết khấu và tỷ lệ học tập của chúng tôi.
Vì vậy, hãy làm cho hệ số chiết khấu bằng 0. 9.
Hãy cũng lấy tỷ lệ học tập của chúng tôi và đặt nó bằng 0. 9.
Đó sẽ là tỷ lệ mà đại lý của chúng tôi sẽ hoặc nên học hỏi.
Và chúng ta cũng muốn lấy số lần tập, chúng ta hãy gọi nó là n tập.
Vì vậy, chúng tôi có một số tập huấn luyện.
Hãy đặt nó thành 1000.
Tập bao nhiêu lần hay tập bao nhiêu tập?
Đáng kinh ngạc.
Bây giờ, về cơ bản những gì chúng tôi muốn làm là lặp lại qua từng tập.
Chúng tôi muốn lấy phạm vi số lượng các đợt đào tạo của mình và thiết lập cơ bản là epsilon của chúng tôi.
Chúng tôi muốn tìm ra sự khác biệt về thời gian của chúng tôi.
Để thiết lập điều đó, chúng ta cần xem xét một số giá trị Q trước đó.
Chúng tôi cần tính toán vị trí bắt đầu của chúng tôi trong chỉ số hành động của chúng tôi.
Vậy hãy bắt đầu.
Hãy lấy một vòng lặp for lớn.
Vì vậy, chúng tôi có bốn tập của chúng tôi.
Trong phạm vi số lần tập của chúng tôi.
Chúng ta bắt đầu.
Chúng tôi muốn lấy chỉ số hàng và chỉ mục cột cho lưới của chúng tôi để làm chỉ mục
cột ngô của chúng tôi.
Và đặt nó thành vị trí bắt đầu mục tiêu.
Chúng tôi cần một địa điểm bắt đầu vì vậy hãy chuẩn bị từng tập.
Bây giờ chúng ta có thể thiết lập trạng thái đầu cuối của mình trong khi.
Không.
Là trạng thái đầu cuối.
Chúng tôi muốn xem chỉ số hàng và chỉ số cột.
Tiếp theo, hãy đặt chỉ mục hành động của chúng tôi cho hành động tiếp theo của chúng tôi.
Vì vậy, chúng tôi cần hành động tiếp theo.
Khi tác nhân này lặp qua mê cung cho chỉ mục hành động của chúng tôi, chúng tôi có thể sử dụng hành động tiếp theo của mình.
Và chúng tôi có thể sử dụng chỉ mục cột chỉ mục hàng của chúng tôi và hãy gọi epsilon của chúng tôi.
Vì vậy, chúng tôi muốn có điều này thay vì hành động ngẫu nhiên của chúng tôi, hãy sử dụng chỉ mục cột.
Và chúng tôi cần Epsilon.
Đáng kinh ngạc.
Nếu tôi có thể đánh vần một cách chính xác, chúng tôi ở đây.
Bạn muốn Epsilon?
Được rồi, hãy để tôi xóa OC này.
Hãy để tôi lấy phần còn lại của mã và chúng ta sẽ xem qua nó để không phải nhìn tôi gõ
từng dòng.
Nhưng chỉ cần ghi nhớ rằng cách chúng ta muốn tiếp cận điều này khi thiết lập hàng cũ, chúng ta sẽ cần một chỉ
mục hàng cũ.
Chúng tôi cũng muốn có phần thưởng cho các cột và các hàng của chúng tôi.
Chúng ta cần xem xét các giá trị hàng đợi và giá trị hàng đợi cũ và chúng ta cần tính toán sự khác biệt theo thời gian của mình.
OC Vì vậy, bạn thấy sự thay đổi trong mã hoặc cập nhật mã.
Chúng tôi đang lấy chỉ mục hàng cũ và chỉ mục cột cũ để xem chỉ mục hàng và chỉ mục cột của chúng tôi.
Chỉ mục cột chỉ mục hàng của chúng tôi bằng với vị trí tiếp theo của chúng tôi và vị trí tiếp theo của chúng tôi sẽ cần
chỉ mục hàng, cột, chỉ mục và hành động.
Cuối cùng, chúng tôi đang xem xét một phần thưởng.
Giá trị Q cũ của chúng tôi sẽ là giá trị Q với chỉ mục hàng cũ, chỉ mục cột cũ, và một lần nữa, tham chiếu chỉ
số hành động của chúng tôi và tính toán chênh lệch thời gian của chúng tôi, đó là phần thưởng của chúng tôi, cộng
với hệ số chiết khấu nhân với giá trị Q với hàng chỉ mục và chỉ số cột trừ đi giá trị Q cũ từ giá trị Q
trước đó.
Gần như đã hoàn thành khi chúng ta cần giá trị Q mới, là giá trị Q cũ của chúng ta cộng với tốc độ
học tập, thời gian, chênh lệch thời gian và các giá trị Q của chúng ta với chỉ số hàng cũ trong chỉ mục cột cũ của chúng ta bằng
giá trị Q mới.
Nếu các bạn muốn thảo luận thêm lần nữa về vấn đề này, hãy giới thiệu Q&A.
Xin vui lòng in.
Hãy thử thử nghiệm với tất cả các biến được sử dụng ở đây.
Nếu bạn muốn xem các hình dạng, hãy xem cách chúng có thể được sử dụng, những gì nó tham chiếu.
Tôi thực sự giới thiệu nó và tôi rất vui khi được thảo luận thêm về nó.
Một điều cuối cùng chúng tôi có thể làm, vì vậy chúng tôi có một chút thông báo.
Hãy thêm một câu lệnh in để chúng ta biết khi nào quá trình huấn luyện hoàn tất cho 1000 hàng của chúng ta.
Được rồi.
Nếu không có lỗi cú pháp nào từ phía tôi, chúng ta nên thực hiện.
Sổ ghi chép cộng tác được khởi tạo.
Tôi sắp xếp lại mọi thứ.
Hãy để tôi chạy cái này.
Nó sẽ rất nhanh chóng vì chúng tôi chỉ sử dụng numpy.
Đó là một mô hình được tối ưu hóa theo một nghĩa nào đó.
Hãy để tôi nhấp vào đây và sau đó chúng tôi sẽ tìm kiếm con đường ngắn nhất.
Được rồi.
Chúng tôi đã đào tạo xong.
Hãy cũng in đường dẫn ngắn nhất cho một số tùy chọn bắt đầu.
Vì vậy, chúng tôi đang bắt đầu ở hàng ba, cột chín, với tùy chọn đường đi ngắn nhất với đường đi ngắn nhất của chúng tôi.
Chúng tôi muốn xem xét hàng năm và số 0 và bắt đầu từ hàng chín và cột số năm.
Hãy in chúng ra.
Đáng kinh ngạc.
Chúng tôi có con đường ngắn nhất, nhưng chúng tôi chưa hoàn thành.
Chúng ta gần đến rồi.
Chúng tôi có thể thấy người đưa thư của chúng tôi tự động nhận được con đường ngắn nhất từ một vị trí hợp pháp mà chúng tôi có thể xem xét từ thành phố
của chúng tôi đến khu vực đóng gói vật phẩm.
Nhưng điều gì sẽ xảy ra đối với kịch bản ngược lại hoặc ngược lại?
Về cơ bản đề cập đến Người đưa thư của chúng tôi có thể giao một mặt hàng từ bất kỳ đâu trong thành phố đến khu vực đóng gói không?
Nhưng sau món hàng, nó sẽ cần phải đi rồi từ khu vực đó, từ khu vực đóng gói đến một địa điểm khác trong thành
phố, bởi vì nó sẽ phải lấy món hàng tiếp theo.
Vậy chúng ta có thể làm gì để giải quyết vấn đề này?
Và nó thực sự khá đơn giản.
Bạn có thể sửa lại thứ tự của đường đi ngắn nhất.
Hãy thử nghĩ về điều đó trong một giây và đây sẽ là giải pháp.
Chúng ta có thể sử dụng con đường ngắn nhất.
Vì vậy, hãy lấy hàng năm và cột hai và sau đó tất cả những gì bạn cần làm là sử dụng tùy chọn ngược lại.
Với Python, chúng ta sử dụng đảo ngược đường dẫn và chúng ta có thể in ra đường dẫn.
Vì vậy, chúng tôi đang xem xét năm và hai.
Và chúng ta bắt đầu.
Chúng tôi có con đường ngắn nhất và nó thực sự hữu ích nếu bạn muốn lấy hình ảnh trong ô và đưa nó xuống để
so sánh và xem xét các con đường đó.
Nhưng bạn thực sự có thể nhìn thấy các đường dẫn nếu bạn lấy bản sao kê đã in ra, nhìn vào cột theo thứ
tự và xem những người bán hàng này đang đi như thế nào.
Vì vậy, công việc tuyệt vời mà bạn đang sử dụng.
Q Học tập.
Những gì chúng tôi học được từ khóa học này có một phần nhỏ và một kịch bản thú vị và thú vị để giải quyết loại
vấn đề cơ bản của người bán hàng lưu động này.
Chúng tôi đang tìm người đưa thư để chuyển các gói hàng và vật phẩm trong thành phố để tìm các phương án ngắn nhất và
con đường ngắn nhất.
Tôi thực sự khuyên bạn nên tùy chỉnh, thử nghiệm các tùy chọn khác, thay đổi các thông số siêu và nếu bạn phát hiện ra
bất kỳ điều gì tốt hơn, nếu bạn phát hiện ra bất kỳ thông số tối ưu hóa hoặc tốt nhất nào để sử dụng, vui lòng chia sẻ
chúng trong phần Hỏi và Đáp.
Kinh ngạc.
Tôi hy vọng các bạn thực sự thích điều này.
Vui lòng tùy chỉnh, thử nghiệm và tiếp tục học hỏi.
Thật là vui khi được làm việc cùng.
Q.
Học tập và tận hưởng i.