Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Trong hướng dẫn hôm nay, chúng ta sẽ có một số điều thú vị.
Chúng ta sẽ xem xét một trí tuệ nhân tạo thực sự đi xuyên qua mê cung mà chúng ta đã
nói đến từ rất lâu.
Và nó sẽ sử dụng phương pháp học chính để điều hướng và tìm ra lối thoát.
Và chúng ta sẽ xem điều gì sẽ xảy ra với các giá trị gợi ý, điều gì sẽ xảy ra với chính sách, v.v.
Vì vậy, chúng ta hãy xem xét.
Chúng tôi sẽ sử dụng một số tài liệu do Đại học Berkeley cung cấp.
Vì vậy, nếu bạn truy cập I, Berkeley, B, r k e l e y edu, nếu bạn chỉ vào liên kết đó, hãy nhập, bạn sẽ thấy trang
web này.
Và đây những gì chúng ta sẽ xem xét là chúng ta sẽ đi đến các dự án Pacman, tôi nghĩ vậy.
Ừ.
Dự án Pokemon.
Và ở đây nếu bạn cuộn xuống và nhìn vào phần học tăng cường, đây là những gì chúng tôi đang làm việc.
Vì vậy, ở đây bạn có thể tải xuống kho lưu trữ zip.
Vì vậy, đó là nếu bạn muốn, vì vậy bạn không cần phải làm thế.
Đây là chúng ta sẽ không cùng nhau xem xét giải pháp trong hướng dẫn này.
Tôi chỉ cho bạn biết tất cả điều này đến từ đâu bởi vì chúng tôi rất thích, chúng tôi thực sự
đánh giá cao rằng UC Berkeley đã cung cấp những tài liệu này.
Nhưng nếu bạn muốn tự mình thử nghiệm điều này, hãy nhớ rằng đây không phải là một phần mà nó sẽ không nằm trong
khóa học của chúng tôi.
Đây là một phần của khóa học Berkeley.
Tôi sẽ chỉ cho bạn cách nó hoạt động với mục đích minh họa.
Nhưng nếu bạn muốn thử nghiệm điều này, bạn có thể tìm thấy nó ở đây, kho lưu trữ zip và tất cả
các hướng dẫn.
Và chúng ta sẽ đi vào Python ngay lập tức.
Và điều đầu tiên tôi muốn cho bạn thấy là ở đây chúng tôi có thông tin cấp phép.
Vì vậy, đây là những gì tôi muốn nói.
Chúng tôi rất may mắn khi họ nói rằng chúng tôi có thể tự do sử dụng hoặc mở rộng các dự án này cho các mục
đích giáo dục, bạn biết đấy, các giải pháp phân phối, mà chúng tôi sẽ không làm.
Bạn giữ lại thông báo này mà chúng tôi có và bạn cung cấp ghi công rõ ràng cho UC Berkeley, bao gồm một liên
kết mà chúng tôi cũng có.
Vì vậy, một lần nữa, nếu bạn muốn tìm hiểu thêm, có một liên kết mà bạn có thể xem qua.
Và xin gửi lời cảm ơn chân thành nhất đến tất cả những người đã làm việc trong dự án này.
Vì vậy, đây là thế giới lưới mà chúng tôi sẽ làm việc với.
Có một giải pháp ở đó.
Bạn sẽ phải làm cho nó hoạt động, bạn phải tự cô lập mình hoặc có thể tìm
ra giải pháp.
Có thể một số người trong số bạn hoặc một số người, ai đó bạn biết có thể giúp bạn thoát khỏi điều đó nếu một lần nữa, bạn muốn.
Bạn không cần phải làm như vậy, vì chúng ta sẽ xem xét nó trên màn hình này ngay bây giờ.
Vì vậy, sau khi chúng tôi đã tạo tất cả các tệp đó, chúng tôi có thể khởi chạy nó ở đây.
Vì vậy, có một số thông số liên quan đến toàn bộ thế giới này.
Và bây giờ tôi sẽ chỉ cho bạn thấy nó trông như thế nào nếu chúng tôi khởi chạy nó.
Vì vậy, hãy thử khởi chạy nó ở chế độ thủ công.
Vì vậy, nếu tôi trừ đi một trong các thông số này ở đây bằng tay để tôi có thể điều khiển tác nhân theo cách thủ công.
Vì vậy, ở đây bạn có thể thấy lưới của chúng tôi.
Vì vậy, tôi có thể đi lên, đi lên.
Vì vậy, bạn có thể thấy rằng nó đang hành động, bắt đầu và bắt đầu ở các trạng thái mà tôi đã ở đó.
Và sau đó bạn thấy bạn thấy rằng tôi đã ép lên, thực hiện hành động về phía bắc và lần đầu tiên tôi kết thúc bằng con số không.
Vì vậy, tôi đã đi lên.
Nhưng lần thứ hai tôi thực hiện hành động và kết thúc ở trạng thái tương tự.
Tôi không di chuyển.
Vì vậy, một cái gì đó đã xảy ra.
Sự ngẫu nhiên đã xảy ra.
Tôi đã đi sang trái hoặc phải, và theo mặc định, các thông số được thiết lập.
Bạn có thể thấy ở đây theo mặc định, chúng được đặt thành chính xác những gì chúng ta đã thảo luận rằng tần suất hành động dẫn đến
theo hướng không mong muốn là 20% thời gian, 10% ở bên trái, 10% ở bên phải.
Vì vậy, nếu tôi đi lên, bạn thấy đấy, tôi đi lên, tôi đi đúng.
Tôi đã đi ngay bây giờ.
Đã không xảy ra đúng một lần nữa và đúng.
Và tôi đã hoàn thành.
Nhưng trong quá trình triển khai này, bạn phải nhấp lại để thoát ra khỏi kết quả cuối cùng này.
Vì vậy, ra khỏi lối ra, bạn chỉ cần nhấp lại một lần nữa và bạn đã hoàn thành.
Đó là trạng thái đầu cuối để chúng tôi có thể chạy hướng dẫn sử dụng.
Bạn có thể thấy điều đó nếu tôi đi sang phải, sang phải, sang trái, lên trên.
Vì vậy, ở đây những gì chúng ta đã thấy trước đây rằng đại lý sẽ không đi thẳng lên, phải không?
Đi lên có ích gì nếu có cơ hội xuống hố?
Vì vậy, chúng ta hãy xem những gì các đại lý sẽ làm.
Bạn sẽ đi sang trái, bạn sẽ đi về phía Tây ở đây, vì vậy hãy đi về phía Tây.
Và bạn thấy đấy, tôi đã nhấp chuột trái, nhưng nó tăng lên và ở đây tôi sẽ nhấp chuột phải và tôi kết thúc
ở trạng thái thoát cuối cùng và bạn thấy phần thưởng bằng một.
Vì vậy, đó là những gì nó trông giống như thủ công.
Bây giờ chúng ta hãy thực sự kết nối một AI với điều này và để nó diễn ra.
Vì vậy, chúng ta hãy làm một H ở đây và chúng ta hãy thêm một số tham số.
Vì vậy, hãy để tôi chỉ xem những gì tôi đã nhập ở đây.
Vì vậy, hy vọng bạn có thể nhìn thấy thế giới lưới của trăn chấm P, sau đó ở đây trừ đi R có nghĩa đó là phần thưởng cho cuộc
sống.
Vì vậy, tôi đã có hai trong số chúng, vì vậy tôi có lẽ nên xóa cái này.
Vậy trừ đi K được bao nhiêu lần lặp?
Đó là cách quá nhiều lần lặp lại.
Hãy làm ít hơn.
Hãy làm như mười lần lặp lại.
Như vậy là đủ.
Trừ a là tác nhân mà tôi muốn thực hiện loại tác nhân nào đối với tác nhân ngẫu nhiên, tác nhân giá trị nào đó
hoặc Q Q Vì vậy, tôi muốn tác nhân học Q Q thực hiện điều này trừ đi s là tốc độ của s.
Vì vậy, đó là cách quá nhanh.
Bây giờ hãy chỉ sử dụng tốc độ mặc định.
Điểm trừ R là hình phạt sống.
Vì vậy, theo mặc định là số không.
Vì vậy, hãy nhớ rằng ngay từ đầu chúng ta đã bắt đầu với án phạt bằng không.
Vì vậy, chúng ta hãy gọi nó cũng là số không.
Ở đây chúng ta chỉ có thể loại bỏ tham số này và dx là chiết khấu DX là gì.
Vì vậy, hệ số chiết khấu của chúng tôi.
Vì vậy, hãy giữ nó ở mức 0. 9.
Rất giống với những gì chúng ta đã bắt đầu trong phần này của khóa học.
Vì vậy, chúng ta hãy chạy lại theo cách đó quá nhanh.
Tôi nghĩ.
Ồ, thực ra, nó rất đẹp.
Vì vậy, bạn có thể thấy cách anh ấy khám phá.
Và cho đến nay anh ấy đã đạt mức tiêu cực ba lần.
Và bạn có thể thấy các giá trị Q đang được cập nhật như thế nào trong các ô vuông này.
Vì vậy, đây là những giá trị.
Chúng bắt đầu bằng con số không.
Bây giờ bạn có thể thấy các giá trị Q.
Vì vậy, anh ấy đã học được một lần nữa, điều này được thực hiện hơi khác một chút bởi vì khi bạn đi đến giai đoạn
cuối cùng, bạn phải thoát ra khỏi nó.
Bạn chỉ cần nhấp vào một nút nữa để thoát.
Và vì vậy nó rất gần với một, nhưng không chính xác là một.
Nhưng đồng thời, bạn có thể thấy rằng ở đây, bạn biết đấy, giá trị
đang dần kết tinh ở 0. 8 rõ ràng đang đến một nơi nào đó, nhưng phần còn lại cho đến nay chúng là số
không vì anh ta không có đủ thông tin để hiểu chuyện gì đang xảy ra.
Được chứ.
Vì vậy, chúng ta hãy xem chúng ta hãy xem những gì sẽ xảy ra ở đây.
Khám phá, khám phá, khám phá những gì sắp xảy ra.
Đã được một thời gian.
Và đừng quên, có một số ngẫu nhiên liên quan ở đây.
Vì vậy, có một hit tốt đó một vài lần bây giờ.
Anh ấy chỉ có mười lần lặp lại, vì vậy anh ấy phải học nhanh.
Tôi cần bạn ở đó.
Hãy xem những gì đang xảy ra.
Nào.
Ra khỏi mê cung đó rồi.
Và có mười tập phim thu về mức trung bình đến mức chúng tôi không thực sự quan tâm đến điều đó.
Vì vậy, ở đây hãy xem tôi chưa bao giờ nhìn thấy chúng trước đây.
Nếu tôi nhấp chuột phải vào đó, chúng tôi sẽ đi.
Vì vậy, bạn có thể thấy đây là chính sách mà anh ấy đã đưa ra dù chỉ qua mười tập phim.
Anh ấy đã có một chính sách.
Được rồi, tôi sẽ đi ba ba ba bùm.
Và đây, tôi sẽ đi xuống đây.
Tôi sẽ đi xuống đây.
Tôi sẽ đi vào bức tường và sau đó tôi sẽ bật ra đây.
Điều đó khá tuyệt.
Vì vậy, bây giờ chúng ta hãy tăng tốc độ.
Tham số sx ở đó là gì và hãy giống như nhân đôi.
Vâng, chúng ta hãy tăng gấp bốn lần tốc độ và tăng số lần lặp lại.
Vì vậy, giả sử 20 lần lặp lại lần này.
Hãy xem liệu anh ấy có thể vượt qua một chút nữa không để bạn có thể thấy anh ấy sẽ nhanh hơn một chút.
Và anh ấy đang học.
Anh ấy đang biết rằng nó không thực sự thoát khỏi trạng thái này.
Không có nhiều hành động tốt hoặc những hành động đúng và thẳng là không tốt.
Chắc chắn.
Điều này chắc chắn là không tốt.
Anh ấy vẫn cần phải học điều đó.
Vì vậy, từ đây nó cũng tốt.
Bạn có thể thấy rằng hành động này là khá tốt.
Được rồi.
Anh ta đã nhận được gì?
Được rồi, chính sách rất thú vị ở đây.
Anh ấy quyết định đi lên.
Chỉ là không đủ thông tin.
Vậy hãy.
Hãy làm lại điều đó.
Và hãy tăng tốc độ lên 100 like.
Vì vậy, nó siêu nhanh.
Và số lần lặp lại sẽ cung cấp cho họ 100 lần lặp lại STEM để chạy cảnh đó một CS nhanh
như điên.
Và bạn có thể thấy điều đó bởi vì có rất nhiều lần lặp lại.
Anh ấy có nhiều thông tin hơn, nhiều cơ hội hơn để thử nghiệm và thực sự xây dựng ra cái này, ma trận này hoặc ma trận này, những
giá trị hàng đợi này cho mọi trạng thái đơn lẻ mà anh ấy biết.
Bạn có thể thấy rằng 0. 89.
Những gì chúng tôi đã nói trong ví dụ của chúng tôi giống như 0. 86.
Một điều cần nhớ điều này rằng giá trị của bất kỳ trạng thái nhất định.
Hãy nhớ rằng công thức chúng ta có là giá trị Q lớn nhất.
Hãy nhớ rằng điều mà chúng tôi đã đưa ra công thức phím tắt.
Vậy giá trị trong trạng thái này sẽ là bao nhiêu?
V của trạng thái này, nó sẽ là 0. 89 vì đó là cao nhất trong số bốn.
Ở đây, giá trị của trạng thái này là 0. 71.
Giá trị của trạng thái này là 0. 61 và như vậy.
Vì vậy, đó là điều cần ghi nhớ.
Vì vậy, tôi nhớ trong ví dụ của chúng tôi, tôi nghĩ rằng chúng tôi đã có như 0. 86 hoặc cái gì đó, rất gần.
Và vì vậy nếu chúng ta tiếp tục đến đây, nó sẽ biến mất hoặc biến mất.
Hãy làm điều đó một lần nữa và hãy làm cho nó trở lại.
Được chứ?
Được chứ.
Từ từ, từ từ, từ từ.
Đang lấp đầy một số khoảng trống.
Tôi thấy.
Và nó cũng khá ngẫu nhiên vì không chỉ môi trường có sự ngẫu nhiên, mà còn cả cách anh ta khám phá lúc
bắt đầu khi anh ta không biết chính sách mà anh ta đang khám phá một cách ngẫu nhiên.
Nó cứ biến mất.
Tôi không hiểu tại sao.
Dù sao, vì vậy hãy xem điều gì sẽ xảy ra nếu chúng ta tăng số lượng ở đây và ở đây sẽ mất
khá nhiều thời gian.
Nếu tốc độ không có giới hạn.
Vì vậy, bạn có thể thấy anh ấy có nhiều cơ hội hơn để khám phá mọi thứ.
OC Hãy xem mọi thứ diễn ra như thế nào và bạn có thể thấy các giá trị đang hội tụ.
Chúng lên xuống tùy thuộc, bạn biết đấy, bởi vì có một số ngẫu nhiên và anh ta
có thể kết thúc như ở trong hố, mặc dù anh ta đi như thế này, nhưng đồng thời chúng bắt đầu
hội tụ lại một số loại kết thúc giá trị và.
Giá trị Q?
OC Có lẽ 1000 là một chút quá nhiều về mặt thời gian.
Có vẻ như tốc độ cũng đang tăng lên một cách tương xứng.
Vì vậy, nó có thể cắt phần đó.
Ý tôi là, như giảm tốc độ.
Ừ.
Trong khi điều này là rất dài.
Bạn không cần phải xem qua phần cuối của hướng dẫn này.
Tôi chỉ muốn thử nghiệm một chút.
Vì vậy, để cung cấp cho bạn một số ví dụ về những gì chúng tôi đã làm việc, nhưng bạn có thể hiểu được rằng nó đã trải qua
tất cả những điều này.
Nó có một số tính ngẫu nhiên, giống như Ram được tích hợp sẵn trong hành vi của nó.
Vì vậy, ngay cả khi nó có một chính sách thích hợp, nó vẫn sẽ tiếp tục khám phá.
Vì vậy, nó sẽ không giống như một khi nó có một chính sách cơ bản, nó sẽ không chỉ tiếp tục tuân theo chính sách của nó.
Nó vẫn sẽ thử nghiệm với các biến thể khác một lần để cải thiện chính sách của mình.
Có thể nó chưa tìm được chính sách tốt nhất ngay lúc đó.
Có thể nó có thể cải thiện chính sách.
Và đó là lý do tại sao, ngay cả sau rất nhiều lần lặp lại, bạn vẫn có thể thấy một số hiệu ứng ngẫu nhiên.
Đôi khi nó chuyển sang trạng thái ngẫu nhiên, không chỉ vì tính ngẫu nhiên trong môi trường, mà còn
vì có một số cấp độ giống như một thông số mà bạn có thể kiểm soát, mà bạn có thể thiết lập cho tác
nhân của mình, nói rằng hầu hết thời gian, 80% vào thời điểm đó, hãy làm bất cứ điều gì mà chính sách của bạn yêu cầu bạn phải làm.
Nhưng 20% thời gian, bạn biết đấy, chỉ cần có một số thử nghiệm thú vị và xem điều gì sẽ xảy ra và sử dụng thông
tin bạn thu thập được để cập nhật chính sách của mình.
Được chứ.
Điều này mất quá nhiều thời gian.
Hãy thử lại lần nữa.
Ừ.
Vì vậy, đó là cách đại lý học ở các trạng thái khác nhau.
Có lẽ.
Hãy chạy thêm một cái nữa chỉ vì tò mò.
Vậy có điều gì khác chúng ta có thể thay đổi về nó không?
Lặp lại chúng.
OC OC.
Chúng ta hãy có một cái nhìn.
Ví dụ, chúng ta có thể thay đổi chiết khấu.
Vì vậy, trong trường hợp này, chúng tôi có thể nói.
K -100, trừ đi một q đến số trừ chỉ là nghìn.
Vì vậy, phần thưởng.
Chúng tôi muốn giữ nó.
Có lẽ chúng ta hãy giữ nó ở mức 0. 04, nhưng hãy nói lại lần nữa.
Hãy giữ phần thưởng ở mức -0. 04 mỗi lần.
Và sau đây chúng ta sẽ nói rằng D.
Mức chiết khấu không phải là 0. 9, nhưng nó giống như 0. 5.
Vì vậy, nó được giảm giá khá nhiều khi bạn trải qua trò chơi.
Vì vậy, thực tế bây giờ nó sẽ được khuyến khích để gần kết thúc hơn là xa hơn nữa các trạng thái gần kết thúc, chúng tôi sẽ nhận
được giá trị cao hơn.
Vì vậy, bạn có thể thấy rằng giá trị nhanh chóng giảm xuống.
Nó không còn xanh như trước nữa.
Vì vậy, ở đây bạn có thể thấy rằng đây là chính sách bây giờ.
Vì vậy, nó diễn ra như thế, như thế, như vậy, như thế.
Rất giống với những gì chúng ta đã thấy trước đây.
Chỉ có lẽ sự khác biệt duy nhất từ đây là nhảy thẳng vào đây.
Vì vậy, đó là một trong những.
Và hãy chạy thêm một cái nữa.
Điều này thật sự rất vui.
Hãy chỉ chạy một nữa.
Vì thế.
K trừ k giảm 100 a q.
Giữ nó như ban đầu.
Vì vậy, hãy để tôi chỉ cần chạy thiết lập vani cơ bản này.
OC oc oc nó đi.
Hãy xem liệu nó có hiển thị cho chúng ta chính sách ở phần cuối hay không.
Đúng.
Chúng tôi có chính sách.
Đúng.
Kết thúc tốt.
Vì vậy, ở đây chúng tôi có chính sách.
Bạn biết đấy, điều này là quen thuộc.
Hãy nhớ rằng khi chúng ta thấy rằng AI vượt trội hơn con người, lao vào bức tường để đi
đến đó và lao vào bức tường để đi như vậy, để tăng xác suất.
Vậy là xong.
Đó là một ví dụ về trí tuệ nhân tạo đang hoạt động.
Rất, rất cơ bản, học giết đơn giản.
Vì vậy, không có học sâu ở giai đoạn này.
Nhưng đồng thời, nó cũng khá thông minh.
Và tôi hy vọng bạn thích hướng dẫn hôm nay.
Và một lần nữa, xin cảm ơn UC Berkeley và tôi hy vọng bạn thích bài hướng dẫn hôm nay và tôi mong được gặp
bạn lần sau.
Cho đến lúc đó, hãy tận hưởng.
TÔI.