Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Trước đây, chúng tôi đã có một hướng dẫn khá vất vả và dài về các quy trình ra quyết định của Markov, hy vọng
bạn hiểu rõ điều đó và hy vọng tôi có thể giải thích mọi thứ theo cách dễ hiểu và hấp dẫn.
Và hôm nay chúng ta sẽ nói về chính sách so với kế hoạch.
Đây sẽ là một hướng dẫn nhanh chóng và thú vị vì bây giờ chúng ta đang bước vào một thế giới mới.
Chúng ta đang bước vào thế giới của tìm kiếm ngẫu nhiên, tìm kiếm không xác định, khi nó không chỉ là để vượt qua mê
cung mà còn tính đến các yếu tố ngẫu nhiên có thể đập vào đầu bạn khi bạn đi
qua mê cung này và bạn cần phải hãy chuẩn bị cho họ.
Đó là thế giới mà đại lý của chúng tôi đang sống.
Và nó vui hơn, nhưng nó cũng nguy hiểm hơn.
Nó tốt hơn rồi.
Nó ít dự đoán hơn.
Vì vậy, đại lý của chúng tôi sẽ hành xử như thế nào?
Chúng ta hãy có một cái nhìn.
Có khung quy trình quyết định Markov của chúng tôi, đây một lần nữa là phương trình bellman yêu thích của chúng tôi.
Tuy nhiên, phiên bản nâng cao hơn của phương trình bellman mà chúng tôi đang làm việc.
Vì vậy, từ bây giờ, chúng ta sẽ gọi phương trình phát triển này.
Và ở đây, chúng tôi có mức tối đa cho tất cả các hành động.
Vì vậy, giá trị của một trạng thái và các trạng thái là giá trị lớn nhất trên tất cả các hành động mà một tác nhân có thể
thực hiện trong trạng thái đó.
Và số tiền tối đa được lấy từ phần thưởng mà nhân viên sẽ nhận được khi thực hiện hành động a ở các trạng thái, cộng
với hệ số chiết khấu nhân với giá trị kỳ vọng của trạng thái mới.
Nó sẽ ở trong và các giá trị mong đợi được lấy ở đây vì chúng không biết chính xác trạng thái cuối cùng sẽ ở
trạng thái nào.
Có một số hiệu ứng ngẫu nhiên xuất hiện trong môi trường có thể làm thay đổi trạng thái và không phải bạn có thể không đạt
được trạng thái mong muốn.
Bạn có thể kết thúc ở một trạng thái khác.
Và đó là lý do tại sao chúng tôi đang lấy giá trị mong đợi ở đây, tổng này ở đây.
Vì vậy, hãy xem đây là ví dụ của chúng tôi hoặc trong ví dụ của chúng tôi về mê cung.
Vì vậy, đây là những gì chúng tôi đã có trước đây.
Vì vậy, trước đây chúng tôi đang xử lý tìm kiếm xác định, vì vậy chúng tôi biết điều đó.
Được rồi, vì vậy nếu tôi ở đây, tôi chắc chắn cần phải đến đây.
Nếu tôi ở đây, tôi chắc chắn cần phải đến đây.
Nếu tôi ở đây, tôi ở đây.
Vì vậy, tất cả đều khá đơn giản.
Khi bạn có bản đồ này và nhớ rằng chúng tôi đã gọi nó, chúng tôi gọi nó là một kế hoạch.
Khi bạn đã có kế hoạch, việc bạn cần làm là khá đơn giản.
Có lỗi.
Vì vậy, đó là kế hoạch với các mũi tên.
Và từ đây, rất dễ hiểu đây là đâu.
Đây là những con đường mà đại lý sẽ thực hiện.
Bất cứ nơi nào bạn bắt đầu trên đường màu xanh này, đó chính xác là con đường bạn sẽ đi.
Tuy nhiên, bây giờ chúng tôi không có kế hoạch nữa.
Chúng ta không thể có kế hoạch bởi vì, bạn biết đấy, bất cứ điều gì chúng ta lên kế hoạch đều có thể không xảy ra.
Nó không nằm trong tầm kiểm soát của chúng tôi.
Kế hoạch là khi bạn biết chính xác những gì bạn cần làm tiếp theo.
Bạn biết các bước.
Vì vậy, bạn có một điểm xuất phát, bạn có một mục tiêu, và bạn biết từng bước một để bạn có thể lập kế
hoạch cho chúng.
Bạn giống như, tôi sẽ làm cái này, tôi sẽ làm cái này, tôi sẽ làm cái này.
Giống như cuộc sống của bạn, như một kế hoạch.
Nhưng đồng thời, có quá nhiều sự ngẫu nhiên đang diễn ra.
Bạn không thể có một kế hoạch vì điều gì sẽ xảy ra nếu bạn đến đây và sau đó bạn nhấp vào bên phải và thực sự hạ
gục bạn?
Vì vậy, đó không phải là một phần trong kế hoạch của bạn.
Vì vậy, đó là lý do tại sao nó không được gọi là kế hoạch nữa.
Và ở đây chúng ta sẽ tính toán các giá trị hoặc chúng ta thực sự sẽ chỉ xem
xét các giá trị được tính toán cho cùng một vấn đề này.
Nhưng dựa trên cơ bản, cho rằng chúng ta có sự ngẫu nhiên bên trong, vì vậy đây là các giá trị mới.
Và tại sao những giá trị này lại khác nhau?
Vì vậy, chúng ta hãy so sánh nó với những gì chúng ta đã có trước đây.
Đây là những gì chúng tôi đã có trước đây.
Đây là những giá trị mới.
Vì vậy, một lần nữa, trước đây bạn có thể thấy 10. 9, 0. 81, 73, 66 và đây là những gì chúng ta có bây giờ, 86.
Vì vậy, bài một, 74, 71, 63, v.v.
Và nhân tiện, đây không phải là những giá trị chính xác mà tôi nghĩ, nhưng nếu chúng ta chạy một đại lý,
các giá trị sẽ tương tự như thế này.
Và các giá trị có thể thay đổi vì tùy thuộc vào gamma mà chúng ta chọn 0. 9 hoặc giá trị khác.
Nhưng tuy nhiên, vì lý do tranh luận, đây là những giá trị mà chúng ta đang xử lý hiện nay.
Và chúng gần đúng.
Họ truyền đạt toàn bộ khái niệm theo cách chính xác.
Vì vậy, chúng ta hãy xem xét chúng.
Tại sao họ lại thay đổi?
Chà, tại sao lại ở đây, hãy bắt đầu với cái này.
Ở đây giá trị là một.
Tại sao tự nhiên lại là con số 0. 86?
Tại sao nó ít hơn một?
Chúng ta có thể đi từ đây không?
Nơi đây?
Chà, chúng tôi thực sự gọi nó là vì từ đây, nếu chúng tôi đi đúng, đó là ý định của chúng tôi, nếu chúng tôi đúng, chúng
tôi có thể thực sự với 10% cơ hội chúng tôi sẽ kết thúc ở đây.
Vì vậy, chúng tôi sẽ gặp bức tường và chúng tôi sẽ trở lại trạng thái này và hãy nhớ rằng, chúng tôi có một gamma
nên giá trị sẽ được chiết khấu và hoặc có hoặc với 10% cơ hội sẽ kết thúc ở đây trong trạng thái này.
Vì vậy, không phải 100% khả năng tôi sẽ đến được đây.
Vì vậy, do đó giá trị này có thể không còn là một.
Đó là một cái gì đó ít hơn và nó, giả sử bằng 0. 86.
Vì vậy, đó là một ví dụ về lý do tại sao nó như thế này.
Và bạn có thể nhận được giá trị chính xác nếu bạn tính toán phương trình Belmont, phương trình Belmont đầy đủ mà chúng ta
có bây giờ.
Vấn đề duy nhất là sẽ có một số đệ quy vì bạn sẽ cần biết giá trị cho điều này và sau đó
bạn cần biết giá trị cho điều này.
Nó khá phức tạp và đó là lý do tại sao chúng tôi không thực hiện các phép tính theo cách thủ công ở đây.
Đó là lý do tại sao a nhưng.
Tôi có thể làm chúng vì nó đang trải qua tất cả những điều này.
Nó giống như không có gì quá phức tạp để AI tính toán những thứ này.
Vì vậy, đó là giá trị của chúng tôi ở đây.
Nhưng chúng ta hãy nhìn vào những cái khác nhau.
Vì vậy, ở đây nó từng là 0. 9 chỉ vì hệ số chiết khấu.
Hãy nhớ rằng, từ đây đến đây một lần nữa, bây giờ từ đây, chúng ta không thể chỉ nhảy từ đây sang đây đơn giản bởi vì
ngay cả khi chúng ta nhảy nếu chúng ta đi như thế này, chúng ta có thể sẽ quay lại đây.
Quay lại đây, phải.
Có 20% khả năng chúng ta vẫn ở lại quảng trường bởi vì chúng ta sẽ va phải một bức tường và cứ thế tiếp tục.
Vì vậy, giá trị của ở đây là 0. 71.
Một lần nữa, đây là hệ số chiết khấu, điều này có thể trông kỳ lạ đối với bạn rằng đây là ngay cả với hệ số chiết khấu,
điều này là quá cao.
Có thể hệ số chiết khấu trong ví dụ này không phải là 0. 9, có thể là 0. 99 hoặc cái gì đó tương tự.
Vì vậy, đừng lo lắng về điều đó.
Cũng giống như tập trung vào điều đó.
Các giá trị đã thực sự thay đổi và các giá trị bây giờ ít hơn, chủ yếu là vì nó không phải là xác suất 100% để đạt
được trạng thái mà bạn muốn.
Và điều bạn sẽ thấy thú vị là ở đây nó từng là 0. 9 và nó thực sự đã giảm
rất nhiều.
Nó đã giảm đáng kể.
Tại sao vậy?
Chà, bởi vì nếu bạn đi từ đây lên, đó là ý định của chúng tôi, thì có
10% khả năng va vào tường, nhưng có 10% khả năng thực sự rơi vào vòi rồng và thua trừ đi một phần thưởng.
Và về cơ bản, điều đó có nghĩa là đối với đặc vụ, đó là kết thúc của trò chơi.
Và vì vậy đây là một trạng thái rất tồi tệ.
Vì vậy, đột nhiên, hãy nhớ rằng, chúng tôi đã có 0. 9 ở đây một điểm.
Vì vậy, chúng tương đương nhau.
Không quan trọng bạn ở đây hay ở đây, chúng khá bình đẳng về giá trị của việc tồn tại ở mỗi trạng
thái này.
Nhưng bây giờ đột nhiên, bam, trạng thái này giống như tốt gần gấp đôi trạng thái này.
Đơn giản chỉ vì ở đây, nếu bạn đi thẳng đến bạn, đi đúng nơi bạn muốn.
Hậu quả của sự ngẫu nhiên xảy ra là bạn cứ ở đây.
Nơi đây.
Một trong những hậu quả, 10% khả năng là bạn sẽ rơi xuống hố.
Vì vậy, như bạn có thể thấy, đây không còn là trạng thái tốt như vậy nữa, đơn giản là vì một điều gì đó biến động
có thể xảy ra.
Như bạn có thể thấy, cái này cũng rất tệ vì nó tệ như cái này ở chỗ chỉ có 10% khả
năng kết thúc cuối cùng, 10% khả năng kết thúc trong tường.
Nhưng đồng thời, có một yếu tố chiết khấu.
Vì vậy, trước hết, yếu tố chiết khấu và cũng là sau này, bạn phải đi đến đây.
Và ngay cả khi theo giả thuyết, bạn đã đến đây, bạn vẫn có thể rơi xuống hố một lần nữa.
Vì vậy, cơ hội đó cũng sẽ được tính đến bởi vì hãy nhớ rằng, giá trị này được bắt nguồn từ
giá trị này và giá trị này được bắt nguồn từ giá trị này, phải không?
Và do đó nó nhỏ.
Nhưng trên thực tế, những gì tôi nói đã sai.
Giá trị này không bắt nguồn từ giá trị này.
Vì vậy, nếu bạn chỉ cần xem xét bây giờ, bạn sẽ nhận thấy rằng giá trị V0 này ở đây thực sự lớn hơn giá trị
này.
Bạn sẽ nhận thấy rằng đối với đại lý, tốt hơn là nên đi theo cách này hơn là cách này.
Và nó có ý nghĩa, phải không?
Vì cách này không ăn thua.
Không có cơ hội nhận được hố.
Vâng, nó lâu hơn một chút.
Và do đó, yếu tố chiết khấu có ảnh hưởng lớn hơn.
Nhưng đồng thời, đơn giản vì ở đây có cơ hội lọt vào hố, nếu đi thẳng thì
sẽ có cơ hội nhảy qua.
Vì vậy, nó sẽ mất nhiều thời gian hơn và nó sẽ chỉ quanh quẩn vì theo cách đó, cơ hội đạt được nó sẽ
thấp hơn nhiều.
Vẫn còn đó.
Vì vậy, từ đây nó đi đến đó.
Từ đây nó đi đến đó.
Nó có khả năng đi vào hố bởi vì nó có thể kết thúc ở đó và sau đó có thể kết
thúc trong hố, nhưng tuy nhiên, đó là cơ hội ít hơn.
Vì vậy, nó sẽ chỉ xoay quanh như vậy.
Vì vậy, rất thú vị để xem tất cả chúng thay đổi như thế nào.
Hãy nhớ trước đây từ đây bạn sẽ đi như vậy.
Từ đây bạn sẽ đi như thế, và từ đây bạn đi như vậy.
Và bây giờ đột nhiên bạn có thể thấy nó thay đổi.
Vì vậy, chúng ta hãy vẽ các mũi tên và xem nó trông như thế nào bây giờ.
Và thì đấy, bạn còn thấy một điều ngẫu nhiên hơn nữa, phải không?
Vì vậy, có, điều này là đúng.
Nhưng hãy nhìn những gì đã xảy ra ở đây.
Nhìn cái này.
Bạn có mong đợi điều đó không?
Đó là điều chắc chắn giống như khi tôi nhìn thấy nó lần đầu tiên, tôi đã rất ấn tượng.
Tôi không ngạc nhiên.
Và tôi đã không mong đợi điều này ở tất cả.
Và đây là một ví dụ về thời điểm tôi có thể thông minh hơn một con người.
Nó không giống như một cái gì đó mà bạn thậm chí không thể đoán trước được.
Nhưng chữ A. TÔI. , thông qua học tập củng cố,
hãy nhớ rằng ví dụ về những con chó đôi khi thực sự có thể hoạt động tốt hơn những con chó bình thường trong đời thực hoặc những con chó robot được lập trình trước, hoặc có thể chơi
bóng đá đơn giản chỉ vì chúng nảy ra những ý tưởng mà ngay cả chúng ta cũng không thể nhìn thấy.
Và đó là một ví dụ tuyệt vời.
Đúng.
Vì vậy, bạn có thể cũng không mong đợi điều đó, rằng đại lý, thay vì đi lên, nó giống như, tại
sao tôi muốn nếu tôi đi lên thì có 10% khả năng tôi sẽ nhảy xuống vực.
Nhưng nó đạt được gì bằng cách đi vào tường?
Chà, 80% thời gian nó sẽ quay trở lại và giữ nguyên trạng thái này, nhưng 10% thời gian nó sẽ ở đây và
10% thời gian nó sẽ ở đây.
Vì vậy, đột nhiên bạn có thể thấy rằng bây giờ nó thực sự nằm trong cách tiếp cận mới này là nhảy vào tường.
Có 0% khả năng nó sẽ đi vào hố lửa từ vị trí này.
Vì vậy, và nó giống như thực sự không muốn đi vào hố lửa.
Vì vậy, nó kéo liên kết nảy vào tường một vài lần và sau đó nó sẽ.
Đi sang phải hoặc trái tại một thời điểm nào đó bởi vì sự ngẫu nhiên đó sẽ xảy ra.
Và vì vậy nó đã học được điều đó thông qua thử nghiệm.
Nó học được rằng khi tôi đi về phía trước, kết quả không tốt bằng khi tôi đi đến bức tường.
Và nếu bạn nghĩ về nó, nó giống như con rô bốt này, nếu bạn nghĩ về nó giống như một cái hố
lửa, nó rất giống nó, nó giống như một hình vuông này giống như một cái gờ rất nhỏ.
Và sau đó điều này giống như một ngọn núi, như một vách đá.
Và con robot này chỉ đang ôm lấy vách đá và cố gắng chờ đợi cho đến khi nó, như, đẩy nó sang phải hoặc sang
trái bởi vì, với tư cách là con người, bạn có thể cũng làm như vậy.
Bạn sẽ không đứng đối diện với cách đó.
Theo cách đó, bạn sẽ ôm vào vách đá, đúng không.
Hay đại loại thế.
Và hy vọng rằng bạn không bao giờ cần phải kết thúc, bạn sẽ không bao giờ rơi vào tình huống như thế.
Nhưng giống như trực quan, chỉ là trực quan, nếu bạn nghĩ về nó, điều tương tự ở đây.
Và vì vậy điều đó khá dữ dội, phải không?
Vì vậy, tôi đã nảy ra ý tưởng này và tương tự ở đây rằng thay vì đi sang trái và mạo hiểm đánh
nhau, nhưng tôi sẽ thử bật khỏi tường, như ôm tường, cố gắng nhảy vào tường vào một lúc
nào đó .
Tôi biết rằng chỉ cần có xác suất là có 10% cơ hội.
Mỗi lần như vậy, tôi sẽ đến đây và đôi khi nó sẽ xảy ra và tôi sẽ kết thúc ở đây và tôi sẽ an toàn
và sau đó tôi sẽ cứ tiếp tục như vậy.
Cách tiếp cận rất, rất thú vị mà tôi đã thực hiện ở đây và như bạn có thể thấy, gốc rễ là như thế này.
Vì vậy, từ đây nó có thể đi sang phải và sau đó nó sẽ đi phải đến lối ra hoặc ở đây
nó sẽ đi sang trái như vậy và ở đây một lúc nào đó nó sẽ đi sang trái và nó sẽ lại đi như vậy.
Điều này là quan trọng để hiểu.
Nó không phải là một chính sách.
Vì vậy, ngay cả khi nó nhảy từ đây, nó có thể sẽ đến đây.
Và từ đây nó có thể thực sự, thay vì đi thẳng, nó thực sự có thể quay trở lại bên phải và
sau đó từ đây có thể đi sang bên trái nó sẽ đi.
Được rồi.
Vì vậy, có rất nhiều tùy chọn khác nhau cho nó.
Vì vậy, nó có thể không tuân theo chính xác điều này.
Tôi có thể đi theo hướng khác.
Đây chỉ là tuyến đường mong muốn mà nó được thiết kế cho chính nó.
Nhưng cách nó sẽ diễn ra thực sự có thể khác.
Nó phụ thuộc vào thế giới thực.
Vậy là xong.
Đó là thế giới của trí tuệ nhân tạo.
Chính sách so với kế hoạch là như vậy.
Và hy vọng rằng bạn đang dần trở nên hào hứng với những gì AI có thể làm, đặc biệt là với những gì chúng ta
đã thấy ở đây.
Đây là một số loại quyết định rất điêu luyện mà AI đang đưa ra.
Và như bạn thấy, khi áp dụng AI, ngay từ ví dụ nhỏ này, bạn có thể thấy rằng khi chơi
AI trong thế giới thực, có thể bạn sẽ nảy ra những ý tưởng và quyết định mà đôi khi con người không nghĩ ra
được.
Và đó chính xác là những gì đã xảy ra trong những ván đấu mà AlphaGo của Google đang đấu với
Lee Sedol, nhà vô địch cờ vây ở Hàn Quốc, trở lại nhà vô địch cờ vây thế giới.
Và họ đã chơi ở Hàn Quốc hồi năm 2016, tôi nghĩ đó là tháng 3 năm 2016.
Nó đưa ra một số chiêu thức mà con người chưa bao giờ chơi trong 3000 năm hoặc con người không quen chơi.
Và đây chính xác là một ví dụ về điều đó.
Vì vậy, một lần nữa, tôi hy vọng bạn sẽ hào hứng và hứng thú với khóa học này và về những gì chúng tôi
sẽ tạo ra.
Và tôi mong được gặp bạn lần sau.
Cho đến lúc đó, hãy tận hưởng.
TÔI.