Xin chào và chào mừng bạn trở lại khóa học về trí tuệ nhân tạo.
Tôi hy vọng bạn thích khóa học cho đến nay.
Và hôm nay chúng ta đang nói về các chính sách lựa chọn hành động.
Được rồi.
Hãy đi thẳng vào nó.
Trước đây, chúng ta đã nói về việc thêm mạng nơ-ron vào việc học đơn giản của chúng ta.
Và cho đến nay chúng tôi đang bắt đầu học sâu.
Chúng ta đã nói về phần học khá nhiều, bao gồm cả việc thêm một số yếu tố vào nó.
Và hôm nay chúng ta đang nói về phần này.
Chúng ta đang nói về diễn xuất.
Vì vậy, chúng ta hãy xem xét.
Vì vậy, ở đây chúng ta có những gì chúng ta đã thảo luận về hành động khi bạn nhập các giá trị, tham số hoặc vectơ
mô tả trạng thái mà tác nhân hiện đang ở, trong môi trường đó, sau đó, việc học được thực hiện
hoặc thậm chí trước khi việc học được thực hiện.
Về cơ bản, chúng tôi nhận được tất cả các giá trị cue.
Vì vậy, chúng tôi không quan tâm đến việc học ngay bây giờ.
Chúng tôi quan tâm đến việc diễn xuất.
Vì vậy, một khi chúng ta có các giá trị gợi ý này, làm thế nào để chúng ta hiểu chúng ta cần sử dụng giá trị nào?
Chà, nếu bạn nghĩ về nó, giá trị cue chỉ đơn giản là những dự đoán cho các giá trị khối lập phương.
Vì vậy, như chúng ta đã làm trong thuật toán học đơn giản, chúng ta đã làm gì?
Chúng tôi chỉ chọn một trong những tốt nhất, với giá trị gợi ý cao nhất.
Khi chúng tôi có một cái có giá trị cao nhất, chúng tôi chỉ thực hiện hành động đó vì nó chỉ mang lại cho chúng tôi giá
trị cao nhất.
Và chúng tôi biết điều đó.
Giá trị Q được tính là phần thưởng ngay lập tức mà chúng ta mong đợi nhận được, cộng với hệ số nhân với giá trị
của trạng thái tiếp theo.
Và đó là một phép tính đệ quy.
Vậy tại sao không?
Tại sao bạn không lấy giá trị hàng đợi tốt nhất?
Và đó là kiểu kết thúc của nó.
Nhưng như bạn có thể thấy ở đây, nó không đơn giản như vậy.
Ở đây chúng ta đang sử dụng hàm soft max và đây là nơi chúng ta sẽ nói về các chính sách lựa chọn hành động.
Vì vậy, ở đây, trong thực tế, chúng ta không nhất thiết phải có một hàm self max.
Chúng tôi có thể có các chính sách lựa chọn hành động khác nhau.
Ví dụ: chúng ta có epsilon tham lam, epsilon mềm và chúng ta có max mềm và những thứ đó giống như các chính sách
lựa chọn hành động được sử dụng phổ biến nhất.
Tất nhiên là có những người khác.
Ví dụ, điều cơ bản nhất là đây là một chính sách lựa chọn hành động rất đơn giản.
Chỉ cần chọn cái tốt nhất, cái có giá trị Q cao nhất.
Nhưng tại sao chính sách hành động đó không bay?
Và tại sao chúng ta lại có các loại chính sách hành động, chính sách lựa chọn hành động?
Chà, tất cả tóm lại là khám phá so với khai thác và đó là cốt lõi của việc học tăng cường, bởi vì chúng ta đã nói về điều này
một chút, rằng tác nhân của bạn, khi nó hoạt động trong một môi trường, nó có thể
dự đoán một số giá trị chính nhất định , cái nào có thể tốt, và nó có thể và nó
có thể không tốt.
Có thể những giá trị đó không tốt và chúng tôi sẽ buộc phải khám phá.
Vì vậy, nếu chúng ta, chẳng hạn, trong trường hợp này, dự đoán rằng Q hai là câu tốt nhất, và
sau đó bạn sẽ nhận được hai, thực hiện hành động hai, và từ đây nó thực hiện hành động hai và sau đó, nó sẽ nhận được
rất thưởng âm.
Sau đó, môi trường buộc người đại diện phải đi và khám phá bởi vì bây giờ họ sẽ học được điều
đó, ồ, thực ra tôi đã nghĩ Quý 2 sẽ rất tốt, nhưng hóa ra lại rất tệ.
Vì vậy, kết quả trở nên rất tệ.
Vì vậy, mạng sẽ tự cập nhật.
Vì vậy, lần tới khi anh ấy ở trong trạng thái này, anh ấy có thể sẽ vẫn chọn.
Câu hỏi hai, nếu có, bạn biết đấy, như thể nó rất, rất thuận lợi.
Vì vậy, bạn có thể nghĩ rằng điều đó giống như, bạn biết đấy, anh ta có thể cần một vài lần một vài hình
phạt hoặc hình phạt để biết rằng Q2 là một hành động xấu.
Nhưng có lẽ anh ấy sẽ sớm biết được điều đó.
Được rồi, tôi sẽ thực hiện một hành động khác.
Tôi sẽ thực hiện hành động này vì bây giờ nó có giá trị Q tốt nhất.
Vì vậy, đôi khi môi trường buộc tác nhân phải thực hiện các hành động khác nhau để khám phá các hành động khác nhau, nhưng đôi
khi tác nhân có thể thấy mình bị mắc kẹt trong mức tối đa cục bộ.
Nó có thể thấy rằng nó tiếp theo giống như thông qua khám phá ban đầu của nó.
Nó phát hiện ra rằng, ồ, đây là một hành động khá hay, giống như tôi sẽ đi ngay đây và đó là một hành
động khá hay.
Nhưng vấn đề là nó nghĩ rằng đó là hành động tốt nhất đơn giản vì nó chưa khám phá ra.
Nó được khám phá đi lên sẽ khám phá đi bên trái, người thám hiểm của nó đi bên phải, nhưng nó
đã không khám phá đi xuống từ trạng thái cụ thể mà nó đang ở đó.
Và bây giờ nó giống như thiên vị đối với hành động này, nó nghĩ rằng đó là một hành động tốt sẽ tiếp
tục thực hiện, sẽ tiếp tục nhận được.
Anh ấy tiếp tục thực hiện hành động này sẽ tiếp tục nhận được phần thưởng xứng đáng.
Nhưng điều gì sẽ xảy ra nếu hành động này thậm chí còn tốt hơn?
Nếu hành động này sẽ tốt hơn nhiều nếu nó biết về hành động này, nó sẽ thực sự chuyển sang
hành động này.
Nhưng vì nó bị mắc kẹt trong mức tối đa cục bộ và nó đang nhận được những phần thưởng tốt này,
nó sẽ được củng cố.
Nó chỉ tiếp tục củng cố bản thân nó hoặc môi trường sẽ củng cố nó rằng đây là một hành động
tốt để thực hiện.
Cứ làm thế.
Nhưng thực tế là thực tế là có một hành động khác mà nó chưa tìm thấy hoặc thậm chí chưa khám
phá sẽ tốt hơn nhiều.
Và vì vậy những gì chúng tôi muốn làm là chúng tôi muốn đưa ra chính sách lựa chọn hành động cho phép đại lý của chúng
tôi không bị mắc kẹt trong mức tối đa cục bộ.
Vâng, điều quan trọng là phải tiếp tục thực hiện các hành động tốt.
Đó là phần khai thác.
Chúng tôi muốn khai thác những gì chúng tôi đã tìm thấy, nhưng đồng thời chúng tôi vẫn muốn khám phá.
Chúng tôi không bao giờ muốn ngừng khám phá.
Giống như trong cuộc sống, bạn không bao giờ muốn ngừng học hỏi.
Bạn ngừng học, bạn chết.
Đó là.
Có một câu nói đại loại như thế khi bạn không trưởng thành, bạn đang chết hoặc đại loại như vậy.
Vì vậy, bạn muốn tiếp tục học hỏi và đại lý của bạn muốn tiếp tục học hỏi.
Và đó là nơi các chính sách lựa chọn hành động này ra đời.
Vì vậy, chúng tôi có ba được liệt kê ở đây.
Vì vậy, người đầu tiên là Epsilon Greedy.
Nó rất đơn giản.
Nó nghe có vẻ khá phức tạp theo nghĩa giống như nó có một cái tên hay ho và thông thường những thứ có những cái tên hay ho như vậy
rất phức tạp.
Nó thực sự không phải.
Vì vậy, về cơ bản những gì nó làm là nó sẽ chọn một cái có giá trị Q tốt nhất và epsilon giống như epsilon trong tiếng Hy Lạp.
Bạn có thể nghe thấy nó ở những nơi khác.
Nó giống như một chính sách lựa chọn.
Vì vậy, trong trường hợp này, chúng tôi đang sử dụng nó để chọn trong số các giá trị Q của chúng tôi, không hoạt động.
Vì vậy, bạn sẽ chọn cái có giá trị Q cao nhất mọi lúc, trừ phần trăm Epsilon.
Vì vậy, ví dụ: nếu bạn đặt Epsilon thành 10%, thì bạn sẽ đến hoặc 0. 1.
Sau đó, 10% thời gian hành động sẽ được chọn ngẫu nhiên.
Vì vậy, 90% thời gian bạn vẫn sẽ chọn hành động tốt nhất dựa trên giá trị Q cao nhất.
Nhưng 10% thời gian sẽ là chọn một bộ đồng phục hành động ngẫu nhiên, tức là sẽ hoàn toàn ngẫu
nhiên thực hiện một hành động.
Hoặc nếu bạn đặt epsilon thành 0. 540. 05, điều đó có nghĩa là 95% thời gian đại lý sẽ thực hiện
hành động với giá trị cao nhất.
Nhưng 5% thời gian, nó vẫn sẽ chọn một hành động ngẫu nhiên.
Vì vậy, nó sẽ được ra ngoài đó và khám phá.
Vì vậy, Epsilon Soft rất giống nhau.
Nhân tiện, đó là lý do tại sao nó được gọi là Epsilon tham lam, bởi vì bạn đang tham lam
lựa chọn hành động, hành động tốt, ngoại trừ phần trăm thời gian epsilon nhỏ đó.
Vì vậy, epsilon càng thấp, epsilon càng thấp, bạn càng tham lam chọn loại hành
động đó.
Đó là hành động tối ưu.
Và bạn càng ít rời đi, bạn càng ít có cơ hội đi khám phá.
Epsilon Soft thì ngược lại.
Vì vậy, về cơ bản bạn đang chọn ngẫu nhiên, bạn đang chọn một phần trăm epsilon trừ đi.
Vì vậy, nếu epsilon của bạn là 0. 1, vì vậy 10%, sau đó chỉ 10% thời gian bạn thực hiện hành động này và
90% thời gian bạn chọn một hành động ngẫu nhiên.
Tôi sẽ nói rất, rất đơn giản, chỉ là các thuật toán đảo ngược và soft max giống như bước tiếp theo hoặc đó là một
phiên bản nâng cao hơn của Epsilon của thuật toán tham lam Epsilon, mặc dù cả hai đều có giá
trị và cả hai đều có những nơi chúng tôi sẽ sử dụng soft max trong mã hóa và bộ điều thực tế của chúng
tôi.
Vì vậy, đó là lý do tại sao chúng ta sẽ nói chi tiết hơn một chút về Soft Max.
Vì vậy, chúng ta hãy xem xét.
Vì vậy, hãy chuyển sang Soft Max.
Hy vọng rằng nó khá rõ ràng về các thành phần Epsilon.
Đó là một thuật toán khá đơn giản.
Chọn cái này hầu hết thời gian ngoại trừ đôi khi đi và khám phá.
Và bây giờ chúng tôi cũng thấy lý do tại sao điều quan trọng là phải thực hiện khám phá đó để chúng tôi không kết thúc với mức tối đa
cục bộ trong quá trình tối ưu hóa của chúng tôi.
Vì vậy, bây giờ chúng ta sẽ nói thêm một chút về soft max.
Có một hướng dẫn về Soft Max ở cuối khóa học.
Tôi nghĩ đó là phụ lục số hai, nơi chúng ta nói về khái niệm đằng sau Soft Max.
Tôi sẽ làm mới một chút ở đây.
Vì vậy, họ đang nói về mạng nơ-ron tích tụ.
Và nhân tiện, tất cả chúng ta sẽ đề cập đến tính chập, chúng ta sẽ không đề cập
đến mạng nơ-ron tích tụ trong phần này của khóa học.
Trong phần này, chúng tôi vẫn đang sử dụng một vector.
Nhưng trong phần tiếp theo của khóa học, khi chúng tôi tạo ra một AI để chơi trò diệt vong, chúng tôi sẽ sử
dụng các mạng nơ-ron phức hợp.
Vì vậy, nó có thể có lợi cho bạn khi xem xét các mạng nơ-ron tích tụ và sau đó sử dụng hàm soft
max.
Hoặc bạn có thể tìm hiểu thêm một chút về SOF Max sau khi bạn tham gia khóa học về mạng nơ-ron tích tụ và X
của khóa học sau này.
Nhưng đây là một giải pháp nhanh chóng.
Vì vậy, ở đây chúng tôi có một mạng nơ-ron phức hợp quyết định xem đó là một con chó hay một con mèo.
Vì vậy, ở đây chúng tôi có quá trình bỏ phiếu giữa các tế bào thần kinh này.
Và điều này nói rằng nó là một nó có các đặc điểm, bạn biết đấy, đôi tai mềm mại,
kiểu khuôn mặt nhọn, nhọn là gì.
Và loại giống như các đặc điểm mà các loại mắt khác, con mắt, cách nhìn của mắt, tất cả những đặc điểm này đều thuộc
về một con chó.
Vì vậy, 95% khả năng đó là một con chó và 5% khả năng đó là một con mèo.
Nhưng câu hỏi là, làm thế nào chúng ta có được và trong hướng dẫn mà chúng ta đang nói đến, làm thế nào chúng ta có được những giá
trị này để cộng lại thành một?
Chà, bất kể là mạng phức hợp hay toàn bộ mạng nơ-ron của chúng ta.
Vì vậy, mạng nơ-ron tích tụ cộng với các lớp được kết nối đầy đủ, bất kể nó được phun ra, bất kể giá
trị nào được phun ra, chúng tôi đã áp dụng một hàm soft max ở đây.
Và đây là nơi chúng tôi giới thiệu công thức cho hàm soft max.
Đây là những gì nó trông như thế này.
Và sau đó chúng tôi nhận được những giá trị này.
Và về cơ bản đó là một sự làm mới nhanh chóng.
Đây là công thức cho giá trị tối đa mềm.
Những gì nó làm là nó cần nhiều kết quả đầu ra mà bạn có.
Không thành vấn đề.
Nó sẽ lấy chúng và nó sẽ dồn tất cả chúng thành các giá trị từ 0 đến 1, bất kể chúng lớn như thế
nào.
Chỉ.
Nhìn vào điều này cho tôi, bạn có thể thấy rằng có một tổng số tiền ở dưới cùng.
Vì vậy, các giá trị này sẽ bằng 0 giữa 0 và 1.
Và tất cả các giá trị này sẽ luôn cộng lại thành một.
Và điều đó rất có lợi cho chúng tôi vì khi chúng tôi sử dụng hàm soft max, điều xảy ra là chúng tôi nhận được
các giá trị Q này, chúng tôi chọn giá trị tốt nhất này.
Nhưng trong thực tế, điều gì sẽ xảy ra là những giá trị Q mà chúng ta nhận được, chúng, chúng là những con số thực tế, phải không?
Vì vậy, chúng là một số loại số.
Chúng không cần phải cộng đến một và không cần phải nằm trong khoảng từ 0 đến một, chỉ là một số con số.
Nhưng khi chúng tôi áp dụng soft max, chúng tôi không chỉ chọn cái tốt nhất.
Chúng tôi thực sự nhận được những con số như thế.
Vì vậy, chúng tôi nhận được các số trong phạm vi từ 0 đến một và đó cũng là số cộng với một.
Và vì vậy điều gì khác mà chúng ta biết rằng nó cộng lại thành một?
Chúng ta biết rằng các xác suất luôn phải cộng với một.
Vì vậy, đó là lý do tại sao chúng ta có thể nói ở đây chúng ta có giá trị Q, nhưng đột nhiên ở đây chúng ta bị mềm
hoặc chúng ta có xác suất.
Vì vậy, chúng tôi có thể nói rằng khả năng đây là hành động tốt nhất là 90%.
Điều này tốt nhất trong phần tốt nhất, 5%, 2%, 3%.
Vì chúng tôi biết giá trị Q của bạn càng cao thì hành động càng tốt.
Và vì vậy nếu chúng ta ép chúng xuống 0-1, thì chúng sẽ trở thành xác suất và chúng ta có thể giải quyết chúng như vậy.
Và do đó bây giờ là khi hành động được chọn.
Và đó là cách chúng tôi đến với Câu hỏi hai.
Nhưng nếu bạn xem xét kỹ, đây không phải là 100% nghiêm ngặt và đây không phải là 0%.
Vì vậy, đây là 5%, 2%, 3%.
Vì vậy, cách tự nhiên nhất để áp dụng soft max nhằm duy trì khả năng khám phá trong thuật toán là sử dụng các
xác suất chính xác này như tần suất chúng ta sẽ thực hiện hành động đó.
Vì vậy, những xác suất này thực sự đại diện cho sự phân bổ của những hành động mà chúng tôi đang thực hiện.
Vì vậy, về cơ bản soft Max giúp chúng tôi rất dễ dàng tìm ra cách kết hợp giữa khai thác và thăm dò.
Vì vậy, hành động tốt nhất sẽ luôn có xác suất cao nhất vì nó có giá trị Q cao nhất.
Và do đó, ở đây chúng ta sẽ chỉ là chúng ta sẽ sử dụng những thứ này làm phân phối của
mình và chúng ta sẽ nói, được rồi, chúng ta sẽ sử dụng Q đến 90% thời gian, nhưng 5% thời gian mà chúng ta vẫn đang
sử dụng.
Q một và 2% thời gian chúng ta sẽ làm ba, và 3% thời gian chúng ta sẽ làm.
Câu hỏi bốn.
Và vẻ đẹp ở đây là khi các giá trị này cập nhật, khi tác
nhân đi qua mạng, ngày càng nhiều, nó trở nên quen thuộc hơn với môi trường và do đó các cập nhật này.
Vì vậy, giá trị này, chẳng hạn, có thể trở nên giống như nó có thể chắc chắn rằng giá trị này thực sự nhỏ hơn hoặc giá
trị này thực sự cao hơn.
Và do đó, những xác suất này cũng sẽ thay đổi khi tác nhân trải qua.
Vì vậy, mặc dù ở đây chúng tôi có hai bạn, nhưng không ai nói rằng đôi khi 5% thời gian, chính xác hơn, chúng
tôi sẽ chọn Q một làm hành động để thực hiện và đôi khi hoặc hành động một người sẽ thực hiện hành động một. đôi
khi chúng tôi sẽ thực hiện hành động thông qua hai hành động ba chiếm 2% thời gian và hành động bốn sẽ chiếm
khoảng 3% thời gian.
Vì vậy, mọi hành động đều có cơ hội chơi trong quá trình này miễn là chúng ta có đủ số lần lặp lại và
tác nhân trải qua rất nhiều lần qua những trạng thái mà chúng đang ở.
Và đó là cách đây là cách hoạt động của bất kỳ loại thuật toán học sâu nào mà bạn muốn
thực hiện điều này nhiều lần để bạn rút kinh nghiệm.
Và do đó, như bạn có thể thấy ở đây, đó là một sự chuyển đổi rất tự nhiên để chúng ta không chỉ ngẫu nhiên giống như một
thuật toán tham lam epsilon.
Chúng tôi không chỉ lựa chọn ngẫu nhiên các hành động.
Chúng tôi đang chọn chúng dựa trên giá trị tối đa mềm của chúng, điều này làm cho nó giống như có một số logic đằng sau
nó, không chỉ là ngẫu nhiên.
10% thời gian chúng tôi chọn một hành động ngẫu nhiên, nhưng có một số logic đằng sau cách chúng tôi thực hiện nó.
Và dựa trên các giá trị Q mà chúng tôi đã khám phá.
Và đó là chính sách lựa chọn hành động mà chúng tôi sẽ sử dụng trong khóa học này.
Bạn chắc chắn nên xem chính sách Lựa chọn hành động tham lam của Epsilon, nếu bạn muốn, nhưng chúng
tôi sẽ chủ yếu sử dụng chính sách lựa chọn hành động tối đa mềm.
Và tôi có một bài đọc thú vị dành cho bạn.
Vì vậy, đây được gọi là Khám phá sự tham lam thích ứng Epsilon trong học tập củng cố dựa trên sự khác biệt về giá trị.
Đó là một bài báo năm 2010.
Và thật thú vị vì Mike, Michelle, tôi không chắc cách phát âm nó.
Michelle và Michael đang nói chuyện giới thiệu một loại thuật toán khác, vì vậy thuật toán tham
lam epsilon được điều chỉnh và được gọi là thuật toán VD VB hoặc thuật toán VB tham lam epsilon.
Bạn có thể xem nó ở đây.
Và anh ấy thực sự so sánh nó với các thành phần EPS của Max.
Và đó là một thuật toán tham lam epsilon, về cơ bản, ý tưởng chính đằng sau nó là điều chỉnh giá trị của epsilon tùy
thuộc vào trạng thái mà tác nhân đang ở.
Vì vậy, nếu đại lý rất quan tâm về điều này.
Tám trong đó epsilon nên nhỏ hơn, vì vậy sẽ ít thăm dò hơn.
Nếu tác nhân không chắc chắn, Epsilon nên cao hơn, nên thăm dò nhiều hơn.
Vì vậy, nó là một bài báo năm 2010.
Tôi không chắc liệu thuật toán đề xuất mới này có được sử dụng rộng rãi hay đang được chấp nhận trong cộng đồng hay
không, hay liệu trí tuệ nhân tạo đã loại bỏ đề xuất này.
Nhưng tuy nhiên, nó chắc chắn sẽ giúp bạn củng cố kiến thức của mình về các chính sách lựa chọn hành động mà chúng ta đã
thảo luận.
Thành phần epsilon, soft max sẽ giúp bạn.
Nó sẽ cho bạn cơ hội để so sánh chúng cạnh nhau và cũng có thể xem mọi người thực sự
nghĩ theo hướng nào khi họ muốn cải thiện trí thông minh nhân tạo.
Vì vậy, nếu bạn đã từng lên kế hoạch tạo ra các thuật toán thực sự thú vị đang thúc đẩy giới hạn của trí tuệ nhân tạo
và đẩy phong bì trong không gian này, thì đây có thể là một cách tốt để bạn biết mọi người đôi khi nghĩ
theo hướng nào khi họ đang cố gắng để cải thiện các tiêu chuẩn của trí thông minh nhân tạo hoặc các
tiêu chuẩn tồn tại vào năm 2010.
Vậy là xong.
Hy vọng rằng bạn thích hướng dẫn hôm nay về các chính sách lựa chọn hành động.
Chúng tôi đã tìm hiểu về Epsilon Greedy, Epsilon Soft và soft max, và bây giờ bạn thậm chí còn chuẩn bị tốt hơn
cho khía cạnh thực tế của mọi thứ.
Và trên ghi chú đó, tôi mong được gặp bạn lần sau.
Và cho đến khi đó, hãy tận hưởng.
TÔI.