Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Tôi hy vọng bạn hào hứng với hướng dẫn hôm nay bởi vì chúng ta đang bước một bước đầu tiên
vào thế giới AI và hôm nay chúng ta đang nói về học tăng cường.
Đó là một hướng dẫn rất quan trọng vì nó sẽ làm nền tảng cho mọi thứ khác sẽ diễn ra trong
khóa học này.
Vì vậy, chúng ta hãy bắt đầu ở đây.
Chúng tôi có một mê cung nhỏ và mê cung này là đại diện của chúng tôi về một môi trường và đó là những gì chúng
tôi sẽ giải quyết trong khóa học này.
Chúng tôi sẽ đối phó với một số môi trường nhất định mà trí tuệ nhân tạo của chúng
tôi sẽ hoạt động.
Nó sẽ được thực hiện các hành động.
Nó sẽ tìm cách đánh bại những môi trường này, sẽ tìm cách chiến thắng trong những môi trường này.
Và ở đây chúng tôi có một đại lý.
Tác nhân là trí tuệ nhân tạo của chúng tôi.
Đó là con người hoặc đó là tâm trí sẽ điều hướng các môi trường này và học hỏi từ phản hồi mà
tâm trí của họ sẽ đưa ra để thực hiện các hành động nhất định.
Và do đó, cách nó hoạt động là tác nhân thực hiện các hành động nhất định trong môi trường này, và kết
quả là trạng thái của nó sẽ thay đổi.
Vì vậy, nó có thể xa hơn hoặc gần hơn hoặc nhiều hơn ở bên trái, nhiều hơn ở bên phải.
Nó có thể có một số tham số khác mô tả trạng thái của nó và các tham số đó sẽ thay đổi.
Vì vậy, trạng thái sẽ thay đổi do hành động thực hiện và nó cũng sẽ nhận được phần thưởng dựa trên hành động
đó.
Vì vậy, mỗi khi thực hiện một hành động, trạng thái sẽ thay đổi và nó sẽ nhận được phần thưởng.
Bây giờ, hãy nhớ rằng, đôi khi nó có thể xảy ra rằng nó không thay đổi trạng thái, hành động
sẽ không thay đổi trạng thái hoặc sẽ không có phần thưởng cho việc thực hiện hành động đó ở trạng thái nhất định.
Nó không phải.
Nhưng tuy nhiên, tác nhân sẽ tiếp tục làm điều đó, sẽ thực hiện các hành động,
thay đổi trạng thái, nhận phần thưởng, thay đổi hành động, thực hiện hành động, thay đổi trạng thái và nhận phần thưởng.
Và bằng cách thực hiện quá trình đó, nó sẽ học về môi trường sẽ khám phá môi
trường, hiểu những hành động nào dẫn đến phần thưởng tốt và trạng thái thuận lợi, và những hành động nào dẫn đến phần
thưởng xấu và trạng thái không thuận lợi.
Và đây là một cách thể hiện rất đơn giản của một vấn đề toàn cầu.
Vì vậy, nếu bạn nghĩ về nó, môi trường thực sự không phải chỉ là mê cung.
Không chỉ là ra khỏi mê cung hay tìm kho báu trong mê cung.
Một môi trường có thể là bất cứ điều gì trong cuộc sống.
Vì vậy, hãy tưởng tượng bạn thức dậy vào buổi sáng và nấu một món trứng tráng.
Vì vậy, để làm được món trứng tráng đó, bạn cần phải trải qua một số bước nhất định.
Bạn cần lấy muối, lấy trứng, lấy chảo, bật lửa, v.v.
Và nó nghe có vẻ giống như một việc thường ngày, nhưng nó đã trở thành một thói quen bởi vì bạn đã làm nó
rất nhiều lần.
Nhưng trong thực tế, đó là một môi trường mà bạn đang thực hiện một số hành động mà bạn đang
thực hiện, bạn đang châm lửa, bạn đang đặt chảo vào lửa.
Bạn cho tất cả trứng vào chảo rán và bạn cho một ít muối vào trứng và bạn đang lật chúng lại
và cứ tiếp tục như vậy.
Vì vậy, như bạn có thể thấy, có những hành động nhất định, những hành động đang thực hiện ở những trạng thái nhất định, và những hành động đó dẫn
đến những trạng thái nhất định khác và đôi khi là phần thưởng.
Vì vậy, ví dụ, khi bạn châm lửa và bạn đợi, đợi, đợi, đợi, đợi, bạn đang thực hiện
hành động chờ, đợi, đợi, đợi quá lâu.
Và sau đó bạn cho trứng vào chảo chiên.
Phần thưởng sẽ rất tiêu cực.
Nó sẽ cháy.
Mặt khác, nếu bạn thực hiện tất cả các hành động chính xác trong thời gian chính xác.
Vì vậy, điều rất quan trọng là phải hiểu rằng các hành động cần được thực hiện vào đúng thời điểm.
Vì vậy, ví dụ, cho muối vào chảo rán trước khi bạn cho trứng vào có thể không phải là ý tưởng
tốt nhất.
Bạn có thể muốn thực hiện hành động đó là cho muối vào chảo rán sau khi trứng ở trong đó.
Vì vậy, trong các trạng thái khác nhau.
Vì vậy, điều quan trọng là phải nhớ điều đó.
Và đồng thời, vì vậy nếu bạn thực hiện tất cả các hành động chính xác theo đúng thứ tự, ở
các trạng thái chính xác, phần thưởng cuối cùng của bạn có thể là bạn nhận được một món trứng tráng, mà bạn có thể ăn.
Và đó là một hoạt động rất cơ bản trong cuộc sống của bạn.
Nhưng nếu bạn nghĩ về nó, nó thực sự là một môi trường và bạn là tác nhân đi qua môi trường này và thực
hiện một nhiệm vụ.
Bạn không thực sự cần phải học bất cứ điều gì bởi vì bạn đã biết nó khá rõ.
Nhưng đồng thời bạn có thể học, có thể bạn có thể học cách làm món trứng tráng ngon hơn, hoặc đặc biệt nếu
bạn là món trứng tráng đầu tiên mà bạn làm, có thể bạn sẽ làm hỏng nó.
Nhưng bạn sẽ học được từ điều đó bởi vì bạn sẽ hiểu những hành động dẫn đến trạng thái và phần thưởng cũng như bất
cứ điều gì khác trong cuộc sống.
Ví dụ, ngay cả giao dịch trên thị trường chứng khoán và mua bán và nhận được phản hồi nhất
định từ thị trường theo nghĩa trả lại lợi nhuận tích cực hoặc tiêu cực.
Đó cũng là một môi trường và bạn tham gia vào môi trường đó với tư cách là một đại lý.
Lái xe ô tô cũng là một môi trường mà bạn có thể bẻ lái, bạn có thể tăng tốc, bạn có thể bẻ
lái, v.v. và bạn đang nhận được phản hồi từ môi trường.
Và một trong những phản hồi đó là cảnh sát phạt bạn chạy quá tốc độ nếu bạn đi quá tốc độ cho phép hoặc
cho phép trên đường cao tốc đó.
Và từ đó bạn học được rằng đó không phải là điều nên làm vì nó dẫn đến
phần thưởng tiêu cực.
Vì vậy, phần thưởng không nhất thiết phải ở cuối quá trình.
Chúng có thể trong suốt hành trình, trong suốt quá trình.
Vì vậy, đó là một vài ví dụ.
Và đối với tôi, cách đơn giản nhất để nghĩ về việc học tăng cường cũng giống như huấn luyện một con chó.
Khi bạn huấn luyện một con chó, bạn ra lệnh cho nó.
Và nếu nó tuân theo những lệnh đó, thì bạn cho nó một.
Bạn cho nó giống như một cái bánh quy hoặc một cái gì đó.
Nếu nó không tuân theo những mệnh lệnh đó, bạn sẽ nói với nó rằng nó là một con chó xấu hoặc bạn không xử lý nó.
Và thông qua quá trình đó, nó học được những lệnh nhất định hoặc những gì nó cần làm, hành động nào nó cần thực hiện ở
những trạng thái nhất định.
Và các trạng thái là các lệnh mà bạn đưa ra.
Và dựa vào đó sẽ nhận được những phần thưởng nhất định.
Tất nhiên, trong thế giới của AI, nó không phức tạp như vậy.
Bạn không cần phải cho AI xử lý.
Bạn không nhất thiết phải luôn có một túi bánh quy bên mình.
Bạn chỉ cần cho nó một cộng một hoặc một trừ một.
Vì vậy, đó là một lợi thế to lớn mà trong thế giới AI, chúng tôi đã tự tạo ra những AIS này.
Vì vậy, phần thưởng mà chúng tôi đang trao cho họ, nếu bạn nghĩ về nó, điều này thực sự tuyệt vời.
Phần thưởng bạn đang trao cho họ, chúng không thực sự tồn tại.
Chúng chỉ là một cộng hoặc một trừ một hoặc một hoặc một hoặc không hoặc những thứ tương tự.
Vì vậy, đó là tất cả những gì không tồn tại, tất cả những thứ tưởng tượng, nhưng đồng thời nó cũng dẫn đến những kết quả tuyệt vời.
Chúng ta có thể tạo ra những điều tuyệt vời này, những trí tuệ nhân tạo tuyệt vời này bằng trí tuệ nhân tạo tuyệt vời này,
bằng cách chỉ cung cấp những phần thưởng không thực sự tồn tại cộng và trừ một.
Chúng tôi không mất bất cứ chi phí nào.
Nhưng đồng thời, những kết quả này rất giống với Thế giới thực và ví dụ về loài chó.
Nhưng ở đây phần thưởng là kỹ thuật số và chỉ là những con số.
Và với suy nghĩ đó, chúng ta có thể nói một chút về những chú chó robot.
Tôi thích ví dụ này.
Vì vậy, đây chỉ là một bức tranh ngẫu nhiên.
Không nhất thiết phải là chú chó robot chính xác được huấn luyện thông qua học tập củng cố, một số chú chó robot, đặc
biệt là những con lớn hơn.
Bạn sẽ có một thuật toán trong đó.
Và đây thực sự là một ví dụ điển hình về sự khác biệt giữa tác nhân được lập trình trước và tác nhân học tăng
cường.
Vì vậy, bạn có thể có một con chó robot được lập trình sẵn cách đi bộ.
Nó sẽ nói như vậy trong thuật toán đằng sau con chó trong phần mềm, giả sử.
Được chứ.
Vì vậy, để đi bộ, bạn cần đưa chân trái về phía trước, chân trái trước về phía trước, sau đó đưa chân phải ra sau, sau đó đến chân trước,
chân phải về phía trước rồi đến lưng, chân trái về phía trước và lặp lại động
tác đó.
Và đó là định nghĩa của việc đi bộ là một chức năng bên trong chú chó này.
Sau đó, nó có thể có cách ngồi, cách đứng và những thứ tương tự.
Trong khi ở một chú chó robot được huấn luyện thông qua học tập củng cố, điều xảy ra là bạn không lập trình trước cho nó.
Đây là khái niệm chính cho mọi thứ ở đây mà bạn không có bất kỳ thuật toán nào bên trong được mã hóa cứng
vào con chó.
Thay vào đó, bạn có những gì chúng ta sẽ thảo luận trong tương lai.
Bạn có thuật toán học tăng cường này được cho biết rằng, được rồi, vì vậy mục tiêu là đi từ vị trí
hiện tại của bạn, chẳng hạn như không biết gì về điều đó đến cuối phòng.
Và đây là những hành động nhất định bạn có thể thực hiện.
Bạn có thể di chuyển chân phải của bạn, bạn có thể di chuyển chân trái của bạn, bạn có thể di chuyển chân sau phải,
chân phải hoặc chân trái của bạn.
Vì vậy, đây là tất cả các bậc tự do mà bạn có thể làm.
Bạn có thể di chuyển chúng như thế này.
Bạn thực sự có thể thích điều đó.
Vì vậy, giống như danh sách các hành động bạn có thể thực hiện và phần thưởng của bạn là mỗi khi bạn tiến lên một bước, bạn sẽ nhận
được một điểm cộng.
Mỗi khi bạn ngã, bạn sẽ bị trừ một điểm và đó là tất cả những gì cần thiết.
Và sau đó họ chỉ để lại con chó và để nó tự tìm hiểu nó.
Vì vậy, con chó cố gắng đứng lên, nó bị ngã, và nó nhận ra rằng tôi không nên làm hành động đó dẫn đến việc tôi ngã vì mỗi lần
tôi ngã, tôi đều bị trừ một điểm, điều này không tốt cho tôi thì con khác cũng vậy. hành
động đã giúp nó đứng lên.
Và sau đó nó tìm ra nó chỉ là thí nghiệm, thí nghiệm, thí nghiệm, thử mọi thứ một cách ngẫu nhiên và
sau đó tìm ra rằng nó có thể đạt được một bước tiến bằng cách di chuyển chân trước bên phải của nó và nó được cộng một và nó nhận
ra, Ồ, tôi nên làm nhiều hơn của điều đó.
Được, tuyệt đấy.
Vì vậy, bây giờ nó học được rằng nó nên làm nhiều việc này hơn và ít việc kia hơn.
Và thông qua quá trình học hỏi này, nó nhanh chóng, rất nhanh chóng hiểu cách nó có thể đi bộ.
Và những con chó tự tìm ra nó đôi khi có thể đi bộ tốt hơn những con chó được lập
trình trước.
Bởi vì khi chúng tôi lập trình trước mọi thứ, chúng tôi nhìn những con chó sống thực sự và hoặc chúng tôi sử dụng trí tưởng tượng của riêng mình để
làm điều đó.
Trong khi đó, một chú chó học tập tăng cường có thể tự tối ưu hóa mọi thứ và vì đó là một AI nên đôi khi nó có thể thu
được kết quả tốt hơn.
Và đó là cách họ có thể huấn luyện những chú chó robot này chơi bóng đá.
Bạn không thể huấn luyện một con chó bình thường để chơi bóng đá vì đơn giản là toàn bộ cách tiếp cận là khác nhau.
Và nó không phải là điều mà có lẽ một con chó bình thường đã được huấn luyện để làm hoặc đã từng làm trong quá trình tiến
hóa của nó.
Trong khi đó, những chú chó robot học tăng cường có thể rất dễ dàng hiểu cách chơi bóng đá miễn là bạn cho
chúng biết phần thưởng là gì, mục tiêu là gì, những hành động chúng có thể thực hiện là gì.
Vì vậy, đó là cách học tăng cường hoạt động nói chung.
Đó là tổng quan nhanh về học tăng cường.
Tôi hy vọng điều đó khiến bạn rất hào hứng về những gì sẽ xảy ra tiếp theo vì đó là một thế
giới hoàn toàn khác so với các giải pháp được lập trình sẵn hoặc chương trình cứng, các giải pháp được mã hóa cứng mà bạn có
điều kiện, nếu có,.
Điều này rất khác và chúng ta sẽ nói nhiều hơn về điều đó.
Trong thời gian chờ đợi, chúng tôi có một số bài đọc bổ sung cho bạn.
Vì thế.
Nếu bạn muốn có một số tài liệu hỗ trợ, đây là một bài viết tuyệt vời mà bạn có thể xem và xem xét.
Nó được gọi là Học tăng cường đơn giản với TensorFlow.
Nó có mười phần.
Liên kết ở đây và bạn sẽ tìm thấy liên kết đầy đủ có thể nhấp vào trong khóa học.
Tài nguyên là của Arthur Giuliani.
Đó là một bài báo năm 2016 và bạn có thể theo dõi khóa học này và cũng nhận được thông tin bổ sung từ bài báo
đó.
Nhưng hãy nhớ rằng bài viết đó là với TensorFlow, trong khi trong khóa học này, chúng tôi đang
sử dụng PyTorch, do đó, một triển khai khác nhưng triển khai.
Nhưng đồng thời, bạn có thể nhận ra một số điều ở đây và ở đó có thể bổ sung cho việc học của bạn mà chúng ta sẽ thực
hiện trong khóa học này.
Vì vậy, các bài báo tuyệt vời theo sau, ngay cả khi bạn không xem xét việc theo dõi nó một cách chắc chắn.
Chỉ đề phòng thôi, hãy xem phần đầu tiên đó và xem bạn có thích nó không, xem bạn có
muốn đọc thêm một chút không.
Và sau đó chúng tôi có hướng dẫn cụ thể về học tăng cường này.
Có một bài báo của Richard Sutton, được gọi là Giới thiệu một bài học tăng cường.
Đó là một tờ báo năm 1998, rất cũ.
Nhưng đồng thời, bạn có thể học một chút về học tăng cường.
Một số ví dụ như ví dụ về món trứng tráng đó và các ví dụ khác về nơi có thể áp dụng phương
pháp học củng cố.
Và chỉ là tổng quan chung về học tăng cường nếu bạn đang tìm kiếm một số bài đọc bổ sung.
Và trên lưu ý đó, chúng tôi sẽ kết thúc hướng dẫn này.
Rất nóng lòng được gặp lại bạn lần sau.
Và cho đến khi đó, hãy tận hưởng.
TÔI.