Xin chào và chào mừng bạn đến với Phần hai đào tạo AI với phương pháp học tích hợp sâu sắc.
Đúng rồi.
Bây giờ chúng tôi đã xây dựng AI với kiến trúc của mạng nơ-ron, cơ thể, cách các hành
động được thực hiện và mọi thứ, đã đến lúc đào tạo AI này bằng cách học sâu và phức hợp.
Vì vậy, đó là kể từ bây giờ chúng tôi sẽ triển khai phát lại trải nghiệm, làm việc với các giá
trị gợi ý, làm việc với phần thưởng và thậm chí sẽ có phần thưởng sẽ cải thiện rất nhiều quy trình đào tạo và
đó được gọi là dấu vết đủ điều kiện.
Theo dõi tính đủ điều kiện là một kỹ thuật mạnh mẽ bao gồm tích lũy phần thưởng qua một số bước và các giá trị tín hiệu được học
trên phần tích lũy phần thưởng này trái ngược với trước đây, trong đó các giá trị tín hiệu được học sau mỗi
lần chuyển đổi, do đó, sau khi nhận được mỗi phần thưởng, điều này thời gian chúng ta sẽ học các giá
trị gợi ý sau khi nhận được nhiều phần thưởng thay vì chỉ một phần thưởng.
Vì vậy, thay vì có quá trình chuyển đổi này đến chuyển đổi khác và cập nhật giá trị dấu hiệu mỗi lần, tốt, các giá trị
dấu hiệu sẽ được cập nhật theo từng bước bởi vì dấu vết tính đủ điều kiện được gọi đúng hơn và các bước theo dõi
tính đủ điều kiện và MN là số này sau đó giá trị dấu hiệu sẽ được cập nhật.
Và trong mô hình của chúng tôi ở đây, chúng tôi sẽ có một số bằng mười.
Vì vậy, điều đó có nghĩa là chúng tôi sẽ theo dõi tính đủ điều kiện mười bước và do đó, chúng tôi sẽ cập nhật và
tìm hiểu các giá trị gợi ý sau mỗi mười bước sau khi tích lũy phần thưởng trên mười bước này.
Vì vậy, đó là một phần thưởng sẽ làm cho mô hình của chúng tôi thậm chí còn mạnh mẽ hơn.
Và bạn sẽ thấy rằng cuối cùng chúng ta sẽ nhận được kết quả vượt trội.
Tôi thực sự ngạc nhiên khi xem kết quả cuối cùng.
Tôi đã từng làm việc trên các mô hình mất rất nhiều thời gian để thực hiện.
Bạn biết đấy, AI mất rất nhiều thời gian để đào tạo, nhưng bạn sẽ thấy điều đó với cái này.
Cộng với mạng lưới thần kinh mà chúng tôi đã tạo ra, đó là bộ não và cơ thể của chúng tôi ở đây với những thứ, Max, chúng tôi
sẽ có được một trí tuệ nhân tạo rất mạnh mẽ và do đó rất mạnh mẽ bởi vì bạn sẽ thấy rằng nó sẽ phát triển triệt để.
Bạn có hiểu tôi đang nói gì không?
Vì vậy, như bạn có thể thấy trong phần hai này, chúng ta đang bắt đầu bằng cách tạo môi trường diệt vong và tôi thực sự
chuẩn bị các dòng mã cho bạn.
Chúng tôi chỉ đang sử dụng tệp bên ngoài xử lý trước hình ảnh từ thư mục thư mục làm việc của chúng tôi.
Vì vậy, về cơ bản, thứ tự trước tiên là lấy dòng mã này Jim làm cho mã pachyderm bằng không.
Vì vậy, mã doom của số 0 là tên của môi trường của trò chơi chúng ta đang chơi.
Vì vậy, đầu tiên chúng ta nhập môi trường với cái này.
Jim tạo ra đó là những gì bạn có thể tìm thấy trên hướng dẫn Jim đang mở nhưng sau đó chúng tôi sử dụng lớp hình
ảnh tiền xử lý này là lớp từ tiền xử lý hình ảnh đến xử lý trước các hình ảnh sẽ đi vào
mạng nơ-ron và chúng tôi xử lý trước để chúng có định dạng hình vuông có kích thước 80 x 80.
Và điều đó ghi nhớ bởi vì trong mạng nơ-ron của chúng tôi, nơi chúng tôi đặt hình ảnh đầu vào có kích thước
lần lượt là 80 x 80, hãy nhớ một là số kênh.
Và một nghĩa là chúng ta đang làm việc với hình ảnh đen trắng.
Vì vậy, đó là thang màu xám ở đây.
Và 80 x 80 có nghĩa là kích thước của hình ảnh đầu vào của chúng ta sẽ là 80 x 80 và đó là những gì chúng ta thiết lập
trong mạng nơ-ron.
Nhưng tất nhiên sau đó chúng ta cần chỉ định điều này khi nhập hình ảnh, đó chính xác là những gì chúng ta làm ở đây
với lớp hình ảnh tiền xử lý này.
Và sau khi chúng tôi nhập môi trường với định dạng phù hợp của hình ảnh đầu vào, tốt, chúng tôi nhập toàn
bộ trò chơi với các video có dòng mã này.
Và hãy nhớ điều thú vị về điều này là cuối cùng chúng ta sẽ thấy các video về AI của chúng ta đang chơi trò diệt vong.
Vì vậy, chúng ta sẽ xem nó sẽ giết những con quái vật như thế nào, cố gắng tiếp cận chiếc áo quan và mọi thứ.
Vì vậy, đó sẽ là siêu thú vị.
Và hãy nhớ rằng những video này sẽ đi vào thư mục video này.
Được rồi.
Và dòng cuối cùng ở đây, nhưng tôi muốn cho bạn xem, bởi vì điều đó quan trọng.
Điều đó hiện liên quan nhiều hơn đến AI mà chúng tôi đang xây dựng.
Chà, hãy nhớ rằng mạng nơ-ron của chúng ta coi như các hành động số đầu vào.
Đó là bởi vì, bạn biết đấy, chúng tôi muốn tạo ra một AI mà chúng tôi có thể thử nghiệm dễ dàng trên một số môi
trường, trên một số môi trường diệt vong.
Và vì các môi trường diệt vong khác nhau có số lượng hành động khác nhau nên chúng tôi chỉ
định biến số hành động này làm đầu vào của CNN, bộ não.
Và do đó bây giờ những gì chúng ta sẽ làm là lấy biến số hành động này bằng cách sử dụng môi trường doom
mà chúng ta vừa nhập và tạo vào biến này.
Và sau này, biến số hành động mà chúng ta sắp tạo ra sẽ là đầu vào của bộ não.
Vì vậy, chúng ta hãy làm điều này.
Tôi đang giới thiệu số lượng hành động có thể thay đổi thực tế này.
Vì vậy, số lượng hành động bằng.
Bây giờ chúng ta sẽ lấy môi trường diệt vong của chúng ta.
Đó là biến mà chúng tôi đã tạo.
Vì vậy, môi trường diệt vong, sau đó chúng tôi thêm vào đây dấu chấm và sau đó tốt ở đây chúng tôi bắt đầu.
Chúng tôi lấy không gian hành động đầu tiên ở đây.
Đó là tập hợp các hành động của bạn.
Tôi khuyến khích bạn nên xem phần mở đầu.
Bạn biết đấy, hãy tích cực xem nó hoạt động như thế nào để hiểu cách hoạt động của môi trường phòng tập thể dục ngoài trời.
Nhưng về cơ bản đây là tập hợp các hành động.
Và từ tập hợp các hành động này, chúng ta có thể truy cập số lượng các hành động trong môi trường.
Và để làm điều này, chúng tôi đã thêm rằng ở đây và DN là số hành động và do đó diệt vong và không gian hành
động đó chấm n sẽ trả về bảy.
Nó sẽ trả về bảy vì có bảy hành động.
Tôi biết rằng chúng ta có thể thấy sáu hành động trong môi trường diệt vong trên trang mở đầu, nhưng tôi nghĩ chúng ta
cũng có thể chạy và vì vậy chúng ta có thể tiến lên phía trước, di chuyển sang trái, di chuyển sang phải, rẽ trái, rẽ phải và bắn.
Và bên cạnh đó, chúng ta có thể chạy.
Vì vậy, điều đó tạo ra bảy hành động.
Được rồi.
Và đó là để có được môi trường diệt vong mà chúng ta có, môi trường diệt vong mà chúng ta có số lượng
hành động.
Vì vậy, cho đến nay chúng ta có mọi thứ mà chúng ta cần cho bộ não của mình.
Sau đó, chúng tôi sẽ chỉ tạo một đối tượng, một đối tượng não, mà chúng tôi sẽ gọi là CNN và các chữ cái tối thiểu.
Và vì hàm init có một số hành động làm đối số, nên chúng tôi sẽ nhập số hành
động vào đối tượng CNN mà chúng tôi sẽ tạo.
Và tất nhiên sau đó, chúng ta sẽ tạo ra cơ thể và cuối cùng là chết.
Và đó là lý do tại sao phần tiếp theo, tôi sẽ gọi nó là xây dựng AI, bởi vì bây giờ chúng ta có thể xây dựng
bao nhiêu con mắt tùy thích.
Đó là điều tuyệt vời về lập trình hướng đối tượng.
Chúng ta có thể xây dựng bất kỳ đôi mắt nào theo ý muốn và vì vậy chúng ta sẽ xây dựng AI của mình có bộ não tinh vi, và
đó chính xác là những gì chúng ta sẽ làm trong hướng dẫn tiếp theo.
Cho đến lúc đó, hãy tận hưởng.
TÔI.