Xin chào và chào mừng đến với bước cuối cùng của phần này.
Một tòa nhà cái tôi.
Bây giờ, điều duy nhất mà chúng ta phải làm là tạo ra chức năng chuyển tiếp lớn này
sẽ truyền tín hiệu ngay từ đầu khi não đang nhận được hình ảnh cho đến cuối cùng, khi mắt thực
hiện hành động.
Vì vậy, chúng tôi sẽ tạo toàn bộ chức năng này và đó sẽ là bước cuối cùng của chúng tôi.
Trước khi chúng ta chuyển sang phần hai, hãy đào tạo AI của chúng ta bằng phương pháp học tích hợp sâu sắc.
Vì vậy, chúng ta hãy làm điều này.
Chúng ta sẽ sử dụng lệnh gọi hàm thực sự tương tự như hàm init.
Đó là một chức năng hiện có, nhưng lần này chúng tôi sử dụng nó để gọi một số chức năng khác là chức năng mà chúng
tôi đã thực hiện trước đây vì bạn biết đấy, chúng tôi sẽ sử dụng chức năng chuyển tiếp từ não và chức
năng chuyển tiếp từ cơ thể.
Và vì vậy bây giờ chúng ta đang sử dụng hàm gọi này để gọi các hàm này về cơ bản.
Vì vậy, cuộc gọi sẽ có hai đối số.
Cái đầu tiên là bản thân, tất nhiên, đối tượng.
Và lập luận thứ hai mà theo bạn, nó sẽ như thế nào?
Chà, chúng tôi đang thực hiện toàn bộ việc tuyên truyền lần này.
Vì vậy, những gì chúng tôi muốn lấy làm đầu vào tất nhiên là hình ảnh đầu vào vì tất nhiên đó là điểm
bắt đầu khi AI chơi trò chơi, trước tiên nó hình dung ra hình ảnh của trò chơi, sau đó truyền tín hiệu
trong não và sau đó đóng vai trò hành động.
Do đó, đối số thứ hai sẽ là đầu vào và bây giờ chúng tôi đã sẵn sàng để thực hiện toàn bộ việc truyền bá này.
Vì vậy, chúng ta hãy làm điều này.
Được rồi, vậy bước đầu tiên, nó là gì?
Bước đầu tiên là nhận các hình ảnh đầu vào từ trò chơi.
Và vì những hình ảnh này sẽ đi vào mạng nơ-ron, nên bạn có thể tưởng tượng rằng chúng ta phải định
dạng chúng theo một cấu trúc đặc biệt.
Và cấu trúc, tất nhiên, là cấu trúc ngọn đuốc.
Vì vậy, điều đầu tiên sẽ xảy ra là chúng ta sẽ chuyển những hình ảnh này thành một mảng, sau đó
chúng ta sẽ chuyển đổi mảng numpy thành một tensor ngọn đuốc, và cuối cùng chúng ta sẽ đặt tensor ngọn đuốc
bên trong một biến ngọn đuốc sẽ chứa cả tensor và một gradient.
Đó là để đồ thị động của chúng tôi tính toán rất hiệu quả lớp gradient cho sự giảm dần gradient
ngẫu nhiên.
Vì vậy, đó là bước đầu tiên của chúng tôi.
Và sau đó khi chúng ta có được định dạng hình ảnh phù hợp, chúng sẽ có thể đi vào mạng nơ-ron và đó là
nơi chúng ta sẽ thực hiện toàn bộ quá trình truyền tín hiệu.
Vì vậy, chúng ta hãy thực hiện bước đầu tiên này, chuyển đổi hình ảnh sang định dạng phù hợp.
Vì vậy, hình ảnh của chúng tôi cho đến nay là đầu vào.
Vì vậy, bây giờ chúng ta sẽ tạo một biến mới, mà tôi đang gọi là đầu vào.
Vì vậy, đó là đầu vào thực sự của mạng nơ-ron.
Và đầu vào này, nó sẽ ở đâu?
Vâng, trước tiên chúng ta cần phải lấy ý kiến của mình.
Đó là hình ảnh ban đầu của chúng tôi.
Sau đó, như chúng tôi đã nói, chúng tôi muốn chuyển đổi những hình ảnh này thành các mảng numpy.
Vì vậy, để làm điều này, chúng ta chỉ cần sử dụng NumPy, có một phím tắt và P sau đó là mảng hàm.
Vì vậy, chúng tôi đặt đầu vào trong dấu ngoặc đơn của mảng hàm.
Chúng ta bắt đầu.
Bây giờ nó được chuyển đổi thành một cái gì đó bởi các mảng.
Nhưng sau đó vì các ô của mảng numpy sẽ chứa các pixel nên thực sự an toàn hơn khi
chỉ định kiểu float.
Tốt hơn hết là bạn nên đảm bảo rằng chúng ta có một số phao nổi ngay bây giờ và để đảm bảo nó, chúng ta có thể sử dụng NP float 32
tại đây.
Được rồi.
Vì vậy, bây giờ chúng ta vẫn có một mảng trọng tài nhưng với kiểu float.
Được rồi.
Và đó cũng là một lý do khác.
Đó là các cảm biến theo định nghĩa là các mảng của một loại duy nhất.
Và vì vậy chúng tôi chọn loại đơn là float, float 32.
Được rồi.
Vì vậy, bây giờ chúng ta đã có các mảng numpy của mình, bước tiếp theo là chuyển đổi nó thành một tensor ngọn đuốc.
Và để làm điều này, chúng tôi có thể sử dụng, ví dụ, ngọn đuốc và sau đó là hàm numpy from gạch dưới để chúng tôi chuyển
đổi nó thành một tensor ngọn đuốc.
Chúng ta bắt đầu.
Và bây giờ bước cuối cùng là đặt các cảm biến ngọn đuốc này vào một biến ngọn đuốc có chứa cả
tensor và gradient.
Và bạn biết làm thế nào để làm điều đó.
Tất nhiên, chúng tôi sử dụng lớp biến của chúng tôi bởi vì thực sự mọi thứ bên trong biến này thực sự là
đầu vào của lớp biến.
Nhưng tôi muốn cho bạn thấy điều đó theo cách này bởi vì chúng tôi bắt đầu với hình ảnh đầu vào của mình, sau đó chúng tôi chuyển đổi
chúng thành các mảng phức tạp, sau đó thành các cảm biến ngọn đuốc và sau đó là biến thể.
Và bây giờ chúng tôi tốt.
Chúng được phép đi vào mạng nơ-ron mà trước tiên là mắt của AI và sau đó là các lớp được kết nối đầy
đủ để dẫn đến các dự đoán.
Vì vậy, nói về mắt, về đôi mắt, đó chính xác là những gì chúng ta sẽ làm bây giờ.
Bây giờ chúng ta sẽ truyền bá những hình ảnh được phép này vào mắt người nhìn qua ba
lớp phức tạp.
Và để làm điều này, bạn sẽ thấy bây giờ nó đơn giản như thế nào.
Đó là bởi vì chúng ta đã có bộ não trong cơ thể từ chức năng init.
Chúng ta đơn giản chỉ cần đưa bộ não của mình để não tự chấm và áp dụng bộ não này vào các hình ảnh đầu vào và
điều đó sẽ lan truyền nhờ chức năng chuyển tiếp từ não sẽ truyền các tín hiệu bên trong
não.
Và kể từ khi chức năng thứ tư của não trở lại, các tín hiệu đầu ra, đó là các nơ-ron của
lớp đầu ra chứa các giá trị tín hiệu.
Chà, bản thân nó, đầu vào của não ở đây sẽ trả lại tín hiệu đầu ra này và do đó chúng ta sẽ đặt
ở đây khi nó trở thành một biến và chúng ta sẽ gọi nó rất đơn giản là đầu ra.
Và đầu ra này là tín hiệu đầu ra của não.
Và bây giờ chúng ta đã có tín hiệu đầu ra của não, chúng ta phải truyền tín hiệu đầu ra này
đến cơ thể.
Và để làm điều này, chúng ta sẽ sử dụng hàm chuyển tiếp thứ hai từ cơ thể.
Và để làm điều này, chúng ta chỉ cần lấy cơ thể của mình và áp dụng nó cho đầu ra, bởi vì
chức năng chuyển tiếp của cơ thể lấy tín hiệu đầu ra của não.
Vì vậy, đó chính xác là kết quả đầu ra ngay bây giờ và trả về các hành động.
Và do đó, vì nó trả về các hành động, tốt, ở đây chúng ta sẽ thêm các hành động bằng với đầu ra của cơ
thể tự.
Được rồi.
Vì vậy, bây giờ bạn có thể thấy rất đơn giản, chúng tôi truyền các tín hiệu bên trong não và sau
đó từ não đến cơ thể trước tiên bằng cách sử dụng toàn bộ chức năng từ não, nơi nhận các hình ảnh đầu vào
và sau đó truyền chúng vào não để trở lại. các giá trị cue.
Và sau đó chúng tôi truyền tín hiệu đầu ra này vào cơ thể với chức năng chuyển tiếp của cơ thể để có được
hành động để phát.
Và bây giờ, điều duy nhất còn lại mà chúng ta phải làm, và đó là dòng mã cuối cùng của
phần một này, xây dựng con mắt.
Chà, chúng ta phải trả lại hành động để chơi, và đó là hành động.
Tuy nhiên, ngay bây giờ các hành động có định dạng ngọn đuốc và chúng ta cần chuyển đổi chúng trở lại thành mảng numpy.
Và để làm điều này, chúng ta sẽ lấy cấu trúc dữ liệu của các hành động này và sau đó thêm vào đây hàm
non pi và chúng ta bắt đầu.
Bây giờ chúng ta có các hành động được trả về ở định dạng phù hợp.
Vì vậy, xin chúc mừng.
Bây giờ chúng ta đã hoàn thành phần đầu tiên này.
Chúng tôi đã xây dựng AI theo ba bước.
Đầu tiên, chúng tôi tạo ra bộ não, thứ hai, chúng tôi tạo ra cơ thể.
Và thứ ba, chúng tôi tập hợp bộ não trong cơ thể và chúng tôi truyền toàn bộ tín hiệu từ mắt đến thời điểm chúng
tôi thực hiện hành động.
Vậy là xong bước đầu tiên.
Đó là một bước tiến lớn.
Nhưng bây giờ, như bạn đã hiểu, chúng tôi xây dựng một AI, nhưng nó vẫn còn ngu ngốc.
Chúng ta cần huấn luyện nó trở nên thông minh, vì vậy chúng ta cần huấn luyện nó làm những gì chúng ta muốn làm.
Và để làm điều này, chúng ta sẽ sử dụng phần thưởng sau môi trường ngu ngốc vì nó học hỏi
từ phần thưởng bằng cách được củng cố khi nhận được phần thưởng tốt và bằng cách bị trừng phạt hoặc suy yếu khi nhận được
phần thưởng kém.
Vì vậy, đó là nơi mà Q học sẽ phát huy tác dụng.
Và đó chính xác là những gì chúng ta sẽ làm trong phần hai này đào tạo AI với khả năng học tập tích hợp sâu sắc.
Tôi không thể chờ đợi để bắt đầu và cho đến khi đó, hãy tận hưởng AI.