Xin chào và chào mừng bạn đến với hướng dẫn Python này.
Được rồi, vì vậy bây giờ chúng ta sẽ tạo ra chức năng chuyển tiếp sẽ truyền tín hiệu đầu ra
của não chúng ta đến cơ quan của AI để nó thực hiện hành động phù hợp để tiếp cận chiếc áo quan.
Nhưng vẫn chưa có hành động đúng vì chưa được đào tạo.
Chúng tôi vẫn chưa đào tạo mắt, nhưng đây chính xác là những gì chúng tôi sẽ làm trong phần
hai khi triển khai học tích chập sâu, nhân tiện, tôi sẽ đổi tên đào tạo AI với học phức hợp sâu.
Nhưng ngay bây giờ chúng ta cần chuyển tiếp tín hiệu từ lớp đầu ra của não bộ đến cơ thể.
Và đó chính xác là những gì chúng ta sẽ làm với chức năng chuyển tiếp này, đây là chức năng cuối cùng của cơ
thể chúng ta.
Vì vậy, chúng ta hãy làm điều này.
Chúng tôi bắt đầu với Geoff Ford.
Và theo bạn, nó sẽ diễn ra cuộc tranh luận nào?
Chà, tất nhiên, nó sẽ là bản thân đầu tiên.
Và sau đó là một cái khác?
Vâng, vâng, có.
Và nó sẽ như thế nào?
Rất tự nhiên, chúng ta muốn chuyển tiếp tín hiệu đầu ra của não đến cơ thể, và do đó đầu vào
sẽ là tín hiệu đầu ra của não.
Và vì vậy bây giờ chúng ta cần đặt tên cho các tín hiệu đầu ra này.
Và vì vậy tôi sẽ thêm vào đây lập luận đã đưa ra.
Được rồi.
Vì vậy, điều đó tương ứng với các tín hiệu đầu ra của não sau khi hình ảnh đầu vào được truyền qua tất cả các bộ
não để đến lớp đầu ra, ở đây là X, trả về bởi chức năng chuyển tiếp của não và bây giờ tín hiệu
đầu ra này của não sẽ được chuyển tiếp. cho cơ thể với chức năng chuyển tiếp mới này mà chúng
tôi tạo ra trong lớp thân mềm tiếp theo.
Vì vậy, chúng ta hãy làm điều này.
Hãy thêm một số màu vào đây.
Và bây giờ, như bạn đã hiểu, chúng tôi sẽ sử dụng phương pháp soft max để chơi hành động.
Điều đó có nghĩa là cơ quan của mắt chúng ta, sau khi nhận được tín hiệu đầu ra của não sẽ thực hiện các
hành động với kỹ thuật soft max.
Vì vậy, về cơ bản bây giờ những gì chúng ta phải làm giống hệt như những gì chúng ta đã làm đối với xe tự lái.
Chúng ta sẽ nhận được sự phân phối các xác suất của chúng ta.
Đó là bước đầu tiên, và sau đó chúng ta sẽ lấy mẫu một hành động theo phân phối xác suất này.
Vì vậy, về cơ bản những gì chúng ta có thể làm bây giờ là lấy tệp xe tự lái và sao chép, dán những gì chúng
ta đã triển khai cho chức năng hành động chọn trong xe tự lái.
Nhưng chúng ta hãy làm điều đó một lần nữa.
Nó sẽ là một thực hành tốt và thực sự bạn có thể thử gõ nó trước tôi.
Được chứ.
Vì vậy, điều đầu tiên chúng ta sẽ làm là xác định các xác suất của chúng ta.
Vì vậy, tôi nhắc nhở đây là phân phối xác suất cho mỗi giá trị Q, điều này phụ thuộc vào đầu
vào, hình ảnh và từng hành động.
Vì vậy, chúng tôi có một giá trị Q cho mỗi trong số sáu hoặc bảy hành động có thể xảy ra, và do đó chúng tôi nhận
được phân phối của bảy xác suất.
Tôi đang nói bảy vì tôi nghĩ có bảy hành động thay vì sáu, bởi vì ngoài di chuyển về
phía trước, trái, phải hoặc bắn, chúng ta cũng có thể chạy.
Điều đó tạo ra bảy hành động khả thi và do đó chúng tôi nhận được phân phối của bảy xác suất, một xác
suất cho mỗi giá trị Q liên quan đến mỗi hành động.
Vì vậy, đạo cụ bằng.
Và bây giờ hãy nhớ những gì chúng ta phải làm.
Về cơ bản, chúng ta phải sử dụng hàm set max từ mô-đun chức năng.
Vì vậy, điều đó rất đơn giản.
Chúng tôi lấy mô-đun chức năng của chúng tôi trước, sau đó chấm, và sau đó chúng tôi lấy hàm max mềm của chúng tôi.
Nó đây.
Chúng tôi nhấn enter và bây giờ chúng tôi nhập các đối số của hàm max, mà tôi nhắc nhở là các phần
tử mà bạn muốn tạo phân phối xác suất.
Và tất nhiên đó là các giá trị Q, đó là đầu ra của mạng nơ-ron, đó là đầu
ra của mạng nơ-ron mà bạn muốn tạo phân phối xác suất.
Và tôi nhắc rằng chúng ta muốn tạo phân phối xác suất này để có thể khám phá các hành
động khác nhau thay vì chọn trực tiếp hành động có giá trị Q lớn nhất.
Nếu chúng tôi trực tiếp chọn một hành động có giá trị Q tối đa, nơi chúng tôi không khám phá nhiều các hành động
khác và chúng tôi có thể bỏ lỡ điều gì đó, nhưng với phương pháp self max, chúng tôi có thể thực hiện thêm một số khám phá và
do đó có thể tìm thấy một số giải pháp ẩn trong những mẫu có thể tốt hơn nhiều.
Vì vậy, một lần nữa, tôi thực sự khuyên bạn nên tự max và do đó bây giờ những gì chúng ta phải làm là nhập các giá trị Q.
Đó là đầu ra của chúng ta ở đây, đầu ra của não chúng ta.
Vì vậy, kết quả đầu ra, chúng ta sẽ bắt đầu.
Nhưng sau đó chúng tôi có thông số nhiệt độ này mà chúng tôi có thể sử dụng mà chúng tôi có thể cấu hình để tùy chỉnh việc thăm dò.
Hãy nhớ rằng chúng ta đặt nhiệt độ càng cao thì chúng ta càng ít khám phá các hành động
khác, bởi vì hành động tốt nhất sẽ được chọn với xác suất cao hơn so với các hành động
khác sẽ được chọn với xác suất thấp hơn.
Vì vậy, nó chính xác giống như ô tô tự lái, và do đó chúng tôi phải nhân đầu ra ở đây với
nhiệm vụ tự thông số nhiệt độ của chúng tôi.
Chúng ta bắt đầu.
Hoàn hảo.
Bây giờ chúng tôi nhận được một cảnh báo nhỏ vì chúng tôi chưa sử dụng đạo cụ, nhưng chúng tôi sắp sử dụng nó ngay bây giờ.
Và điều đó đưa chúng ta đến điều tiếp theo mà chúng ta phải làm.
Chúng ta sẽ sử dụng những xác suất này như thế nào?
Chà, chúng ta sẽ lấy mẫu hành động cuối cùng để chơi từ phân phối xác suất này.
Và do đó, những gì chúng ta phải làm bây giờ là sử dụng hàm đa chuẩn để lấy mẫu hành động
theo phân phối xác suất này.
Vì vậy, bây giờ chúng tôi đã sẵn sàng để thực hiện các hành động của mình.
Vì vậy, tôi đang tạo một biến mới ở đây vì đó sẽ trở thành các hành động sẽ được thực hiện bởi cơ
quan mắt của chúng ta.
Và vì vậy, bây giờ chúng ta thực hiện phân phối xác suất, đạo cụ mà chúng ta thêm dấu chấm và sau đó
là phương pháp đa số.
Được rồi.
Và bây giờ chúng ta có những thao tác cuối cùng để chơi.
Chúng được lấy mẫu từ bản phân phối đạo cụ của chúng tôi.
Được rồi, hoàn hảo.
Vì vậy, bây giờ chúng tôi đã sẵn sàng để trả lại những gì chúng tôi muốn.
Đó là các hành động để chơi.
Và tất nhiên, đây là những hành động.
Và bây giờ cảnh báo sẽ biến mất.
Chúng tôi sử dụng mọi thứ chúng tôi muốn.
Chúng ta bắt đầu.
Hoàn hảo.
Vì vậy, bây giờ chức năng chuyển tiếp đã sẵn sàng.
Và xin chúc mừng.
Cơ thể cũng đã sẵn sàng.
Vì vậy, bây giờ chúng ta có bộ não của chúng ta.
Chúng tôi có cơ thể của mình, và do đó, chúng tôi sẵn sàng lắp ráp chúng để biến tôi trở thành tương lai của chúng tôi.
Tôi sẽ được cấu tạo bởi không gì khác ngoài bộ não và cơ thể.
Và do đó, nó sẽ có trí thông minh và cơ thể để chơi các hành động, đó sẽ là những hành động đúng
để chơi nhờ vào trí thông minh của nó.
Nhưng hãy nhớ rằng, trước khi chúng ta phải đào tạo trí thông minh của nó, và đó là những gì chúng ta sẽ làm trong phần hai, đào
tạo AI với khả năng học tập phức hợp và sâu sắc.
Được rồi, hãy cùng tạo AI trong các bài hướng dẫn tiếp theo.
Nó lại là một lớp gồm hai hàm, tôi nghĩ vậy.
Và vì vậy điều này sẽ yêu cầu chúng tôi hai hoặc ba hướng dẫn.
Vì vậy, tôi không thể chờ đợi.
Điều này sẽ rất thú vị.
Và cho đến khi đó, hãy tận hưởng.
TÔI.