Xin chào và chào mừng đến với hướng dẫn này.
Vì vậy, bây giờ người đại diện đã thực hiện thăm dò và sau đó những gì anh ta sắp làm là cập nhật mạng chia sẻ.
Vì vậy, điều đầu tiên chúng tôi sẽ làm là khởi tạo phần thưởng tích lũy.
Chúng tôi sẽ gọi nó là chữ viết hoa của chúng tôi R, và chúng tôi sẽ khởi tạo nó dưới dạng một bó đuốc.
Nhưng điều đó sẽ có kích thước từng thứ một bởi vì nó chỉ là một giá trị.
Nhưng chúng tôi muốn nó là một tensor.
Và vì vậy tôi đang sử dụng ở đây chấm các số không và sau đó là một.
Vì vậy, về cơ bản phần thưởng tích lũy được khởi tạo bằng 0 OC sau đó tương tự nếu chúng tôi chưa hoàn thành.
Đó là nếu trò chơi chưa kết thúc.
Những gì chúng tôi muốn ngay bây giờ là phần thưởng tích lũy bằng với giá trị của tập hợp cuối cùng mà mạng chia
sẻ đạt được.
Vì vậy, chúng tôi sẽ nhận được đầu ra giá trị, giá trị của đầu ra hàm V của mô hình của chúng tôi và đây là giá trị
mà chúng tôi sẽ cung cấp cho phần thưởng tích lũy.
Vì vậy, trước tiên chúng ta hãy lấy giá trị này.
Chúng tôi có thể lấy nó theo cách này giá trị sau đó, bạn biết đấy, vì chúng tôi chỉ muốn giá trị chúng tôi có thể thêm vào đây, gạch dưới và
sau đó gạch dưới một lần nữa, và sau đó chúng tôi nhận được mô hình của mình vì nó sẽ xuất ra giá trị này, nhưng chỉ là đầu ra
đầu tiên của mô hình .
Nhờ dấu gạch dưới kép này ở đây và ở đây, chúng tôi có thể sao chép, dán những gì chúng tôi có ở đây.
Đó là đầu vào của mô hình với các đầu vào, hình ảnh và tất cả các trạng thái ẩn và trạng
thái ô.
Vì vậy, tôi chỉ dán nó và chúng tôi đi, chúng tôi sẽ nhận được giá trị.
Và bây giờ những gì chúng tôi sẽ làm là mang lại cho giá trị này của chúng tôi.
Vì vậy, tất cả sẽ bằng giá trị và để truy cập vào giá trị.
Chúng tôi thêm dữ liệu này ở đây.
Được rồi.
Bây giờ điều kiện if đã xong và bây giờ chúng ta sẽ làm gì, vì chúng ta vừa có một giá trị mới bằng cách, bạn
biết đấy, nhận đầu ra của mô hình, đầu ra đầu tiên của mô hình, tốt, chúng ta hãy thêm giá
trị mới này vào danh sách giá trị.
Do đó, chúng tôi có thể lấy trực tiếp danh sách giá trị của mình, sau đó chấm thêm phần nối và chúng tôi nhập biến.
Ah, bởi vì của chúng tôi chứa giá trị cuối cùng này rất tuyệt vời nên đã được thực hiện.
Bây giờ chúng ta sẽ khởi tạo các khoản lỗ và ghi nhớ các bài giảng về trực giác.
Bạn có hai lỗ.
Bạn có sự mất mát của chính sách.
Đó là điều cuối cùng liên quan đến dự đoán của đại lý.
Và sau đó bạn có sự mất giá trị, đó là sự mất mát liên quan đến dự đoán của nhà phê bình.
Vì vậy, chúng tôi sẽ giới thiệu hai biến này và khởi tạo chúng bằng 0.
Và do đó, tôi sẽ nói ở đây chính sách biến mất chính sách đầu tiên, khởi tạo nó bằng 0 và sau đó
là mất giá trị, mất giá trị và tương tự, khởi tạo nó bằng 0.
Sau đó, chúng ta đừng quên đặt phần thưởng tích lũy làm biến ngọn đuốc vì chúng ta sẽ cần nó là một biến
tổng vì chúng ta sẽ tính toán độ dốc liên quan đến nó, bởi vì phần thưởng tích lũy
sẽ là một thuật ngữ của sự mất mát giá trị.
Vì vậy, với biến này, bây giờ nó được gắn vào các đồ thị động với gradient.
Và bây giờ, điều cuối cùng chúng ta cần làm trước khi bắt đầu vòng đào tạo lớn, bạn biết
đấy, khi chúng ta áp dụng lưới ngẫu nhiên theo nghĩa này để giảm sự mất mát
này giữa các dự đoán và mục tiêu, chúng ta cần khởi tạo lợi thế tổng quát ước tính và không nhận được nó tự động mã hóa.
Hãy cẩn thận với điều đó.
J Biến mà chúng ta sắp khởi tạo ngay bây giờ là ước tính lợi thế tổng quát.
Vì vậy, xin nhắc lại, ước tính lợi thế tổng quát theo định nghĩa là lợi thế của việc thực hiện hành động
A bằng cách quan sát trạng thái.
Vì vậy, nó là một chức năng của hành động.
A Và trạng thái.
S Và nó bằng hiệu giữa các giá trị Q q a s và giá trị của hàm V.
Vì vậy, thực sự tôi có thể viết nó ở đây.
Ước tính lợi thế tổng quát là một hàm a của hành động và trạng thái s và bằng với
các giá trị Q của hành động.
A Và Nhà nước.
S trừ đi giá trị của hàm V được áp dụng cho trạng thái.
S Đó là ước tính lợi thế tổng quát và đó là những gì chúng tôi muốn khởi tạo ngay bây giờ.
Và chúng tôi sẽ khởi tạo nó bằng 0.
Nhưng nó phải là một người múa đuốc.
Vì vậy, chúng tôi sẽ sử dụng thủ thuật tương tự như những gì chúng tôi vừa làm ngay tại đây.
Chúng ta sẽ sử dụng thư viện ngọn đuốc và áp dụng hàm số 0 để đặt nó làm hàng chục chỉ có một giá trị, giá
trị này bằng 0.
Và chúng tôi sẽ giới thiệu biến mới này, G, và giá trị đó sẽ bằng với ngọn đuốc có các số không một
khi được khởi tạo bằng 0.
Vì vậy, điều này sẽ được khởi tạo bằng không.
Và do đó giá trị Q của hành động.
A Và trạng thái sẽ bằng giá trị của hàm V của trạng thái.
Được rồi.
Và bây giờ chúng ta đã sẵn sàng để bắt đầu vòng lặp for.
Vì vậy, chúng ta sẽ có một số cuộc phiêu lưu ở đây.
Vì vậy, hãy nghỉ ngơi thật tốt và tôi sẽ gặp lại bạn trong phần hướng dẫn tiếp theo để tấn công điều đó.
Cho đến lúc đó, hãy tận hưởng.
TÔI.