Xin chào và chào mừng bạn trở lại khóa học về AI.
Trong phần trước, chúng ta đã nói về trực giác của kẻ giết người học sâu.
Chúng tôi đã bắt đầu từ đó và thực tế là chúng tôi thực sự đã đến được phần này và nơi chúng tôi nói về việc học
và bây giờ chúng tôi sẽ chuyển sang phần diễn xuất thực tế.
Vì vậy, có hai phần, hai phần riêng biệt mà chúng ta phải nhớ.
Vì vậy, đó là phần học tập.
Nhưng bây giờ anh ấy thực sự đã làm tất cả những điều này.
Đẹp quá.
Bây giờ anh ta thực sự phải hành động.
Anh ta phải quyết định những gì anh ta sẽ làm là sẽ thực hiện hành động một, hai, ba hoặc bốn.
Và vậy làm thế nào để anh ta làm điều đó?
Chà, cách anh ấy làm bây giờ cũng được đưa ra những giá trị gợi ý tương tự.
Vì vậy, các giá trị tín hiệu không thay đổi sau khi chúng ta có các giá trị tín hiệu này để so sánh chúng với tính
toán tổn thất mà chúng ta đã truyền lỗi, chúng tôi đã cập nhật trọng số, nhưng các giá trị tín hiệu không thay đổi trong toàn bộ quá
trình đó.
Vì vậy, sau khi chúng tôi có các giá trị gợi ý ở đó, chúng đã được sửa, chúng tôi biết chúng là gì.
Vì vậy, tất cả điều này xảy ra, các mạng được cập nhật và hiện đang sử dụng các giá trị chính đó mà chúng tôi đã có.
Những gì chúng ta sẽ làm là chuyển chúng qua một hàm soft max.
Và một lần nữa, tôi nghĩ rằng mức tối đa mềm được mô tả trong Phụ lục hai.
Và chúng ta sẽ nói thêm một chút về soft max ở phần sau hoặc chúng ta sẽ nói thêm về chính sách lựa chọn hành
động này trong phần còn lại của phần này.
Vì vậy, chỉ trong một vài hướng dẫn, nhưng bây giờ chúng ta sẽ nói rằng chúng ta đang chuyển nó qua một hàm soft
max.
Và về cơ bản những gì nó làm là nó cho phép nó giúp chọn cái tốt nhất, nó chọn hành động tốt nhất có thể.
Và có một cảnh báo nhỏ cho điều đó.
Nó không chỉ là cái tốt nhất có thể.
Chúng tôi sẽ nói về điều đó trong hướng dẫn chính sách lựa chọn hành động.
Nhưng hiện tại, hãy nói rằng nó chọn hành động tốt nhất từ đây.
Nó nói, được rồi, vậy.
Q một, khả năng về cơ bản chúng ta biết các giá trị Q.
Vì vậy, nó được dự đoán các giá trị Q.
Vì vậy, nó có thể nhìn vào chúng và nói, được rồi, vì vậy giá trị Q cao nhất trong số này, giống như chúng ta đã làm trong
thuật toán học Q đơn giản, nó sẽ chỉ xem xét tất cả những thứ này, chẳng hạn, giá trị Q cao nhất trong số này
.
Và tôi sẽ chọn hành động đó.
Tôi sẽ lấy chúng.
Và đó là khá nhiều.
Đó là cách nó chọn hành động nào cần thực hiện.
Nó thực hiện hành động.
Và sau đó tất cả quá trình này xảy ra một lần nữa đối với trạng thái tiếp theo mà tác nhân bổ sung kết thúc trong trường hợp của chúng ta, trong
hình vuông tiếp theo của mê cung.
Nhưng nói chung, đó là trạng thái tiếp theo.
Vậy là xong.
Đó là cách chúng tôi đưa vấn đề học tập củng cố vào mạng nơ-ron thông qua một vectơ mô tả trạng thái mà chúng
tôi đang ở.
Và một khi chúng tôi đưa nó vào, có hai phần của quá trình sẽ xảy ra.
Phần một là việc học.
Vì vậy, hãy nhớ rằng phần mà chúng tôi so sánh từng giá trị Q với các mục tiêu và sau
đó chúng tôi tuyên truyền lại sự mất mát thông qua mạng để cập nhật trọng số để mạng của chúng tôi học hỏi khi chúng
tôi đi qua mê cung này hoặc qua môi trường này.
Và phần thứ hai, tất nhiên, chúng ta phải hành động, chúng ta phải chọn một hành động và đó là nơi chúng ta
chuyển các giá trị Q cho hàm soft max và về cơ bản là một chính sách lựa chọn hành động, mà chúng ta sẽ
nói về tiếp tục xuống.
Và sau đó, chúng tôi chỉ cần chọn hành động mà chúng tôi muốn thực hiện và chúng tôi thực hiện hành động đó.
Và sau đó toàn bộ quá trình này bắt đầu lại, và sau đó có thể tác nhân đạt được điều đó
có thể tác nhân không vượt qua được trò chơi.
Trong mọi trường hợp, trò chơi kết thúc và sau đó một lần nữa, toàn bộ, toàn bộ quá trình lặp lại, tác nhân chơi
lại toàn bộ trò chơi, và sau đó dừng lại.
Vì vậy, về cơ bản đó là một kỷ nguyên khác mỗi khi tác nhân mỗi khi trò chơi kết thúc, cho dù thuận lợi vào tháng Hai, thì
đó là sự kết thúc của một kỷ nguyên.
Và sau đó anh ta bắt đầu lại và sau đó anh ta bắt đầu lại và sau đó anh ta bắt đầu lại và cứ tiếp tục như vậy.
Vì vậy, điều đó xảy ra.
Và quá trình này xảy ra mỗi khi tác nhân ở trạng thái mới.
Vì vậy, trạng thái được mã hóa ở đây.
Vì vậy, đó là điều quan trọng.
Vì vậy, không chỉ cho mỗi trò chơi mà anh ấy chơi, mà cho mọi trạng thái.
Vì vậy, anh ấy ở trong một trạng thái, nó trải qua quá trình này và cập nhật, vân vân và xảy ra mọi lúc.
Và vì vậy việc học diễn ra và sau đó diễn xuất cũng diễn ra.
Vì vậy, đó là học sâu trong trực giác đằng sau học sâu.
Chúng tôi có rất nhiều thứ khác để che đậy.
Và tất nhiên, chúng tôi có thực tế.
Và trong thời gian chờ đợi, nếu bạn muốn biết thêm một số thông tin về học sâu, chúng tôi có một bài
đọc được đề xuất.
Vì vậy, chúng tôi đã nói về loạt bài đăng trên blog của Arthur Giuliani.
Nếu bạn xem cách học tăng cường đơn giản với TensorFlow Phần bốn, bạn sẽ thấy phần có liên quan đến những gì chúng ta đã
thảo luận ngày hôm nay.
Lưu ý rằng ở đây anh ấy nói về sự phức tạp.
Chúng tôi không đề cập đến các cuộc cách mạng trong phần này.
Chúng ta sẽ nói về chúng trong phần tiếp theo của khóa học.
Vì vậy, sự khác biệt ở đây là vì vậy bạn chỉ cần bỏ qua phần chập và chúng ta sẽ nói về chúng
trong phần tiếp theo của khóa học.
Nhưng sự khác biệt là ở sự phức tạp, bạn giống như người đại diện của bạn đang nhìn vào hình ảnh và do đó anh ta
phải xử lý một hình ảnh.
Vì vậy, một sự phức tạp bổ sung cho bây giờ.
Chúng tôi đang từ từ, dần dần xây dựng đến điều đó.
Hiện tại, chúng tôi đang mã hóa môi trường của mình thông qua.
Vì vậy, nếu bạn nhìn vào đây, chúng tôi đang mã hóa môi trường của chúng tôi hoặc có thể giống như xem xét môi trường này,
có thể mã hóa môi trường của chúng tôi dưới dạng một hoặc mã hóa một trạng thái mà tác nhân đang ở dưới dạng vectơ.
Vì vậy, trong trường hợp của chúng tôi, có một điều rất đơn giản.
Hình ảnh của hai giá trị đôi khi mọi người thậm chí trong đó đơn giản đôi khi có thể hoặc như bạn sẽ thấy từ
bài đăng blog này, đôi khi mọi người thích một phiên bản nóng và được mã hóa của trạng thái đó.
Vì vậy, về cơ bản, nơi mỗi hộp đơn lẻ của mê cung có một để bạn có một vectơ của một trường hợp khác sẽ
là 12 giá trị ba nhân bốn.
Vì vậy, nó giống như một hoặc một số không tùy thuộc vào phần tử bạn đang ở trong hộp nào, trong môi trường.
Vì vậy, bất kỳ cách nào bạn quyết định mã hóa môi trường và trạng thái môi trường của bạn, đó là cách chúng tôi mã
hóa nó.
Vì vậy, về cơ bản nó là một vector.
Chìa khóa ở đây là nó không phải là tích chập, vì vậy nó không giống như một hình ảnh và không có tích chập theo
vôn.
Vì vậy, phần này sẽ đến sau cho chúng tôi.
Nó bắt đầu từ đây và điều đó chỉ đơn giản hóa quá trình để chúng tôi dần dần hiểu rõ hơn.
Và tất nhiên, đừng quên rằng bài đăng blog này được viết bằng TensorFlow và chúng tôi đang sử dụng PyTorch trong các hướng
dẫn của mình.
Vì vậy, hy vọng bạn sẽ thích phần giới thiệu nhanh này về cách học sâu, đầy đủ, sâu, không phức tạp
nhưng sâu sắc.
Và trên ghi chú đó, tôi mong được gặp bạn lần sau.
Và cho đến lúc đó, hãy tận hưởng trí tuệ nhân tạo.