Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Trong hướng dẫn hôm nay, chúng ta sẽ bắt đầu phần tìm hiểu sâu về khóa phức hợp.
Vì vậy, chúng ta hãy xem xét tất cả về những gì nó.
Trước đây chúng ta đã nói về học sâu, vì vậy chúng ta có một môi trường với một tác nhân và chúng ta có một
vectơ mô tả môi trường đó được đưa vào một mạng nơ-ron.
Và cuối cùng, chúng tôi nhận các giá trị Q làm đầu ra của chúng tôi.
Và tất nhiên sau đó chúng tôi tìm ra cách mạng được đào tạo như thế nào.
Phần học tập.
Chúng tôi đã tìm ra cách các hành động được quyết định dựa trên các giá trị gợi ý đó.
Đó là một phần hành động.
Và chúng tôi đã nói về các chính sách lựa chọn hành động và những điều khác nhau về cách hoạt động của học sâu.
Nhưng ở đây, khái niệm chính cho tất cả những điều này là làm cách nào để chúng ta có được điều này, từ môi trường
thực tế và trạng thái đến mạng nơ-ron?
Chà, quá trình chuyển đổi đã kết thúc ở đây, vector đầu vào.
Vì vậy, lớp đầu vào của mạng nơ-ron của chúng ta và nó là một vectơ.
Vì vậy, những gì chúng tôi đang xem xét là OC vì vậy chúng tôi thực sự không phải là, nó không phải là thuật ngữ chính xác, chúng tôi không
nhìn vào bất cứ thứ gì.
Về cơ bản đại lý đã có thông tin này.
Vì vậy, môi trường đang truyền cho nó thông tin này nói rằng, được rồi, bạn là tác nhân, bạn hiện
đang ở trong đó, trạng thái của bạn được mô tả bằng vectơ này và ví dụ đơn giản này, nó được mô tả bởi vectơ này
x một trong một, x hai trong hai.
Vì vậy, tọa độ của bạn là một và đó là toàn bộ trạng thái của bạn.
Trong một môi trường phức tạp hơn, trạng thái có thể liên quan đến những thứ khác mà tác nhân có thể quan sát được.
Nhưng vấn đề ở đây là nó được đặt dưới dạng một vector.
Và có một điều là điều đó không xảy ra trong đời thực, ngoài đời thực, ngoại trừ hệ thống GPS và những thứ khác
tương tự.
Nhưng trong cuộc sống thực, chúng ta sử dụng những gì?
Hầu hết thời gian?
Chúng tôi sử dụng các giác quan của chúng tôi, chúng tôi sử dụng đôi mắt của chúng tôi.
Ngay cả trong GPS, nó cũng không được tích hợp sẵn trong não của chúng ta.
Nó không cho chúng ta biết tọa độ thông qua bộ não của chúng ta.
Và vì vậy chúng tôi vẫn đang dùng mắt để nhìn vào GPS và hiểu chuyện gì đang xảy ra ở đó.
Và do đó, đây là một kiểu gian lận để AI có thể lấy thông tin như một vectơ về môi
trường.
Nó quá đơn giản.
Đó không phải là cách nó hoạt động trong cuộc sống thực.
Đó không phải là cách chúng ta hoạt động như con người.
Và cuối cùng, chúng tôi muốn tạo ra trí tuệ nhân tạo, có thể hoạt động theo cách tương tự như
con người, giống như nó có thể đương đầu với những thách thức giống như con người.
Và vì vậy trong thế giới loài người, chúng ta không có cái đó, chúng ta không có cái đó, chúng ta không có
những tọa độ này hoặc các loại vectơ khác được đặt cho chúng ta để giải thích trạng thái chúng ta đang ở trong môi trường đó.
Vì vậy, chúng tôi sẽ phải loại bỏ điều đó để làm cho nó thực tế hơn.
Và sau đó chúng ta có thể thay thế nó bằng gì?
Chúng ta nhìn thấy gì hoặc chúng ta làm gì với tư cách là một con người để có được thông tin?
Tất nhiên, hầu hết thời gian chúng ta nhìn thấy, chúng ta sử dụng tất cả các giác
quan của mình, nhưng hầu hết thông tin chúng ta nhận được về thế giới xung quanh đều đến qua thị giác của chúng ta.
Và đó là lý do tại sao chúng ta sẽ thay đổi mũi tên nhỏ mà chúng ta đã có thành một mạng nơ-ron phức hợp
toàn bộ.
Vì vậy, đây là từ phụ lục số hai của chúng tôi.
Chúng tôi đã có lớp tích chập, và đó là lý do tại sao điều quan trọng là phải khá thoải mái với các mạng
nơ-ron tích chập và cách chúng hoạt động.
Vì vậy, nếu bạn đã thực hiện khóa học học sâu của chúng tôi, thì bạn nên thoải mái với điều đó.
Hoặc bạn có thể xem qua phần phụ lục.
Thứ hai, chúng tôi có một số hướng dẫn trực giác rất tốt ở đó.
Vì vậy, ở đây chúng ta có phép toán tích chập xảy ra.
Vì vậy, chúng tôi thực sự sẽ xem xét điều này như một hình ảnh.
Vì vậy, đây là một hình ảnh của môi trường net.
Và vì vậy đại lý thực sự đang xem xét môi trường.
Vì vậy, trong trường hợp này, không phải anh ấy thích nhìn từ bên trong, anh ấy giống như giả sử anh ấy đang chơi trò chơi này trên máy
tính và anh ấy có thể nhìn thấy môi trường này và do đó anh ấy có thể nhìn thấy hình
ảnh đại diện cho đặc vụ thực sự đang ở đâu.
Vì vậy, bạn có thể nhìn thấy toàn bộ môi trường này hoặc bất cứ điều gì con người sẽ thấy nếu đó là mê cung thực sự và con người sẽ
nhìn thấy mê cung từ bên trong.
Và do đó, các đại lý sẽ có thể nhìn thấy chính xác những điều tương tự.
Vì vậy, bất cứ điều gì anh ta thấy được thực hiện đều đi qua một lớp tích chập và đi qua một lớp tổng hợp đầy đủ.
Nó trải qua quá trình làm phẳng một lần nữa.
Bạn có thể tìm hiểu thêm về các phần khác nhau này của mạng nơ-ron phức hợp trong phần phụ
lục.
Và sau khi nó được làm phẳng, sau đó chúng ta có các đầu vào đi vào mạng nơ-ron.
Và cách này thực tế hơn vì tác nhân phải sử dụng các trang web của họ và hoặc phải xử lý hình
ảnh mà môi trường đang cung cấp cho tác nhân, giống như con người sẽ xử lý hình ảnh.
Và vẻ đẹp của điều này không chỉ là nó thực tế hơn và nó giống như ở đây, các đặc vụ thực
sự giống con người hơn, nhưng nó cho phép chúng ta xử lý các môi trường phức tạp hơn nhiều.
Ví dụ, đây là cách chúng ta có thể chơi Doom hoặc các trò chơi khác tương tự, bởi vì thay
vì chỉ nhận được một vectơ thông tin như ai đó đã tạo ra cho chúng ta trong môi trường này, chúng ta có thể kết nối
trí tuệ nhân tạo với một môi trường như con người , chúng tôi.
Chúng tôi sẽ có một tầm nhìn về môi trường này.
Vì vậy, là một con người, khi bạn chơi trò chơi này, bạn có thể nhìn thấy chính xác bức tranh này
và đó chính xác là những gì mạng nơ-ron nhân tạo hoặc tác nhân sẽ thấy.
Bây giờ, vì vậy, trong phần này của khóa học, khi bạn lập trình các tài liệu thực hành, người đại diện sẽ thực sự
nhìn thấy bức tranh chính xác này, bạn sẽ thấy các pixel.
Nó sẽ có được hình ảnh chính xác về tất cả các pixel với người này, với thứ này với khẩu súng này, với khuôn mặt
này, với tỷ lệ phần trăm này, với mọi thứ.
Chính xác những gì chúng ta thấy ở đây.
Đó chính xác là những gì đại lý sẽ thấy.
Sau đó, nó sẽ phải phân tích điều đó thông qua kéo chập, làm phẳng lớp, và sau đó nó sẽ
đi vào mạng nơ-ron.
Và không cần phải nói rằng mạng nơ-ron thực sự sẽ phức tạp hơn thế nhiều.
Vì vậy, chúng ta hãy thay thế nó bằng một cái gì đó như thế này.
Điều này không phức tạp hơn nhiều.
Điều này có vẻ phức tạp hơn một chút.
Nhưng trên thực tế, các mạng nơ-ron mà bạn sẽ làm việc và tạo ra với
Atlan sẽ khá thú vị.
Chúng sẽ phức tạp hơn nhiều so với thế này.
Nhưng như bạn có thể thấy ở đây, ngay cả khi chúng ta chỉ có năm đầu vào thay vì hai, mọi thứ trở nên phức
tạp hơn nhiều.
Và ở đây bạn có thể thấy chúng tôi có nhiều hành động khác mà đại lý có thể thực hiện.
Vì vậy, trong trò chơi diệt vong và quay trái và phải, nhìn xuống, nhìn lên, chạy, bắn, tải lại hoặc tất cả những hành động khác
nhau có thể có trong game bắn súng góc nhìn thứ nhất như diệt vong.
Và hơn nữa, không nhất thiết bạn có thể gắn tác nhân này với một loại trò chơi khác.
Đó là vẻ đẹp của nó, mà sau đó nó nhận ra rằng giờ đây nó có thể vận hành bất kỳ loại môi trường nào mà bạn gắn
nó vào, bởi vì miễn là có một hình ảnh đại diện trực quan về môi trường,
về môi trường đó, nó đã có toàn bộ cơ sở hạ tầng.
Toàn bộ cấu trúc đã sẵn sàng để xử lý điều đó.
Vì vậy, đó là tất cả những gì học sâu, phức hợp là về.
Vì vậy, chúng tôi đang thực hiện ngay cả bước tiếp theo.
Bây giờ chúng tôi đang thêm sự phức tạp vào tất cả các lớp phức hợp vào bộ não đặc vụ của chúng tôi, và chúng tôi đang làm cho nó
phức tạp hơn nữa.
Và do đó, chúng ta có thể được thưởng khi có thể giải quyết những thách thức thậm chí còn phức tạp hơn.
Vì vậy, tôi hy vọng bạn rất hào hứng về việc đây sẽ là một phần sử thi và chúng tôi sẽ tạo ra một
số điều tuyệt vời.
Và tôi rất nóng lòng được gặp các bạn ở câu chuyện tiếp theo.
Và cho đến khi đó, hãy tận hưởng.
TÔI.