Xin chào và chào mừng đến với hướng dẫn này.
Được rồi, bây giờ chúng ta sẽ triển khai trí tuệ nhân tạo của mình từ đầu.
Chúng ta sẽ gọi nó từng dòng một.
Và trong phần mã đầu tiên này, chúng ta sẽ nhập các thư viện.
Nhưng trước khi chúng ta bắt đầu với phần mã đầu tiên này, tôi muốn giải thích mối liên hệ giữa
AI và bản đồ của chúng ta, tệp P.
Đó là, tại sao chúng tôi triển khai điều này cho bản đồ?
Mục đích của AI của chúng ta là gì và chúng ta sẽ sử dụng nó ở đâu?
Vì vậy, nó thực sự rất đơn giản.
Chúng tôi chỉ làm cho AI của mình để chọn hành động phù hợp vào mỗi thời điểm, vì vậy chúng tôi nhập nội dung trong lớp từ tệp AI của
chúng tôi.
Vì vậy, chúng tôi sẽ tạo lớp tài liệu này trong tệp này, nhưng sau đó chúng tôi nhập nó chỉ để chọn hành động phù hợp
để phát tại mỗi thời điểm.
Và chúng tôi chọn hành động này chính xác tại dòng này.
Hành động tương đương với cập nhật của não.
Phần thưởng ít hơn, tín hiệu ít hơn.
Ít tín hiệu hơn sẽ là đầu vào của mạng nơ-ron.
Nó bao gồm ba tín hiệu của cảm biến, cộng với định hướng và định hướng trừ.
Vì vậy, đó là đầu vào.
Nhưng sau đó đầu ra là hành động để chơi, và đó chỉ là những gì chúng tôi sẽ lấy từ chúng tôi mà tôi cảm thấy rằng chúng
tôi sắp thực hiện.
Vì vậy, hãy ghi nhớ điều đó.
Nó rất đơn giản.
Đầu tiên, chúng tôi nhập lớp từ AI, sau đó chúng tôi tạo bộ não đối tượng từ lớp tài liệu, bộ não này nhận làm đầu vào các
vectơ được mã hóa cho các trạng thái của năm chiều, ba tín hiệu cộng với định hướng cộng với
định hướng trừ đi.
Ba hành động đi trái, đi thẳng hoặc đi phải.
Và sau đó là tham số gamma, đó là tham số duy nhất của lớp mà chúng ta sẽ tạo.
Và sau đó khi chúng tôi tạo đối tượng đó, chúng tôi chọn hành động để chơi trong lớp trò chơi tại mỗi thời điểm.
Và điều đó phụ thuộc vào phần thưởng cuối cùng và tín hiệu cuối cùng, là đầu vào.
Và đó là tất cả mục đích duy nhất của việc tạo ra AI này, đó là để trí tuệ nhân tạo thực sự thực hiện các hành
động phù hợp, mỗi lần di chuyển đúng thay vì có các hành động ngẫu nhiên như chúng ta đã quan sát
trong hướng dẫn trước.
Được rồi, hãy làm điều này.
Hãy triển khai trí tuệ nhân tạo của chúng tôi.
Và như chúng tôi đã nói, chúng tôi sẽ bắt đầu bằng cách nhập tất cả các thư viện sẽ sử dụng để triển khai
nó.
Vì vậy, bằng cách đó chúng tôi sẽ có tất cả các công cụ chúng tôi cần.
Được rồi.
Vì vậy, hãy bắt đầu với cái đầu tiên.
Điều đầu tiên là không thể tránh khỏi.
Thư viện NumPy.
Tôi luôn khuyên bạn nên nhập khẩu nó.
Đó là thư viện cho phép chúng ta chơi và làm việc với các mảng.
Và this và B ở đây chỉ là một phím tắt thuận tiện hơn khi chúng ta muốn sử dụng numpy.
Được rồi.
Thư viện thứ hai là ngẫu nhiên.
Vì vậy, đây chỉ là vì chúng tôi sẽ lấy một số mẫu ngẫu nhiên từ các lô khác nhau khi triển khai
phát lại trải nghiệm.
Vì vậy, chúng tôi cũng phải nhập thư viện ngẫu nhiên này.
Sau đó, chúng tôi sẽ nhập PMNM.
Điều đó sẽ chỉ hữu ích khi chúng tôi muốn tải mô hình vì bạn biết đấy, khi mô hình đã sẵn
sàng, chúng tôi sẽ thực hiện một số mã để lưu mô hình và sau đó là một mã khác để tải mô hình.
Đó là khi chúng ta muốn, bạn biết đấy, lưu bộ não và tải bộ não bất cứ khi nào bạn muốn tắt
máy tính và sử dụng lại bộ não đã được đào tạo trước đó cho một số thí nghiệm mới.
Vì vậy, đó là điều quan trọng.
Sau đó, chúng tôi sẽ nhập thư viện ngọn đuốc thiết yếu.
Đó là bởi vì chúng tôi sẽ triển khai mạng nơ-ron của mình với PyTorch, mà tôi khuyên dùng nhiều hơn những
mạng khác dành cho trí tuệ nhân tạo vì nó có thể xử lý các đồ thị động.
Vì vậy, chúng tôi đi với ngọn đuốc.
Sau đó, từ ngọn đuốc, chúng ta sẽ nhập Torch DOT và NW.
Mô-đun NW là mô-đun cần thiết nhất.
Đó là mô-đun chứa tất cả các công cụ để triển khai một số mạng nơ-ron.
Và tất nhiên sẽ có một mạng nơ-ron sâu sẽ nhận ba tín hiệu của ba cảm biến cộng với
định hướng và định hướng trừ, và sẽ trả về khi xuất ra hành động để chơi tốt, thực sự nó sẽ trả
về giá trị Q của các hành động khác nhau .
Và sử dụng giá trị tối đa mềm, chúng tôi sẽ trả lại hành động để chỉ phát một hành động, hành động phù hợp nhất để hoàn thành mục
tiêu khóa học.
Vì vậy, Torsten thiết yếu nhất.
Sau đó, chúng tôi sẽ cung cấp một phím tắt cho chức năng.
Gói từ đây chúng ta đi, gói chức năng từ mô-đun PN.
Vì vậy, gói chức năng này chứa các chức năng khác nhau mà chúng ta sử dụng khi triển khai mạng nơ-ron.
Vì vậy, thông thường, chức năng cuối cùng mà chúng tôi sẽ sử dụng Uber plus vì điều đó cải thiện sự hội
tụ và sự mất mát của Uber được chứa trong mô-đun con chức năng này từ mô-đun GN.
Và vì tất cả những điều này khá dài, chúng ta sẽ tạo cho nó một phím tắt và chúng ta sẽ gọi nó là F một cách đơn giản.
Sau đó, chỉ có ba mô-đun để nhập khẩu còn lại.
Vì vậy, cái tiếp theo là một cái cần thiết khác đã lên.
Tim và chúng tôi lấy nó từ thư viện ngọn đuốc và sau đó lên.
Tim Đó, chúng ta đi.
Và chúng ta hãy gọi nó lên.
Tim thay vì đốt lên Tim Vì vậy, đó là tất nhiên cho trình tối ưu hóa.
Chúng tôi sẽ nhập một số trình tối ưu hóa để thực hiện giảm độ dốc ngẫu nhiên, vì vậy chúng tôi chắc chắn sẽ
cần nó.
Và sau đó chúng ta cần nhập tự động và điều đó chỉ để lấy lớp biến từ grad.
Vì vậy, mục đích của nó là một chút kỹ thuật.
Về cơ bản, chúng ta cần nhập lớp biến để thực hiện một số chuyển đổi từ các cảm biến giống
như các mảng nâng cao hơn sang một biến có chứa gradient.
Vì vậy, nó giống như chúng ta không muốn chỉ có một tensor.
Chúng ta muốn đặt tensor vào một biến cũng sẽ chứa một gradient.
Và để làm điều này, chúng ta cần sử dụng lớp biến để chuyển tensor này thành
một biến chứa tensor và gradient.
Vì vậy, đó là một chút kỹ thuật, nhưng đó là những gì chúng tôi phải làm khi làm việc với PyTorch.
Và chúng ta thực hiện điều này nhờ vào lớp biến, nhưng trước khi nhận được
lớp biến, chúng ta cần nhập theo gradient R2 đó và hãy cung cấp một phím tắt.
Undergrad và sau đó từ.
Ngọn đuốc có chữ ký.
Chúng tôi nhập khẩu bóng chuyền.
Chúng ta bắt đầu.
Và bây giờ chúng tôi có tất cả các thư viện sẽ sử dụng để triển khai API của chúng tôi, vì vậy chúng tôi sẽ không bận tâm đến việc nhập bất
kỳ thư viện nào khác.
Chúng tôi có tất cả các công cụ cần thiết và bây giờ chúng tôi đã sẵn sàng để tạo ra kiến trúc của mạng nơ-ron.
Vì vậy, đó chính xác là những gì chúng ta sẽ làm trong hướng dẫn tiếp theo.
Và cho đến khi đó, hãy tận hưởng.
TÔI.