Xin chào và chào mừng bạn trở lại khóa học về Trí tuệ nhân tạo.
Hôm nay chúng ta tiếp tục cuộc hành trình vào thế giới của 83 C và chúng ta đang nói về mặt không đồng bộ của C
để chúng ta có tên viết tắt của mình, một lợi thế đồng bộ, một nhà phê bình tích cực.
Và hôm nay chúng ta sẽ tìm hiểu xem đồng bộ ở đây là viết tắt của từ gì, nghĩa là gì.
Và hãy quay lại một bước.
Hãy xem chúng tôi đã bắt đầu toàn bộ khóa học này với những gì.
Chúng tôi bắt đầu với việc học tập củng cố và tất cả những gì về việc người đại diện đang ở một trạng thái nhất định.
Họ quan sát trạng thái, họ đưa ra quyết định nhất định, họ thực hiện các hành động trong trạng thái đó.
Và sau đó trạng thái được thay đổi.
Vì vậy, họ có được một trạng thái mới, cộng với họ nhận được một phần thưởng.
Vì vậy, họ nhận được phần thưởng khi thực hiện hành động đó hoặc một phần thưởng nào đó cũng có thể là một hình phạt.
Và chúng kết thúc ở một trạng thái mới.
Và dựa trên cơ sở đó, bây giờ họ lại thực hiện một hành động khác, họ nhận được phần thưởng và kết thúc ở trạng thái mới
và họ thực hiện một hành động khác, v.v.
Và đó là cơ sở đằng sau tất cả việc học tăng cường.
Và đó là những gì chúng tôi đã và đang sử dụng trong học tập, trong học sâu và học tích hợp sâu.
Và điều đó đã cho phép các đặc vụ của chúng tôi đánh bại dần những môi trường phức tạp hơn và phức tạp hơn.
Nhưng bây giờ chúng tôi sẽ giới thiệu một khái niệm thậm chí còn tốt hơn nữa.
Đưa điều này lên cấp độ cao hơn nữa những gì a3c giới thiệu thông qua yếu tố đồng bộ và
này, thay vì có một tác nhân tấn công môi trường, chúng có ba tác nhân hoặc bất cứ điều gì, số lượng tác nhân.
Vì vậy, một số tác nhân tấn công cùng một môi trường.
Và điều quan trọng ở đây là cái được gọi là đồng bộ là bởi vì chúng được khởi tạo khác nhau.
Vì vậy xuất phát điểm của họ khác nhau.
Vì vậy, ví dụ, như bạn sẽ thấy từ các điều khoản thực tế, bạn đặt một hạt giống ngẫu nhiên và bạn đặt nó khác
nhau cho từng tác nhân.
Và theo cách đó, bởi vì họ xuất phát điểm khác nhau, trước tiên họ sẽ đi qua các môi trường theo những cách khác nhau
và sau đó họ sẽ khám phá theo những cách khác nhau.
Và sau đó trong lần lặp tiếp theo, nó cũng sẽ khám phá theo những cách khác nhau.
Và vì vậy, chẳng hạn, nếu bạn có ba tác nhân, bạn sẽ đột nhiên nhận được
lượng kinh nghiệm gấp ba lần thay vì chỉ một tác nhân đi qua và khám phá môi trường và cố
gắng hiểu cách hoạt động trong môi trường đó.
Bây giờ bạn có ba hoặc tuy nhiên nhiều người trong số họ đã trải qua điều đó và nhận được kinh nghiệm này.
Và ở đó để mỗi người trong số họ học hỏi thông qua trải nghiệm lớn hơn này.
Và ngoài việc chỉ mang lại nhiều trải nghiệm hơn, nó còn làm giảm khả năng một nhân viên bị mắc kẹt ở
mức tối đa cục bộ.
Vì vậy, ví dụ, nếu một tác nhân tìm ra cách nào đó để đánh bại môi trường, cách không phải là tối ưu nhất, bởi
vì nếu nó lệch sang trái hoặc sang phải so với giải pháp mà nó tìm thấy, nó sẽ luôn
bị phạt nhiều hơn.
Nó có thể bị kẹt ở mức tối đa cục bộ đó.
Nó có thể tiếp tục làm điều đó, nghĩ rằng đó là giải pháp tối ưu trong khi thực tế không
phải vậy.
Vâng, khả năng một số đại lý bị mắc kẹt trong cùng một địa phương tối đa sẽ giảm hoặc giảm theo số lượng
đại lý.
Vì vậy, xác suất của một tác nhân bị mắc kẹt trong một mức tối đa cục bộ nhất định có thể cao, nhưng hoặc có thể
có một giá trị nhất định.
Nhưng xác suất khi bạn có ba người trong số họ, cả ba người trong số họ bị mắc kẹt trong mức tối đa cục
bộ đó thấp hơn nhiều.
Và miễn là họ chia sẻ kinh nghiệm với nhau, họ có thể giúp đỡ lẫn nhau.
Vì vậy, nếu một trong số chúng bị kẹt, chẳng hạn, nó bị kẹt ở mức tối đa cục bộ.
Chỉ đơn giản nghĩ rằng đó là giải pháp tốt nhất, đó là giải pháp tốt nhất mọi lúc và tiếp
tục làm tốt điều đó miễn là nó tương tác với các tác nhân khác.
Vì vậy, giả sử anh chàng này bị mắc kẹt trong mức tối đa cục bộ và miễn là nó tương tác với
các tác nhân khác thông qua cách chúng tôi xây dựng toàn bộ thuật toán của mình, thông qua thuật toán, họ sẽ giúp anh ta.
Họ sẽ cung cấp cho anh ta kiến thức mà thực sự biết, Này, bạn nên khám phá điều này hoặc anh ta sẽ có nhiều
khả năng thoát ra khỏi điều đó.
Và nhìn chung, môi trường sẽ biết rằng, này, mặc dù đây là mức tối đa tuyệt vời, nhưng những tác nhân khác này đã
thấy các lựa chọn tốt hơn và chúng ta nên tiếp tục khám phá vì chúng có vẻ như là lựa chọn
tốt hơn.
Vì vậy, trong một cách hiểu rất ngắn gọn, trực quan rằng đó là một số lợi thế của việc có những
tác nhân không đồng bộ này.
Trước hết, bạn muốn có thêm kinh nghiệm để lựa chọn và học hỏi.
Bạn có thể đi đến giải pháp nhanh hơn.
Và nói chung, có ít khả năng bị mắc kẹt trong một mức tối đa cục bộ nhất định.
Vì vậy, hãy xem tất cả điều này diễn ra như thế nào trong mô hình mà chúng tôi đã xây dựng cho đến nay.
Vì vậy, như bạn nhớ, đây là những gì chúng tôi đã nhận được cho đến nay thông qua các nhà phê bình bổ sung.
Và điều này giống như nơi mà tất cả mọi thứ gắn liền với nhau.
Điều này cho đến nay như bạn còn nhớ từ hướng dẫn trước mà chúng tôi đã giới thiệu về điều này, bạn biết đấy, chúng tôi đã có
điều này ngay cả trong quá trình học Q tích chập sâu, vì vậy chúng tôi chỉ đặt tên cho nó thêm bây giờ.
Nhưng bây giờ chúng tôi đã giới thiệu phê bình, nhưng cho đến nay nó không thực sự có ý nghĩa.
Có ích gì khi có bài phê bình này và đo lường giá trị của trạng thái hoặc dự đoán giá trị
của trạng thái bằng cách sử dụng cùng một mạng nơ-ron, cùng một cách tiếp cận này?
Nhưng bây giờ đây là phần mà nó sẽ bắt đầu có ý nghĩa hơn.
Những gì chúng tôi sẽ làm là chúng tôi sẽ lặp lại điều này bởi vì bây giờ chúng tôi có nhiều tác nhân.
Vì vậy, với nhiều tác nhân, đây là.
Đây là những gì nó sẽ như thế nào.
Vì thế.
Cách hình dung đầu tiên là bây giờ chúng ta có ba thứ này.
Chà, hãy nhớ những gì chúng ta đã nói về việc họ chia sẻ kinh nghiệm lẫn nhau.
Vì vậy, điều này thực sự đúng.
Hiện giờ tất cả đều độc lập.
Bạn có một người chơi trò chơi, một người khác chơi trò chơi, một người chơi khác trong trò chơi.
Nó giống như việc khởi chạy tác nhân của bạn trên ba máy tính khác nhau.
Bạn đặt ba máy tính khác nhau cạnh nhau và khởi chạy chúng.
Và, bạn biết đấy, điều đó thật tuyệt.
Thật vậy, bạn thích bạn sẽ nhận được nhiều kinh nghiệm hơn.
Bạn sẽ thích nhiều loại hơn, đặc biệt nếu chúng được khởi tạo khác nhau.
Vì vậy, từ đây chúng ta sẽ giả định rằng tất cả chúng đều được khởi tạo ban đầu, luôn được khởi tạo khác nhau.
Mặc dù chúng ta có cùng một bức tranh ở đây, chúng ta sẽ biết rằng chúng thực sự được khởi tạo khác nhau.
Vì vậy, nó sẽ không giống như đào tạo giống hệt nhau, học tập giống hệt nhau từ trò chơi này.
Và vì vậy, ngay cả khi bạn đặt ba máy tính cạnh nhau
và khởi chạy chúng, vâng, bạn sẽ có nhiều kinh nghiệm hơn bởi vì bạn sẽ có ba đại lý chơi và bạn cũng sẽ có một
máy tính lớn hơn nhiều giải pháp khả thi.
Vì vậy, đó là sự thật.
Nhưng vấn đề là họ không chia sẻ kinh nghiệm đó với chúng ta.
Họ không học hỏi lẫn nhau.
Vì vậy, chúng không có sức mạnh tổng hợp đó.
Họ không có lợi thế hoặc sức mạnh bổ sung mà họ sẽ có được nếu họ hợp tác.
Bạn biết đấy, giống như nếu bạn có nếu bạn có một nhóm người, họ làm việc tốt hơn với nhau, sau đó mỗi người trong
số họ riêng biệt.
Vì vậy, giống như trong một đội ở đây, bạn có một cộng một cộng một, đó là ba.
Nhưng trong một đội, một cộng một cộng một không phải là ba.
Nó giống như 33 vì chúng tận dụng điểm mạnh của nhau và giảm thiểu điểm yếu của nhau.
Và điều tương tự ở đây.
Vì vậy, nếu bạn đặt ba máy tính này cạnh nhau, vâng, bạn sẽ có nhiều kinh nghiệm hơn, đa dạng hơn
và có thể ai đó sẽ tìm ra giải pháp tốt hơn máy tính kia.
Điều đó thật tuyệt, nhưng sẽ còn tốt hơn nếu họ bắt đầu chia sẻ trải nghiệm đó.
Và làm thế nào để họ làm điều đó?
Chà, thông qua V này mà chúng ta tính toán được.
Vì vậy, giá trị V này là đầu ra của mạng của chúng tôi thực sự là như vậy.
Vì vậy, họ có cùng một chữ V nên mỗi khi tất cả các tác nhân này, họ đều đóng góp cho cùng một nhà phê bình.
Họ không có các nhà phê bình riêng biệt.
Họ có một nhà phê bình chung.
Và đó là chìa khóa của cách mà nhà phê bình diễn viên liên kết với sự đồng bộ.
Vì vậy, có một nhà phê bình đang theo dõi khi họ rút ra kinh nghiệm.
Vì vậy, làm thế nào để chúng ta tính V vì chúng ta tính V thông qua như bạn nhớ, chúng ta tính V thông qua các giá trị
mà chúng ta nhận được.
Vì vậy, phần thưởng mà chúng ta nhận được thông qua môi trường.
Và khi các tác nhân khám phá môi trường của họ, họ đang tính toán, họ dự đoán chữ V cộng với chữ V
mà họ có thể tính được.
Đây là tất cả các mối liên hệ trở lại với những gì chúng ta đã thảo luận trong các phần trước của khóa
học này.
Vì vậy, họ đã có một chữ V mà họ có thể dự đoán như mong đợi thông qua phần thưởng mà họ biết
rằng tồn tại trong mê cung này và họ đã khám phá.
Và khi họ khám phá và tất nhiên, giá trị đó có thể thay đổi, nhưng họ cũng có V rằng V
này là đầu ra của mạng nơ-ron.
Vì vậy, khi họ đang trải qua điều này, họ sẽ điều chỉnh mạng lưới thần kinh của mình để phù hợp hơn với những
gì mong đợi.
V Vì vậy, về cơ bản điều này được chia sẻ, phần quan trọng được chia sẻ giữa các tác nhân và đó là cách họ chia sẻ
thông tin giữa nhau.
Đó là cách họ có thể biết những gì đang diễn ra trong môi trường được chia sẻ với nhau và
sau đó sử dụng điều đó khi chúng ta sẽ thấy rõ hơn trong phần tiếp theo.
Sử dụng điều đó để tối ưu hóa cách chúng hoạt động trong môi trường đó.
Và điều khác cần lưu ý ở đây là đây là a3c, đây giống như cốt lõi của a3c cho đến nay.
Đây là một loại phiên bản của a3c, nhưng có một cách triển khai thậm chí còn tốt hơn của điều này, a3c, mà bạn
sẽ thực sự nghe Adland nói về một trong những hướng dẫn đầu tiên về khía cạnh thực tế của
mọi thứ.
Và những gì anh ấy sẽ nói đến là cách người tạo ra PyTorch thực sự điều chỉnh một trong những mã được chia
sẻ trên GitHub, nơi anh ấy đã lấy tất cả những thứ này.
Như bạn có thể thấy ngay bây giờ, chúng có các mạng nơ-ron riêng biệt và chỉ chúng chia sẻ V.
Điều chỉnh đó được thực hiện thực sự là lấy tất cả các mạng nơ-ron này và ghép chúng thành một, lấy chúng và
ghép chúng lại với nhau.
Vì vậy, cuối cùng, chỉ có một mạng nơ-ron ở đây được chia sẻ giữa các tác nhân.
Vì vậy, trước khi có, mỗi người trong số họ có một mạng thần kinh được chia sẻ cho diễn viên và nhà
phê bình.
Một mạng thần kinh được chia sẻ cho diễn viên đối với một mạng thần kinh quan trọng được chia sẻ cho hình diễn viên.
Bây giờ tất cả đều có một mạng nơ-ron được chia sẻ cho diễn viên, nhà phê bình, diễn viên, nhà phê bình, diễn viên, nhà
phê bình.
Và sau đó người chỉ trích ở đây là điểm chung.
Vì vậy, chúng ta hãy xem chúng ta hãy chuyển những hình ảnh này sang bên trái ở đây.
Vì vậy, hãy tạo ra một số không gian.
Và đây về cơ bản là kiến trúc hoặc cấu trúc mà chúng ta sẽ sử dụng trong các hướng dẫn thực
hành.
Tôi biết rằng như thế này, điều này nghe có vẻ hơi áp đảo ở giai đoạn này, nhưng chúng tôi có một điều
nữa để nói về nó, đó là lợi thế.
Và ở đó, chúng ta sẽ thấy tốt hơn một chút trong hành động như thế nào.
Vì thế.
Chúng ta sẽ nói về trực giác hoạt động ở đó.
Nhưng nói chung, đây là những gì nó là.
Đây là một mạng lưới mà mỗi tác nhân sử dụng để họ chia sẻ.
Về cơ bản điều đó có nghĩa là chúng chia sẻ trọng lượng.
Trọng số của mạng được chia sẻ giữa các tác nhân.
Và khi chúng được cập nhật, chúng cập nhật toàn bộ mạng, không chỉ mạng riêng của chúng.
Và sau đó họ có đầu ra.
Họ có những hành động như thế này đối với từng tác nhân, và sau đó họ có người chỉ trích được chia sẻ, điều này sẽ được
theo dõi.
Vì vậy, tôi biết tất cả những điều này giống như có rất nhiều thứ ngay bây giờ, nhưng hy vọng rằng nó đang dần kết hợp lại
với nhau.
Ít nhất thì rút ra chính từ đây là người chỉ trích, bởi vì nó được chia sẻ, đó là cách
các đại lý có thể đảm bảo rằng họ hợp tác với nhau để đạt được kết quả nhanh hơn nhiều.
Và sau đó trong hướng dẫn tiếp theo, chúng ta sẽ xem thêm cách tất cả những điều này cộng lại như thế nào, tất cả những điều này kết hợp với nhau
như thế nào.
Và hiện tại, tôi muốn giới thiệu hoặc chúng tôi muốn giới thiệu cho bạn một, một bài đọc bổ sung.
Vì vậy, đây là một blog của Jaromir Jaenisch.
Nó được gọi là Hãy thực hiện một triển khai ba chìa khóa.
Thực tế có hai phần thực hiện và lý thuyết.
Có liên kết.
Và nó rất giống với những gì Alan sẽ triển khai trong phần thực tế của hướng dẫn.
Vì vậy, nó không dành riêng cho hướng dẫn này, không chỉ dành riêng cho hướng dẫn, mà nó dành cho toàn
bộ phần này với sự khuyến khích ở đó, một số thông tin bổ sung, một số hiểu biết bổ sung ở
đó.
Và đó là lý do tại sao chúng tôi đưa nó lên đây.
Nhưng tuy nhiên, trong hướng dẫn tiếp theo, chúng ta sẽ bắt đầu tập hợp tất cả những điều này lại với nhau, mọi thứ chúng ta đã thảo
luận trước đây.
Và tôi mong được gặp bạn lần sau.
Và cho đến khi đó, hãy tận hưởng.
TÔI.