สวัสดีและยินดีต้อนรับกลับสู่หลักสูตรเกี่ยวกับปัญญาประดิษฐ์
ฉันหวังว่าคุณจะตื่นเต้นกับการสอนวันนี้เพราะเรากำลังก้าวเข้าสู่โลกครั้งแรกของเรา
และวันนี้เรากำลังพูดถึงการเรียนรู้การเสริมแรง
มันเป็นเรื่องที่สำคัญมากเพราะมันจะหนุนทุกสิ่งที่กำลังจะเกิดขึ้นในหลักสูตรนี้
งั้นเริ่มกันที่นี่
เรามีเขาวงกตนิดหน่อยและเขาวงกตนี้เป็นตัวแทนของสภาพแวดล้อมและนั่นคือสิ่งที่เรากำลังจะได้รับในหลักสูตรนี้
เรากำลังจะจัดการกับสภาพแวดล้อมบางอย่างที่ปัญญาประดิษฐ์ของเรากำลังจะดำเนินการมันกำลังจะดำเนินการมันจะต้องเอาชนะสิ่งเหล่านี้ในการดำเนินการของฉันเธอจะมองหาที่จะชนะในสภาพแวดล้อมเหล่านี้
และที่นี่เรามีตัวแทน
ตัวแทนคือปัญญาประดิษฐ์ของเรา
นั่นคือบุคคลหรือนั่นคือจิตใจที่กำลังจะสำรวจสภาพแวดล้อมเหล่านี้และเรียนรู้จากข้อเสนอแนะที่จิตใจของพวกเขากำลังจะให้มันเพื่อดำเนินการบางอย่าง
และวิธีการทำงานคือเอเจนต์ทำการกระทำบางอย่างในสภาพแวดล้อมนี้
และเป็นผลให้รัฐที่มันอยู่ในจะเปลี่ยนดังนั้นมันอาจจะเพิ่มเติมหรือใกล้ชิดหรือมากขึ้นไปทางซ้ายมากขึ้นไปทางขวา
อาจมีการเรียงลำดับของพารามิเตอร์อื่น ๆ ที่อธิบายถึงสถานะและพารามิเตอร์เหล่านั้น
ดังนั้นรัฐจะเปลี่ยนไปเพราะการกระทำนั้นเกิดขึ้นและมันก็จะได้รับรางวัลตามการกระทำด้วย
ดังนั้นทุกครั้งที่มีการดำเนินการรัฐจะเปลี่ยนแปลงและจะได้รับรางวัล
ตอนนี้จำไว้ว่าบางครั้งมันอาจเกิดขึ้นที่มันจะไม่เปลี่ยนสถานะการกระทำจะไม่เปลี่ยนการเข้าพักหรือจะไม่มีรางวัลสำหรับการดำเนินการที่
ในแง่ที่มันเป็น
แต่อย่างไรก็ตามเจ้าหน้าที่ของตัวแทนก็ยังคงทำเช่นนั้นต่อไปคือการกระทำที่โกงรัฐที่ได้รับรางวัลการเปลี่ยนแปลงการกระทำการกระทำที่เปลี่ยนรัฐและรับรางวัล
และโดยการทำกระบวนการนั้นมันจะเป็นการเรียนรู้เกี่ยวกับสิ่งที่กำลังสำรวจสภาพแวดล้อมการทำความเข้าใจว่าการกระทำใดนำไปสู่ผลตอบแทนที่ดีและรัฐที่น่าพึงพอใจ
และนี่คือปัญหาระดับโลกที่เป็นตัวแทนอย่างง่ายมาก
ดังนั้นหากคุณคิดว่าสภาพแวดล้อมนั้นไม่จำเป็นต้องเป็นเขาวงกตจริงๆ
มันไม่ได้เกี่ยวกับการออกจากเขาวงกตหรือค้นหาสมบัติในเขาวงกต
สภาพแวดล้อมอาจเป็นอะไรก็ได้ในชีวิต
ลองจินตนาการว่าคุณตื่นขึ้นมาในตอนเช้าและทำไข่เจียว
ดังนั้นเพื่อให้ไข่เจียวนั้นคุณต้องทำตามขั้นตอนบางอย่างคุณต้องได้รับเกลือรับไข่ได้รับกระทะทอดที่ไฟและอื่น ๆ
และมันเสียงเหมือนสิ่งธรรมดา
แต่มันก็กลายเป็นกิจวัตรประจำวันเพราะคุณทำไปแล้วหลายครั้ง
แต่ในความเป็นจริงมันเป็นสภาพแวดล้อมที่คุณกำลังทำอะไรบางอย่างที่คุณกำลังทำอยู่นั่นคือการที่คุณวางไฟบนกระทะที่คุณวางไว้บนไฟ
และคุณกำลังจะพลิกกลับเรื่อย ๆ
ดังนั้นคุณจะเห็นได้ว่าพวกเขาเป็นการกระทำของ CRN ซึ่งมีการดำเนินการในบางรัฐและการกระทำเหล่านั้นนำไปสู่บางรัฐอื่น ๆ
และบางครั้งก็ให้รางวัล
ตัวอย่างเช่นเมื่อคุณวางไฟไว้และคุณรอเดี๋ยวรอเดี๋ยวรอคุณทำอะไรรอเดี๋ยวรอเดี๋ยวรอนานเกินไปจากนั้นก็ใส่ไข่ลงไปในกระทะ
ผลตอบแทนจะเป็นลบมาก
ทุกอย่างจะเผาไหม้
ในทางกลับกันถ้าคุณทำทุกอย่างที่ถูกต้องในเวลาที่ถูกต้องดังนั้นมันสำคัญมากที่จะต้องเข้าใจว่าการกระทำนั้นควรทำในเวลาที่ถูกต้อง
ตัวอย่างเช่นการใส่เกลือลงในกระทะก่อนที่คุณจะใส่ไข่เข้าไปอาจจะไม่ใช่ความคิดที่ดีที่สุด
คุณอาจต้องการที่จะดำเนินการวางเกลือลงในกระทะหลังจากไข่อยู่ในนั้นเพื่อให้อยู่ในสถานะที่แตกต่างกัน
ดังนั้นสิ่งสำคัญคือต้องจำไว้ว่า
และในเวลาเดียวกันดังนั้นถ้าคุณทำสิ่งที่ถูกต้องในลำดับที่ถูกต้องในสถานะที่ถูกต้องรางวัลสุดท้ายของคุณอาจเป็นเพราะคุณได้รับไข่เจียวซึ่งคุณสามารถทานได้
และนั่นก็เป็นกิจกรรมพื้นฐานในชีวิตของคุณ แต่ถ้าคุณคิดว่ามันเป็นสภาพแวดล้อมจริง
ๆ และคุณเป็นตัวแทนผ่านสภาพแวดล้อมนี้และทำงานที่คุณไม่ต้องเรียนรู้อะไรเพราะคุณรู้ดี .
แต่ในเวลาเดียวกันคุณสามารถเรียนรู้บางทีคุณอาจเรียนรู้วิธีการทำไข่เจียวให้ดีขึ้นหรือโดยเฉพาะอย่างยิ่งถ้ามันเป็นไข่เจียวตัวแรกที่คุณทำ
แต่คุณจะได้เรียนรู้จากสิ่งนั้นเพราะคุณจะเข้าใจว่าการกระทำใดนำไปสู่รัฐและเส้นทางและสิ่งอื่นใดในชีวิต
ตัวอย่างเช่นแม้แต่การซื้อขายในตลาดหุ้นและคุณรู้ว่าการซื้อและขายและได้รับผลตอบรับจากตลาดในแง่ของผลตอบแทนที่เป็นบวกหรือลบ
นอกจากนี้ยังเป็นสภาพแวดล้อมที่คุณมีส่วนร่วมในสภาพแวดล้อมที่เป็นผู้สูงอายุ
การขับขี่รถยนต์ยังเป็นสภาพแวดล้อมที่คุณสามารถหมุนพวงมาลัยที่คุณสามารถเร่งความเร็วที่คุณสามารถฝ่าได้และคุณจะได้รับการตอบรับจากสภาพแวดล้อมและคุณรู้ว่าหนึ่งในการตอบรับเหล่านั้นคือ กำลังไปเหนือขีด จำกัด
ความเร็วที่ยอมรับหรืออนุญาตบนทางหลวงสายนั้น
และจากที่นั่นคุณเรียนรู้ว่านั่นไม่ใช่สิ่งที่ควรทำเพราะมันนำไปสู่รางวัลเชิงลบ
ดังนั้นรางวัลไม่จำเป็นต้องเป็นตอนท้ายของกระบวนการ
พวกเขาสามารถตลอดการเดินทางตลอดกระบวนการ
ดังนั้นนี่คือตัวอย่างบางส่วน
และในแง่ของฉันวิธีที่ง่ายที่สุดในการคิดการเสริมกำลังการเรียนรู้ก็เหมือนการฝึกสุนัขเมื่อคุณฝึกสุนัขให้คุณให้คำสั่งที่แน่นอนและถ้ามันเชื่อฟังคำสั่งเหล่านั้น ถ้ามันไม่ได้
Abeles
Kamaz คุณบอกว่ามันเป็นสุนัขที่ไม่ดีหรือคุณเพียงแค่ไม่ให้การรักษา
และผ่านกระบวนการนั้นเรียนรู้คำสั่งบางอย่างหรือสิ่งที่จำเป็นต้องทำในสิ่งที่การกระทำที่จำเป็นต้องใช้ในบางรัฐและรัฐเป็นคำสั่งที่คุณให้มัน
และขึ้นอยู่กับว่ามันจะได้รับรางวัลแน่นอนบางอย่างในโลกของ AI
มันไม่ซับซ้อนเลย
คุณไม่ต้องให้ขนม
คุณไม่จำเป็นต้องมีถุงบิสกิตกับคุณทุกครั้งที่คุณให้บวกหนึ่งหรือลบหนึ่งดังนั้นมันจึงเป็นข้อได้เปรียบอย่างมากที่ในโลกของ AI
เราได้สร้าง AIs เหล่านี้ขึ้นมา
ดังนั้นรางวัลที่เรามอบให้ถ้าคุณคิดว่าว้าวนี่คือรางวัลที่ยอดเยี่ยมจริง ๆ
ที่ให้พวกเขาพวกเขาไม่มีตัวตนจริง ๆ พวกเขาแค่บวกหรือลบหนึ่งหรือบวกหนึ่งหรือบวกหนึ่งหรือศูนย์
ดังนั้นมันจึงไม่มีสิ่งมีชีวิตทั้งหมดในจินตนาการ
แต่ในขณะเดียวกันก็นำไปสู่ผลลัพธ์ที่ยอดเยี่ยมในขณะที่เราสามารถสร้างสิ่งที่น่าอัศจรรย์เหล่านี้ปัญญาประดิษฐ์ที่น่าอัศจรรย์เหล่านี้เช่นเดียวกับปัญญาประดิษฐ์ที่น่าทึ่งนี้โดยเพียงแค่ให้รางวัลที่เราไม่ได้มีอยู่จริง
บวกและลบอย่างใดอย่างหนึ่งไม่เสียค่าใช้จ่าย แต่ผลการเปิดตัวในเวลาเดียวกัน
คล้ายกันมากกับโลกแห่งความเป็นจริง
และคุณรู้ตัวอย่างเช่น Dokes แต่ที่นี่รางวัลเป็นตัวเลขดิจิตอล
และในใจเราสามารถพูดคุยเกี่ยวกับหุ่นยนต์สุนัขฉันรักตัวอย่างนี้ดังนั้นในภาพไม่จำเป็นว่าสุนัขหุ่นยนต์ที่แน่นอนที่คุณรู้ว่าได้รับการฝึกฝนผ่านการเสริมกำลังการเรียนรู้สุนัขหุ่นยนต์ อัลกอริทึมในนั้น
และนี่คือตัวอย่างที่ดีของความแตกต่างระหว่างเอเจนต์ที่เตรียมไว้ล่วงหน้าและเอเจนต์เสริมการเรียนรู้เพื่อให้คุณสามารถมีสุนัขหุ่นยนต์
ดังนั้นในอัลกอริทึมที่อยู่เบื้องหลังสุนัขในซอฟแวร์จะบอกว่าตกลงเพื่อที่จะเดินคุณจะต้องย้ายขาซ้ายของคุณไปข้างหน้าขาหน้าซ้ายไปข้างหน้า และทำซ้ำการกระทำนั้นและคุณรู้ว่านั่นคือคำจำกัดความของการเดินคือฟังก์ชั่นภายในสุนัขตัวนี้
แล้วคุณอาจรู้วิธีนั่งวิธียืนและสิ่งต่าง ๆ เช่นนั้น
ในขณะที่สุนัขหุ่นยนต์ที่ฝึกผ่านการเสริมแรงการเรียนรู้สิ่งที่เกิดขึ้นคือคุณไม่ได้เตรียมโปรแกรมไว้ล่วงหน้า
นี่เป็นแนวคิดหลักสำหรับทุกสิ่งที่คุณไม่ได้มีอัลกอริธึมใด ๆ อยู่ภายในซึ่งเป็นรหัสที่ยากสำหรับสุนัข
แต่คุณมีสิ่งที่เราจะพูดคุยในอนาคต
คุณมีอัลกอริธึมการเรียนรู้การเสริมแรงซึ่งบอกว่าตกลงดังนั้นเป้าหมายมาจากที่คุณไม่ทราบอะไรจนถึงตอนจบของห้อง
และนี่คือการกระทำบางอย่างที่คุณสามารถทำได้
คุณสามารถย้ายเท้าขวาของคุณคุณสามารถย้ายเท้าซ้ายของคุณคุณสามารถย้ายเท้าหลังขวาของคุณคุณซ้ายเท้าหลังดังนั้นที่นี่ทุกองศาอิสระคุณสามารถย้ายได้เช่นนี้คุณสามารถย้ายแบบนี้เช่นรายการ การกระทำที่คุณสามารถทำได้และรางวัลของคุณคือทุกครั้งที่คุณก้าวไปข้างหน้าคุณจะได้รับผลบวกทุกครั้งที่คุณล้ม
คุณได้หนึ่งลบและนั่นคือทั้งหมดที่มีให้
จากนั้นพวกเขาก็ปล่อยสุนัขและปล่อยให้มันคิดออกเอง
ดังนั้นสุนัขพยายามที่จะยืนขึ้นมันก็ตกลงมามันก็ตระหนักว่าโอเคฉันไม่ควรทำสิ่งนั้นที่ทำให้ฉันล้มเพราะทุกครั้งที่ฉันล้มฉันจะได้รับลบซึ่งไม่ดีสำหรับฉันแล้ว
การกระทำอื่น ๆ ที่ช่วยให้เขายืนขึ้นและจากนั้นก็เป็นเพียงการทดลองการทดลองการทดลองของไตรและจากนั้นคิดว่ามันสามารถก้าวไปข้างหน้าโดยการขยับเท้าขวาของหน้า
ทำมากกว่านั้น
ตกลงดีดังนั้นตอนนี้เรียนรู้ว่าควรทำมากกว่านี้และน้อยกว่านั้น
และผ่านกระบวนการเรียนรู้นี้อย่างรวดเร็วเข้าใจอย่างรวดเร็วว่าสามารถเดินได้อย่างไร
และสุนัขเหล่านั้นที่คิดได้ด้วยตัวเองสามารถเดินได้ดีกว่าสุนัขที่มีการตั้งโปรแกรมล่วงหน้าจริง ๆ เพราะสิ่งที่มีการตั้งโปรแกรมไว้ล่วงหน้าจริง ๆ
แล้วเรามองดูสุนัขในชีวิตจริง
เพิ่มประสิทธิภาพของสิ่งต่าง ๆ ด้วยตัวมันเอง
และเพราะในบางครั้ง AI ก็จะได้ผลลัพธ์ที่ดียิ่งขึ้น
และนั่นคือวิธีที่พวกเขาสามารถฝึกหุ่นยนต์เหล่านี้
หุ่นยนต์สุนัขเดียวกันเล่นฟุตบอล
คุณสามารถฝึกสุนัขธรรมดาให้เล่นฟุตบอลได้เพราะคุณรู้ว่าวิธีการทั้งหมดนั้นต่างกัน
และไม่ใช่สิ่งที่คุณรู้ว่าอาจเป็นสุนัขธรรมดาที่ได้รับการฝึกฝนให้ทำหรือเคยทำมาแล้วในกระบวนการวิวัฒนาการของมัน
ในขณะที่สุนัขหุ่นยนต์เรียนรู้การเสริมแรงสามารถเข้าใจได้อย่างง่ายดายว่าจะเล่นฟุตบอลได้อย่างไรตราบใดที่คุณบอกพวกเขาว่ารางวัลคืออะไรเป้าหมายคือสิ่งที่พวกเขาสามารถทำได้
นั่นคือวิธีการเรียนรู้เสริมแรง
โดยทั่วไปมีภาพรวมอย่างรวดเร็วของการเรียนรู้การเสริมแรง
ฉันหวังว่าคุณจะตื่นเต้นมากที่กำลังจะมาถึงเพราะมันเป็นโลกที่แตกต่างอย่างสิ้นเชิงเมื่อเทียบกับโซลูชั่น preprogram
โปรแกรม hardcoded ที่ยากที่คุณมีเงื่อนไขอื่น ๆ
มันแตกต่างกันมาก
และเราจะพูดเพิ่มเติมเกี่ยวกับเรื่องนี้
ในระหว่างนี้เรามีการอ่านเพิ่มเติมสำหรับคุณดังนั้นหากคุณต้องการมีเอกสารประกอบการสนับสนุนนี่เป็นบทความที่ยอดเยี่ยมซึ่งคุณสามารถตรวจสอบและดูได้
มันเรียกว่าการเรียนรู้การเสริมแรงแบบง่ายด้วยการไหลของเทนเซอร์
มันมีสิบส่วน
ลิงค์อยู่ที่นี่แล้วคุณจะพบลิงค์ที่คลิกได้แบบเต็ม
ในบทความเกี่ยวกับทรัพยากรโดย Arthur Giuliani ปี 2559
และคุณสามารถติดตามหลักสูตรนี้และรับข้อมูลเพิ่มเติมจากบทความ
แต่โปรดจำไว้ว่าบทความนั้นมีแนวโน้มที่จะไหลเหมือนในหลักสูตรนี้เราใช้
pi torche เพื่อการใช้งานที่แตกต่างกัน
แต่การปลูกฝัง แต่ในเวลาเดียวกันคุณอาจเลือกบางสิ่งที่นี่ กำลังจะทำในหลักสูตรนี้
บทความที่ดีมากจะติดตามคุณหากคุณกำลังพิจารณาที่จะติดตามมัน
ยังคงอยู่ในกรณี
ตรวจสอบว่าส่วนแรกนั้นและดูว่าคุณชอบดูว่าคุณต้องการอ่านอีกนิด
และจากนั้นเราก็มีความเฉพาะเจาะจงสำหรับการกวดวิชานี้การเรียนรู้การบังคับใช้ชายแดนมีเอกสารของ Richard Sutton
ซึ่งเรียกว่าการเรียนรู้การเสริมแรง
การแนะนำหนึ่งคือ 1998 เอกสารค่อนข้างเก่า แต่ในเวลาเดียวกันคุณสามารถเรียนรู้เล็กน้อยเกี่ยวกับการเสริมแรงการเรียนรู้ตัวอย่างบางอย่างเช่นตัวอย่าง
omlet และตัวอย่างอื่น ๆ
ที่สามารถเรียนรู้การเสริมแรง
หากคุณกำลังมองหาการอ่านเพิ่มเติมและในบันทึกนั้นเราจะสรุปบทแนะนำนี้
แทบรอไม่ไหวที่จะพบคุณในครั้งต่อไป
และจนกว่าจะสนุกกับ AI