Ciao e bentornati al corso sull'intelligenza artificiale.
Spero che tu sia entusiasta del tutorial di oggi perché stiamo facendo il nostro primo passo nel
mondo, I.
E oggi stiamo parlando di apprendimento di rinforzo.
È una storia molto importante perché sottolineerà tutto ciò che accadrà in questo corso.
Quindi iniziamo qui.
Abbiamo un piccolo labirinto e questo labirinto è la nostra rappresentazione di un ambiente ed è quello che avremo
a che fare in questo corso.
Avremo a che fare con determinati ambienti in cui la nostra intelligenza artificiale
sta per essere eseguita, e prenderà delle azioni che cercherà di sconfiggere nel mio andare che
cercherà di vincere in questi ambienti.
E qui abbiamo un agente.
L'agente è la nostra intelligenza artificiale.
Questa è la persona o è la mente che sta navigando in questi ambienti e imparando dal
feedback che le loro menti stanno per dargli per eseguire determinate azioni.
E così il modo in cui funziona è che l'agente esegue determinate azioni in questo ambiente.
E di conseguenza lo stato in cui è inserito cambierà in modo che potrebbe essere più o meno vicino o più a sinistra
più a destra.
Potrebbe avere una sorta di altri parametri che descrivono lo stato e quei parametri.
Quindi lo stato cambierà a causa dell'azione e riceverà anche dei premi in base
all'azione.
Quindi ogni volta che prende una decisione, lo stato cambierà e riceverà una ricompensa.
Ora ricorda che a volte può succedere che non cambi lo stato in cui l'azione
non cambierà un soggiorno o che non ci sarà una ricompensa per l'azione.
In quel senso era.
Tuttavia, l'agente continuerà a fare ciò che sta per intraprendere azioni ingannando lo
stato ricevendo ricompense cambiando azione intraprendendo azioni che cambiano lo stato e ricevendo ricompense.
E facendo questo processo impareremo cosa sta per essere esplorato nell'ambiente, comprendendo
quali azioni portano a buone ricompense e stati favorevoli e quali azioni le due
premiano uno stato sfavorevole.
E questo è un problema molto globale di rappresentazione molto semplicistico.
Quindi, se ci pensi, gli ambienti in realtà non devono essere solo labirinti.
Non si tratta solo di uscire da un labirinto o di trovare un tesoro in un labirinto.
Un ambiente può essere praticamente qualsiasi cosa nella vita.
Quindi immagina di svegliarti al mattino e cucinare una frittata.
Quindi, per preparare quell'omelette, è necessario passare attraverso alcuni passaggi necessari per ottenere che il sale ottenga le
padelle che si accendono e così via e suona come una cosa banale di routine.
Ma è diventato routine perché l'hai fatto così tante volte.
determinate azioni che stai prendendo che tu accendi il fuoco mettendo una padella sul fuoco stai mettendo
tutte le uova nella padella e mettici un po 'di sale sulle uova e tu ti capovolgi e così via.
Ma in realtà è un ambiente in cui stai eseguendo
Quindi, come puoi vedere, sono azioni di azioni CRN che stanno prendendo in determinati stati e quelle azioni portano
a certi altri stati ea volte premiano.
Quindi ad esempio quando accendi il fuoco e attendi, aspetta, aspetta, aspetta che tu faccia un'azione
di attesa, aspetta, aspetta troppo a lungo e poi metti le uova nella padella.
I premi saranno molto negativi.
Tutto brucerà.
anche molto importante capire che le azioni dovrebbero essere prese nei punti corretti nel tempo.
D'altra parte, se esegui tutte le azioni corrette nel momento giusto, è
Quindi, ad esempio, mettere il sale nella padella prima di mettere le uova potrebbe non essere la
migliore idea.
Potresti prendere l'azione di mettere il sale nella padella dopo che le uova sono lì in modo
che siano in uno stato diverso.
Quindi è importante ricordarlo.
E allo stesso tempo quindi se prendi tutte le azioni corrette nell'ordine corretto negli stati
corretti, la tua ricompensa finale potrebbe essere quella di ottenere una frittata che puoi mangiare.
E quindi questa è un'attività di base nella tua vita ma se ci pensi è in realtà un ambiente e
tu sei l'agente che attraversa questo ambiente ed esegui un compito che non hai davvero bisogno di imparare
nulla perché lo conosci già abbastanza bene .
Ma allo stesso tempo potresti imparare che potresti imparare come preparare una frittata migliore o, soprattutto, se è
la tua prima frittata che stai facendo, probabilmente stai per rovinare tutto.
Ma imparerai da questo perché capirai quali azioni portano verso stati e percorsi e qualsiasi
altra cosa nella vita.
vendere e ottenere un certo feedback dal mercato nel senso di rendimenti positivi o negativi.
Ad esempio, anche il trading in borsa e sai comprare e
Questo è anche un ambiente in cui partecipi a quell'ambiente come anziano.
Guidare una macchina è anche un ambiente in cui puoi girare il volante che puoi accelerare, puoi
rompere e così via e ricevi feedback dall'ambiente e sai che uno di questi feedback
è il poliziotto che ti dà una multa accelerata se tu? andare al di sopra del limite di velocità accettabile o consentito
su quella autostrada.
E quindi da lì impari che non è qualcosa che dovrebbe essere fatto perché porta
a una ricompensa negativa.
Quindi i premi non devono essere proprio alla fine del processo.
Possono essere durante tutto il viaggio durante tutto il processo.
Quindi quelli sono un paio di esempi.
E in termini di un I il modo più semplice di pensare all'apprendimento rinforzato è come addestrare un cane quando addestrate
il cane a dargli certi comandi e se obbedisce a quei comandi allora gli date una portata che gli date
come un biscotto o qualcosa del genere se Abeles Kamaz non lo dice, è un cane cattivo
o semplicemente non gliene frega niente.
bisogno per fare ciò che è necessario intraprendere in certi stati e gli stati sono i comandi che tu gli dai.
E attraverso questo processo apprende ciò che determinati comandi o ciò di cui ha
E in base a ciò otterrà certamente alcuni premi nel mondo dell'IA.
Non è così complesso.
Non devi dare le leccornie.
Non devi avere con te un sacchetto di biscotti ogni volta che ne dai uno più uno o
uno meno, quindi è un enorme vantaggio che nel mondo dell'IA abbiamo creato queste IA da noi stessi.
Quindi le ricompense che stiamo dando loro se pensate che questa è davvero una bella ricompensa stanno dando loro
che in realtà non esistono, sono solo un più o meno uno o più uno, uno zero o qualcosa del genere.
Quindi è tutto inesistenza tutte le cose immaginarie.
Ma allo stesso tempo porta a grandi risultati in quanto possiamo creare queste incredibili cose con questa
incredibile intelligenza artificiale come con questa incredibile intelligenza artificiale, fornendo solo ricompense che in realtà non esistono.
Più e meno uno non costa nulla, ma i risultati di rilascio stesso tempo.
Quindi molto simile al mondo reale.
E sai ad esempio Dokes Ma qui i premi sono digitali e solo numeri.
quindi questo è solo in foto non necessariamente quel cane robot che conosci che viene addestrato attraverso l'apprendimento
di rinforzo di alcuni dei cani robot, specialmente quelli più grandi che avresti un algoritmo in là.
E con questo in mente possiamo parlare di cani robot amo questo esempio
E questo è in realtà un buon esempio della differenza tra gli agenti preprogrammati e l'agente di apprendimento
di rinforzo in modo da poter avere un cane robot che è preprogrammato su come dirlo.
Quindi nell'algoritmo dietro il cane nel software si dirà OK quindi per camminare è necessario spostare la gamba
sinistra avanti gamba anteriore sinistra avanti quindi la gamba posteriore destra avanti quindi la gamba destra anteriore avanti quindi
la gamba posteriore sinistra avanti e ripeti quell'azione e sai che è la definizione di
camminare è una funzione all'interno di questo cane.
E poi potrebbe farti sapere come sedersi su come stare e cose del genere.
Mentre in un cane robot che viene addestrato attraverso l'apprendimento di rinforzo, ciò che accade è che non lo
preprogrammi.
Questo è il concetto chiave per tutto ciò che non hai alcun algoritmo all'interno che sia codificato
nel cane.
Invece hai ciò di cui parleremo in futuro.
Hai questo algoritmo di apprendimento di rinforzo che viene detto che OK quindi l'obiettivo è quello di ottenere da dove si
sta ora non sapendo nulla per quello alla fine della stanza, per esempio.
E qui ci sono alcune azioni che puoi intraprendere.
Puoi muovere il piede destro puoi muovere il piede sinistro puoi muovere il piede destro indietro sei
indietro piede quindi qui tutti i gradi di libertà che puoi fare puoi muoverlo così
puoi muoverti così come un elenco di le azioni che puoi intraprendere e le tue ricompense ogni volta che fai un passo in
avanti ottieni un vantaggio ogni volta che cadi.
Si ottiene un meno uno e questo è tutto quello che c'è da fare.
E poi lasciano il cane e lasciano che lo capisca da solo.
Quindi il cane cerca di alzarsi e cade poi si rende conto che OK non dovrei fare quell'azione che mi ha portato a cadere perché
ogni volta che cado ne ottengo uno meno che poi non va bene per me.
Così fa l'altra azione che lo ha aiutato a stare in piedi e poi le cifre
sono solo esperimenti esperimenti sperimenta le cose di tri casualmente e poi capisce che può fare
un passo avanti spostando il piede anteriore destro e ottiene un vantaggio e realizza oh dovrei fare di più.
OK, quindi ora apprende che dovrebbe fare di più e di meno.
E attraverso questo processo di apprendimento rapidamente capisce molto rapidamente come può camminare.
quei cani che hanno capito da soli in realtà possono a volte camminare meglio dei cani preprogrammati perché in
realtà preprogrammano cose che guardiamo ai cani della vita reale o sai che usiamo
la nostra immaginazione come farlo mentre un cane di rinforzo può imparare ottimizzare le cose da solo.
E
E perché nell'IA a volte può ottenere risultati ancora migliori.
Ed è così che possono addestrare questi robot.
Lo stesso robot canta per giocare a calcio.
Puoi addestrare un cane normale a giocare a calcio perché sai semplicemente che l'intero approccio è diverso.
E non è qualcosa che sai che probabilmente un cane normale è stato addestrato a fare o ha mai fatto
nel suo processo di evoluzione.
calcio finché si dice loro quali sono i vantaggi che gli obiettivi sono le azioni che possono intraprendere.
Mentre un robot di rinforzo per l'apprendimento dei cani può capire molto facilmente come giocare a
Ecco come funziona l'apprendimento di rinforzo.
In generale, c'è una rapida panoramica dell'apprendimento rinforzato.
Spero che ti abbia fatto molto piacere per il prossimo futuro, perché è un mondo completamente diverso
rispetto alle soluzioni preprogrammate, soluzioni hardcoded con programmi rigidi in cui si hanno le condizioni if ​​else.
Questo è molto diverso.
E ne parleremo di più.
quindi se ti piacerebbe avere dei materiali di supporto Ecco un grande articolo che puoi guardare e guardare.
Nel frattempo abbiamo qualche lettura aggiuntiva per te,
Si chiama semplice apprendimento di rinforzo con flusso tensoriale.
Ha dieci parti.
Il link è qui e troverai il link completo cliccabile su.
Nel corso delle risorse dell'articolo di Arthur Giuliani del 2016, puoi seguire questo corso e ottenere
ulteriori informazioni da quell'articolo.
torche di implementazione così diversa ma impianti, ma allo stesso tempo potresti raccogliere alcune cose qua
e là che potrebbero integrare il tuo apprendimento che siamo andando a fare in questo corso.
Ma tieni presente che quell'articolo tende a fluire dove, come in questo corso, stiamo usando pi
Così ottimi articoli ti seguono se stai pensando di seguirlo di sicuro.
Ancora per ogni evenienza.
Dai un'occhiata a quella prima parte e vedi se ti piace vedere se ti piacerebbe leggerlo un po 'di più.
E poi abbiamo specifico per questo tutorial un apprendimento delle frontiere, c'è un lavoro di Richard Sutton
che si chiama apprendimento di rinforzo.
ma allo stesso tempo si può imparare un po 'sull'apprendimento del rafforzamento di alcuni esempi come l'esempio di omlet e altri esempi
di dove può essere applicato l'apprendimento di rinforzo e solo una panoramica generale dell'apprendimento di rinforzo.
Un'introduzione è che i giornali del 1998 sono piuttosto vecchi,
Se stai cercando qualche lettura aggiuntiva e su quella nota stiamo per concludere questo tutorial.
Non vedo l'ora di vederti la prossima volta.
E fino ad allora goditi l'intelligenza artificiale.