Ciao e bentornati al corso sull'intelligenza artificiale.
Nel tutorial di oggi parleremo di un componente aggiuntivo che implementeremo per il
nostro algoritmo 8: 3.
Si chiama The Long memoria a breve termine o LSD in breve.
Diamo un'occhiata a ciò che abbiamo finora e poi discuteremo sul motivo per cui abbiamo bisogno dell'LSD e su
che cos'altro è per lui così lontano che abbiamo discusso attraverso noi.
che in realtà è un po 'più completo o molto più complesso di quello che abbiamo su questa immagine,
in realtà abbiamo tre o più agenti che attraversano l'ambiente e stanno comunicando tra loro e così via.
E abbiamo parlato di tutte e tre le lettere A nella 3C e, naturalmente, abbiamo visto
Ma per ragioni di semplicità per la storia di oggi, illustreremo semplicemente tutto con questo unico agente,
alla fine abbiamo questo rapporto la parte critica.
Quindi, in pratica, una volta che abbiamo uno stato, dichiariamo questa immagine mentre attraversa il convoluzionale, quindi attraversiamo
un Lego che trascina l'appiattimento di uno strato.
vanno nei livelli nascosti e poi come output otteniamo la politica o le parti dell'attore e ottengono il valore
dello stato o otteniamo la parte critica e che cosa faremo oggi è che parleremo di
questa parte nascosta nei livelli nascosti che possiamo effettivamente portare al livello successivo e possiamo aggiungere una notifica.
E a questo punto abbiamo valori o numeri che vengono poi propagati attraverso la
rete e
E abbiamo già visto che esistono più notifiche perché si muovono, visto che uno di
loro ha visto che in alcuni casi è possibile avere questa parte principale della rete che è individuale per ogni agente.
Oppure puoi avere questa parte principale della rete che è condivisa e questo è quello che abbiamo visto che nelle nostre
precedenti prove di intuizione avevamo una parte condivisa della rete.
Questa rete è stata condivisa tra gli agenti e come Adlon ti dirà di più nelle
esercitazioni pratiche che aiutano davvero la sfida della rottura.
E ci sono molti altri modi in cui puoi modificare l'algoritmo.
Molte altre aggiunte che possono essere implementate.
E uno di quelli che discuteremo perché nella parte pratica
dei troll ci troveremo qui prima di colpire e Lares che puoi aggiungere è un elist Himmler una rete
neurale Klare che consente al tuo algoritmo di valutazione di avere memoria che permette all'algoritmo di ricordare cosa è successo prima e parleremo
di LACMA solo ora più in dettaglio.
aggiuntivo di un'altra caratteristica e che vedrai nei pratici Sorrell è che non avevamo nemmeno bisogno di alcun
livello nascosto dopo che tutti loro erano simili Quindi lo vedrai nell'implementazione di Atlanta.
Ma in pratica puoi aggiungere un ulteriore livello qui che lo elogia Lehre e migliora il tuo algoritmo con un altro Nimer
Ha subito l'appiattimento lì.
Dopodiché ha il calamaio. In pratica questa scatola rappresenta il giocatore d'azzardo.
E dopo quello subito hai l'output in modo da non aver nemmeno bisogno di altri Lares nascosti
dopo questo semplicemente perché è la quantità di energia che la tana LSM aggiunge all'algoritmo.
E ancora l'algoritmo o l'architettura della tua rete personale è una cosa molto visiva, è
una preferenza personale.
molto creativa quindi potresti desiderare di dover elidere i giocatori d'azzardo che potresti avere l'esperto psicoanalista Jim Lehrer.
È una cosa
Sono diversi cinque livelli nascosti dopo averli elencati.
È totalmente a te e per te sperimentare ed esplorare.
Ma questo è quello che abbiamo imparato con i tutorial pratici, così vedrai che abbiamo uno
strato piatto appiattito e dopo di ciò abbiamo una tana di dighe e quindi l'output.
Quindi ora abbiamo parlato dell'altro simile così tanto che cosa è questo un gestore.
tana LACMA aggiunge memoria fornisce una funzionalità come la rete neurale consente di avere memoria di
ciò che è accaduto nelle iterazioni precedenti ed è spesso simbolizzata o mostrata con un simbolo che assomiglia a questo.
Bene, la
Questo è appena iniziato e sto solo mettendo qui.
So che sembra molto storto ma lo sto mettendo qui, così puoi vedere quando discuteremo ulteriormente di questa immagine.
Puoi vedere cosa sta succedendo, quindi l'output di questa lettera va qui e questo è il nostro.
Quindi questo è un intero strato che entra qui, quindi è un vettore di valori x è un vettore che entra nella radice
e noi scarteremo semplicemente la cella.
E poi come output ottieni un altro vettore che conosci la concatenazione di questi store o
alcuni In qualche modo si lega nel nostro caso come output ottieni questo e ottieni questo.
Diamo un'occhiata a questo in modo più dettagliato.
Quindi si concentrerà su questa parte.
Di fatto ci addentriamo come probabilmente avrai notato dal fatto che le lettere sono sul lato e lo
gireremo di lato.
Quindi, così e tutto il resto come un guazzabuglio, è stato solo per ribadire il fatto che anche se sembra
che ciò che sta effettivamente accadendo sia uno strato di valori, un intero vettore di valori sta
entrando qui.
Sta succedendo qualcosa che causerà solo ora e poi sta accadendo un intero valore di valute vettoriali.
Quindi questo è il livello non è solo un elemento di questo è il livello stesso.
Quindi torniamo indietro solo per ribadire che Lehre va in questo dove succede qualcosa Lehre esce.
Ecco, questo è il LACMA è solo dalla sua parte.
Quindi è solo più facile da fare in questo modo e questa è una rappresentazione comune.
In questo momento, siamo d'accordo sul perché questa immagine sia dalla sua parte e su come procedere.
Iniziamo a scavare un po 'di più in questa situazione di LACMA.
Quindi cosa succede in Ellis Jim Lehrer.
Quindi questo è quello che sembra.
E, naturalmente, questo sembra molto complesso e sicuramente non lo faremo proprio
ora, semplicemente perché c'è parecchio da discutere.
Il punto erano le operazioni saggia dell'Operazione Xolair e ci sono solo un sacco di dettagli o intricati dettagli sui quali
non ci accingiamo a fare altrimenti perché altrimenti si spegnerebbe e questo non è lo
scopo di non parlare di Else dighe qui che useranno il LACMA.
E se vuoi saperne di più sui sistemi Ellis puoi andare o siamo qui.
Il blog di Christopher Ola.
dei suoi steli o parliamo anche di LACMA nella nostra età di apprendimento profondo, naturalmente è possibile verificarlo.
Ha una buona descrizione
Abbiamo anche un'intera sezione su reti e sistemi neurali ricorrenti.
Quindi in pratica questa è la parte interna del sistema.
E quello che succede è come se la gamba entri, quindi ne parleremo a un livello intuitivo
su un livello molto basilare, solo quello che ci basterà per capire cosa succede o perché
c'è memoria.
E così puoi anche capire meglio di cosa sta parlando Atlanta quando sta implementando questo.
So Largo in tutto questo è qualcosa su cui fondamentalmente va avanti qui Larry va su.
Quello di cui abbiamo bisogno per vedere in realtà è che ci sono queste parti, in realtà ci sono
ulteriori input in questa Lehre.
Quindi ricorda che di solito hai un input da una Lehre precedente di questa lettera e quindi hai
un output se pensi a quell'immagine che avevamo in precedenza la rete normale che non è dalla sua parte, che è
come da sinistra a destra dall'alto verso il basso verso l'alto.
Ma a meno che tu non abbia effettivamente più input.
Quindi so che sta diventando ancora più complesso, ma almeno possiamo comprenderle.
Quindi questa è la tua cella di memoria.
Questa è la chiave e questo è ciò di cui sentirai parlare Heidel Atlanta.
Quindi la cella di memoria è qualcosa che viene salvato nell'elistarlo, quindi questi input e output sono effettivamente qui ciò
che stai guardando è l'asse del tempo.
Quindi questo è sbrogliato nel tempo così in una specifica iterazione ciò accade ma poi questo valore è preso dal possed e questi valori passati in
questi valori sono presi dal passato e questi valori sono passati al futuro e come
passano attraverso la ricchezza attraverso il modo in cui il resto del lavoro di squadra così
siamo seguiti preoccupandoci troppo di ciò che sta succedendo qui.
che viene dal passato che è memorizzato all'interno dell'LSD all'interno della memoria a lungo termine.
Tutto quello che dobbiamo capire è che quando la lettera entra e qui abbiamo davvero un valore
Abbiamo questa cella di memoria e qualunque valore fosse presente prima che sia solo qui rimane come puoi vedere, ma lo
attraversa liberamente tranne che per queste operazioni puntuali dove può essere chiuso o qualcosa
che può essere aggiunto a esso.
Ma a prescindere da ciò, è solo un valore che scorre liberamente, quindi è praticamente passato al prossimo
punto nel tempo prossimo punto.
del genere che questa cella ha e così ricorda solo il valore precedente che era
qui e quindi può usarlo per aggiungere o leggi da quella valenza in poi.
Quindi potresti semplicemente pensare ad una memoria come una flash drive o qualcosa
E questo valore è lo stato nascosto.
Quindi, di conseguenza, l'H e lo stato nascosto sono fondamentalmente.
E ora il valore che viene dal passato e poi viene utilizzato all'interno del sistema.
E come puoi vedere alla fine, dopo tutto ciò che accade, ottieni una lettera che viene fuori ed è
così che ottieni questo valore che viene fuori ed è lo stesso valore che viene passato.
Quindi, in sostanza, il team di Ellis ricorda due cose: c'è un valore costante che è proprio come rimane nella
lista e che può essere cambiato come se fosse un flash drive per un valore costante.
Quindi la cella di memoria.
E così puoi farti avere il lusso di immagazzinare qualcosa in quello spazio e quel ricordo e
sarà trasmesso al futuro così ogni volta nella prossima iterazione.
Quindi, come l'algoritmo era in un ambiente, vide qualcosa fare qualcosa e così via.
E poi nel LACMA è possibile memorizzare un certo valore, quindi ricorderà questo valore anche quando
è nello stato successivo.
E anche l'altro valore che ricorderanno ricorderà la sua uscita precedente.
Ricorderà automaticamente la sua uscita precedente, quindi l'uscita va qui e va qui.
Quindi questo è fondamentalmente il livello molto molto alto di ciò che accade in una LSM.
Ancora una volta se desideri maggiori dettagli come molte risorse in cui puoi trovare e in questa fase non
abbiamo bisogno di entrare in tutti questi dettagli su tutte queste cose.
Abbiamo solo bisogno di capire che tu sai cos'è una cella di memoria, che aderenza alla cella di
memoria è ciò che è un capo di stato e come il modo in cui facilita la memoria per lui.
E la domanda è così ora che abbiamo una visione generale di tutto questo per rinforzare o
per consolidare questa conoscenza che è come dare una ragione per questa conoscenza.
Facciamo la domanda perché abbiamo bisogno di memoria.
Perché abbiamo bisogno di memoria nel nostro A-3 o in altri algoritmi.
Bene, guardiamo al nostro esempio la sfida che stiamo affrontando in questa sezione.
Quindi la sfida è sbloccata e cosa succederà e si interromperà e scoppierà che hai questo ambiente
con questi piccoli blocchi che devi distruggere con questa pallina e devi assicurarti che questo sia
il tuo tipo di racchetta o piattaforma simile in movimento in giro.
E dovunque debba volare la palla, deve prendere la palla e rimbalzare sulla piattaforma e tornare indietro e colpire
anche le palle delle pareti.
Torna indietro di un blocco e torna indietro.
E quindi questa è l'essenza di ciò che devi realizzare.
Ma ora diamo un'occhiata a questa palla come se immaginassi di essere un ed e un algoritmo di C C o un agente all'interno di uno
di questi agenti entro le 08:30.
Vedi questa immagine che cosa estrai da qui.
Quale sarebbe la tua azione qui per te.
Quindi puoi vedere le palle che volano a destra.
Così bene sta volando bene.
Quindi sta andando da qualche parte e forse sta volando verso destra che puoi.
Potresti fare questa conclusione, potresti anticipare che si sta avvicinando a te.
Probabilmente potresti e forse sei nel posto giusto per prendere la palla.
Ma cosa succede se la palla in realtà non sta volando in quel modo ma sta volando che cosa succede se sta volando in quel modo.
Il fatto è che non puoi dire da questa immagine in che direzione sta volando perché non
sai dove si trovava nel momento precedente.
Quindi se fosse qui allora sta volando in questo modo.
Quindi, se lo avessi se sapessi il momento del momento precedente se sapessi che era qui saresti lì adesso che sai che
qui è come un essere umano devi solo tracciare una linea per questi due e tu dirai di andare in questo modo.
Ma se lo sapessi qui, disegni linee come se andassi in questo modo.
Inoltre guarda questo.
In realtà potrebbe essere stato da qualche parte come qui.
Forse sta salendo forse in realtà sta andando in quel modo quindi forse era
qui e stavo salendo così solo da quella immagine è molto difficile è in realtà impossibile.
È semplicemente impossibile distinguere il modo in cui la palla sta volando.
ecco perché l'LSD, la memoria, in realtà aiuta davvero il nostro Mfat nella memoria, ma puoi ancora fare un buon lavoro
ma probabilmente potresti indovinare o sai trovare altri modi per capire dove andare.
Ed
Ma con la radice spostiamo anche solo quella memoria, quindi se torniamo indietro anche con quell'unico valore che
è un po 'come l'output del valore precedente o forse sai forse puoi memorizzarlo qui
o basato su questo valore o basato sulle informazioni che ottiene dal punto temporale precedente.
Quindi diciamo da cosa è successo qui.
Ecco dove si trovava la tua palla prima, così da poter trasmettere informazioni sull'ambiente dal
momento precedente in poi.
Allora ora ce l'hai ora sai che non solo hai le tue informazioni dall'immagine.
Se torniamo indietro, ricorderai quell'informazione dall'immagine.
Beh, questo è condannato, ma in realtà stiamo lavorando per scovare le informazioni.
L'immagine è venuta qui qui qui trasformata in questi valori appiattiti.
E così quell'informazione per loro.
Immagine che arriva all'intero sistema.
E ora all'improvviso, come ricordate, provenendo da non da qualche parte ma dal punto precedente
nel tempo.
Quindi è qui che tu di fatto dimostri di venire dall'alto o dalla palla da sinistra a destra.
In realtà è solo che rimane nell'elistere nella sua tana.
Hai questa informazione solo attraverso l'architettura.
Diranno che hai informazioni su ciò che è successo in precedenza.
E così torniamo indietro che le informazioni qui ti aiutano ora a prendere una decisione su cosa fare.
Aiuta l'algoritmo a prendere una decisione.
E ora tutto a un tratto lo sa.
OK.
Quindi la palla è effettivamente situata in entrambi.
Diciamo che sta volando in questa direzione o in questa direzione quindi sono nel posto giusto dove dovrei restare
qui la palla sta venendo nella mia direzione o se, o se si rende conto che la palla è
lì, dovrebbe iniziare a spostarsi a sinistra perché se aspetta un po 'più tardi sarà troppo tardi.
E perderanno la palla.
Quindi in pratica è così che li elimini dove aiuta veramente nell'algoritmo e questo è esattamente ciò
che vedremo quando eseguirai i tutorial pratici di Atlanta.
Ecco qui come funzionano queste squadre.
E solo una nota aggiuntiva, come abbiamo menzionato all'inizio, i team di Ellis non sono necessari al 100%.
Non sono completi Non sono completamente attaccati all'algoritmo.
Potresti desiderare di averli in un algoritmo C attraverso il quale potresti non volere averli a seconda della
situazione per portare in Arctic quello che scegli.
Ci sono molte aggiunte e abbiamo già discusso l'aggiunta o la modifica in cui la rete neuronale è
condivisa tra gli attori non sono condivisi tra agenti o meno.
Ora, tuttavia, l'elista Jim ce n'è un altro che vedrai nei tutorial pratici in cui aggiungiamo
entropia che è calcolata attraverso una politica che Adlon ti guiderà attraverso questo.
Quindi fondamentalmente ci sono molte modifiche che possono accadere in un algoritmo A-380.
Ricorda solo che dipende da cosa vuoi ottenere ed è anche qualcosa che
ti incoraggerebbe ad esplorare se ne implementerai molti e proverai diversi algoritmi.
Ne abbiamo già discusso una coppia e forse puoi trovare alcune modifiche aggiuntive che potrebbero interessarti
o forse quando stai guardando questi tutorial forse comprali sono venute fuori
altre modifiche che sono molto interessanti.
Quindi sicuramente questo è qualcosa che potresti esaminare e che potrebbe migliorare ulteriormente la tua
conoscenza dell'intelligenza artificiale e come creare questi algoritmi.
E su quella nota spero ti sia piaciuto questo tutorial e ti cercherò la prossima volta.
Fino ad allora divertiti.
IO.