Work information

Title Redes Recurrentes para modelos cognitivos del lenguaje
Tabla de contenido
¿Qué resuelve una red recurrente? 4
Valor añadido de las RNN sobre las redes clásicas 4
Datos anidados en secuencias 8
Mecanismo de corrección LSTM 12
Explosión de la señal 12
Desvanecimiento de la señal 13
Entropía del estado anterior 13
Solución LSTM 14
Línea de estado (el poso de significado activado) 18
Mecanismo de olvido 22
Mecanismo de actualización 26
Mecanismo de generación de la salida de la capa oculta 30
Palabras como entradas 33
Matriz de incrustación 34
Como se llega a la matriz de incrustación con word2vec 36
Integración e inicialización de la capa de incrustación 40
Actualización de la matriz de incrustación 46
Topologías para modelos predictivos en lenguaje 48
Modelos del lenguaje (sistemas de producción) 49
Imagen a secuencia (uno a muchos) 57
Secuencia a secuencia (muchos a muchos) 59
Secuencia a clasificación (muchos a uno) 60
Retropropagación y Gradiente Descendente 63
Mecanismo de retropropagación 63
Concepto del Gradiente Descendente 65
Repaso de las funciones implicadas en una red 69
Función de transferencia 70
Función de activación 72
Función de evaluación (de pérdida o coste) 73
Actualización de los pesos de las conexiones que se unen a la capa de salida 74
Primer factor 𝝏𝝏𝝏𝝏𝝏𝝏𝝏𝝏𝝏𝝏𝝏𝝏 (función de evaluación) 75
Segundo factor 𝒅𝒅𝒅𝒅𝒅𝒅𝒅𝒅𝒅𝒅𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛(3) (función de activación) 76
Tercer factor 𝝏𝝏𝑛𝑛𝑛𝑛𝑛𝑛𝑛𝑛(3)𝝏𝝏𝑊𝑊𝐢𝐢𝐢𝐢(3) (función de transferencia) 78
Unificación de los tres factores 79
Actualización de los pesos de las conexiones que se unen a la capa oculta 81
Regla Delta o señal de error del nodo 81
Retropropagación de la señal de error y actualización de pesos 84
Retropropagación a través del tiempo (BPTT) 87
Funciones de activación más usadas 92
Función lineal (nula o mínima modificación) 93
Función sigmoidea o logística (todo o nada) 94
Función Tangente Hiperbólica (fosa o cielo) 95
ReLU (Unidad Lineal Rectificada) 96
Softmax (función exponencial normalizada) 97
Algoritmos de optimización 98
Momento 100
RMSprop (Root Mean Square Propagation) 101
ADAM (Adaptive Moment Estimation) 103
Hiperparámetros 105
¿Dónde está representado el conocimiento en las RNN? 106
Introducción a la cuestión representacional 106
Pesos de las propias conexiones de la RNN 112
Pesos de la matriz de incrustación 113
La interacción de las entradas con los pesos 114
Memoria proveniente de los Estados anteriores de la capa oculta 114
Memoria de la Línea de estado en las LSTM 115
Work type Technical
Tags ciencia cognitiva, redes neuronales, rnn, lstm

-------------------------

Registry info in Safe Creative

Identifier 2211062578538
Entry date Nov 6, 2022, 7:54 PM UTC
License All rights reserved

-------------------------

Copyright registered declarations

Author 100.00 %. Holder Guillermo de de de Jorge Botana. Date Nov 6, 2022.


Information available at https://www.safecreative.org/work/2211062578538-redes-recurrentes-para-modelos-cognitivos-del-lenguaje