Cómo construir la red neuronal en esta estructura？con diferentes nodos se conecta a diferente número de nodos en la capa siguiente

Question 1

Sólo sé cómo utilizar el built-in de la red como RNN de LSTM en PyTorch. Pero tienden a lidiar con cada nodo en la capa anterior que le dará la información a todos los nodos de la capa siguiente.

Quiero hacer algo diferente, pero no sabe el código de mí mismo. Como en esta figura: el nodo de un asigna a todos [d, e, f] tres nodos en la capa 2, mientras que el nodo b se asigna a [e,f] y el nodo c sólo se asigna a [f]. Como resultado, el nodo d sólo contienen información de una, mientras que el correo contendrá la información de [un, b]. Y f contienen información de todos los nodos en la capa anterior. ¿Alguien sabe el código de esta estructura? PLS me dan un poco de perspicacia voy a estar muy agradecido :D

Estructura

Question 2

Cuando usted tiene una capa que parece Totalmente Conectado capa, pero con la costumbre de la conectividad, el uso de una máscara con la estructura adecuada.

Digamos x = [a, b, c] es su 3-dim de entrada y W denota la matriz de conectividad.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

entonces W[i][j] puntos para la conexión de peso entre jth de entrada y ith neurona de salida. Para construir la estructura similar a la de su juguete ejemplo, podemos hacer una máscara como este

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

A continuación, puede simplemente máscara de la W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Nota: @ es la multiplicación de la matriz y * es pointwise la multiplicación.

ayandas · Answer 1 · 2021-11-21T18:17:35

Cuando usted tiene una capa que parece Totalmente Conectado capa, pero con la costumbre de la conectividad, el uso de una máscara con la estructura adecuada.

Digamos x = [a, b, c] es su 3-dim de entrada y W denota la matriz de conectividad.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

entonces W[i][j] puntos para la conexión de peso entre jth de entrada y ith neurona de salida. Para construir la estructura similar a la de su juguete ejemplo, podemos hacer una máscara como este

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

A continuación, puede simplemente máscara de la W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Nota: @ es la multiplicación de la matriz y * es pointwise la multiplicación.

Así que si mi entrada dim es de 3, salida dim es de 3. Mi red neuronal estructura será del tipo {entrada 3 dim, LSTM_layer(3, 64), Totalmente connected_layer(64, 3), * menor máscara triangular de la matriz(3, 3), salida de dim 3}. Se que como a mi costumbre de conectividad, para hacer los últimos tres nodos llegar differerent información? O debo poner la máscara de la matriz entre la capa de entrada(3,1) y LSTM capa(3,64)
Es su entrada secuencial (tiene LSTM en el medio) ? Su figura sólo muestra Totalmente conectado capas. La solución que he proporcionado es sólo para enmascarar el FC capa.
Lo siento, hizo de la figura simple. Mi entrada es de serie temporal de valores(valores, hour_index, week_index) y quiero usar un LSTM capa para extraer algo de información entre la entrada(3 dim) y de salida(3 dim). Así que si yo uso una mascarilla después de LSTM capa, será la salida de tres nodos ser como: la d nodo sólo contiene la semana de la información, e nodo contiene la semana y la hora, f nodo contiene valores, hora, semana de la información?

Cómo construir la red neuronal en esta estructura？con diferentes nodos se conecta a diferente número de nodos en la capa siguiente

Pregunta

Mejor respuesta

En otros idiomas

Esta página está en otros idiomas

Popular en esta categoría

Las preguntas más habituales en esta categoría