Quina diferència hi ha entre la capa oculta i la projecció a les xarxes neuronals?                    https://arxiv.org/pdf/1301.3781.pdf


Resposta 1:
La capa de projecció mapeja els índexs de paraules discrets d’un context n-gram a un espai vectorial continu.

Tal com s’explica en aquesta tesi

La capa de projecció es comparteix de manera que per a contextos que continguin la mateixa paraula diverses vegades, s’aplica el mateix conjunt de pesos per formar cada part del vector de projecció. Aquesta organització augmenta eficaçment la quantitat de dades disponibles per entrenar els pesos de la capa de projecció, ja que cada paraula de cada patró d'entrenament de context contribueix individualment a canvis en els valors de pes.

aquesta figura mostra la topologia trivial de com es pot assemblar eficientment la sortida de la capa de projecció copiant columnes de la matriu de peses de la capa de projecció. Cada neurona de la capa de projecció està representada per un nombre de pesos igual a la mida del vocabulari. La capa de projecció difereix de les capes ocultes i de sortida al no utilitzar una funció d'activació no lineal. El seu propòsit és simplement proporcionar un mitjà eficaç de projectar el context de la gramàtica donada sobre un espai vectorial continu reduït per a un processament posterior mitjançant capes ocultes i de sortida entrenades per classificar aquests vectors. Donada la naturalesa única o nul·la dels elements vectorials d’entrada, la sortida d’una paraula determinada amb l’índex i és simplement la columna ith de la matriu entrenada dels pesos de la capa de projecció (on cada fila de la matriu representa els pesos d’una sola neurona ).

Ara, la capa oculta:

La capa oculta processa la sortida de la capa de projecció i també es crea amb una sèrie de neurones especificades al fitxer de configuració de topologia.