Embedding Layer

Der Embedding Layer ist meist die erste Schicht in einem NLP-Modell. Er transformiert die diskreten Eingabe-Tokens (Wörter/IDs) in kontinuierliche Vektoren (Embeddings), mit denen das neuronale Netz dann weiterrechnen kann. Diese Vektoren werden während des Trainings gelernt.