Speicher
Wohin die Bytes gehen
Architektur
Schichtenstapel
So sieht das Modell deinen Text
Was das Modell bekommt: nur diese Zahlen
Byte-Pair-Encoding
Wie ein Wort zusammengesetzt wird
| Wofür |
|---|
−+
Zwei Zeilen vergleichen
Der Weg durch das Modell
Ein Block im Detail
Block
Datei oder Programm?
Wo steht der Bauplan?
Der Beweis in deiner Datei
Steht die Reihenfolge in der Datei?
Nein. Die Reihenfolge steht im Programm.
Block
Experten (MoE)
Aufmerksamkeit
Das nächste Token
Das Rezept in llama.cpp
| Form |
|---|
| Wert |
|---|