Fragen? Antworten! Siehe auch: Alternativlos
LLMs generate responses by randomly sampling words based in part on probabilities. Their “language” consists of numbers that map to tokens.Ach. Ach was. Wer schon mal einen "KI"-Talk von mir gesehen hat, dem wird das bekannt vorkommen. Ihr ahnt ja gar nicht, was ich mir dazu schon für Schmähkritik anhören musste, von wegen das seine eine unzulässige Simplifizierung, geradezu eine Verächtlichmachung der Arbeit der "KI"-Forschung und so weiter.Gut. Glaubt dann halt nicht mir. Glaubt OpenAI. :-)
More technically, inference kernels produced incorrect results when used in certain GPU configurations.Deutet das mal nicht als "die GPU war kaputt". Deutet das eher als "wir haben mal float16 probiert und stellt sich raus: die Genauigkeit reicht doch nicht."
Update: Wird eher fp8 gewesen sein als float16. Warum heißt das fp8 und nicht float8? Weil float8 schon vergeben ist. Für 8-Byte-Floats, also 64-bit.