A jargon-free explanation of how AI large language models work

Want to really understand large language models? Here’s a gentle primer.

An illustration of words connected by lines.

Enlarge (credit: Aurich Lawson / Ars Technica.)

When ChatGPT was introduced last fall, it sent shockwaves through the technology industry and the larger world. Machine learning researchers had been experimenting with large language models (LLMs) for a few years by that point, but the general public had not been paying close attention and didn’t realize how powerful they had become.

Today, almost everyone has heard about LLMs, and tens of millions of people have tried them out. But not very many people understand how they work.

If you know anything about this subject, you’ve probably heard that LLMs are trained to “predict the next word” and that they require huge amounts of text to do this. But that tends to be where the explanation stops. The details of how they predict the next word is often treated as a deep mystery.

Read 107 remaining paragraphs | Comments

Eurialo: Neues Luftüberwachungssystem der Esa nutzt Satellitendaten

Die Esa baut mit einem kommerziellen Unternehmen ein Überwachungssystem für den Luftverkehr auf. Es soll weltraumgestützt sein und die bisherigen Methoden zur Positionsbestimmung ergänzen. (ESA, Raumfahrt)

Die Esa baut mit einem kommerziellen Unternehmen ein Überwachungssystem für den Luftverkehr auf. Es soll weltraumgestützt sein und die bisherigen Methoden zur Positionsbestimmung ergänzen. (ESA, Raumfahrt)

Eurialo: Neues Luftüberwachungssystem der Esa nutzt Satellitendaten

Die Esa baut mit einem kommerziellen Unternehmen ein Überwachungssystem für den Luftverkehr auf. Es soll weltraumgestützt sein und die bisherigen Methoden zur Positionsbestimmung ergänzen. (ESA, Raumfahrt)

Die Esa baut mit einem kommerziellen Unternehmen ein Überwachungssystem für den Luftverkehr auf. Es soll weltraumgestützt sein und die bisherigen Methoden zur Positionsbestimmung ergänzen. (ESA, Raumfahrt)

(g+) Linux, KI, MLS, Arc, C++: KI-Tools für Entwickler und ein Distro-Fork mit Budget

Ein neuer Browser ist fertig, Linux-Distros reagieren, es gibt mehr KI für Entwickler, einen neuen Messaging-Standard – und C++ steigt in der Beliebtheit. Von Boris Mayer (Softwareentwicklung, Suse)

Ein neuer Browser ist fertig, Linux-Distros reagieren, es gibt mehr KI für Entwickler, einen neuen Messaging-Standard - und C++ steigt in der Beliebtheit. Von Boris Mayer (Softwareentwicklung, Suse)

(g+) Linux, KI, MLS, Arc, C++: KI-Tools für Entwickler und ein Distro-Fork mit Budget

Ein neuer Browser ist fertig, Linux-Distros reagieren, es gibt mehr KI für Entwickler, einen neuen Messaging-Standard – und C++ steigt in der Beliebtheit. Von Boris Mayer (Softwareentwicklung, Suse)

Ein neuer Browser ist fertig, Linux-Distros reagieren, es gibt mehr KI für Entwickler, einen neuen Messaging-Standard - und C++ steigt in der Beliebtheit. Von Boris Mayer (Softwareentwicklung, Suse)