Multimodale KI: Wie Modelle Bilder und Töne verarbeiten
Multimodale KI verarbeitet oder erzeugt mehrere Arten von Daten, etwa Text, Bilder und Audio. Welche Kombination möglich ist, hängt vom Modell und vom verwendeten Dienst ab. Ein Foto beschreiben, ein PDF auslesen und ein Bild erzeugen sind unterschiedliche Aufgaben – auch wenn dieselbe Chat-Oberfläche sie anbietet.
3 Min. Lesezeit
7 Abschnitte
11 Quellen
Stand: 16. Juni 2026
Modalität ist mehr als ein Dateiformat
Text, Bild und Audio sind unterschiedliche Modalitäten. Ein PDF ist dagegen ein Container: Es kann digitalen Text, Seitenbilder und weitere Elemente enthalten. Ob ein System die Datei akzeptiert, sagt noch nicht, welche dieser Inhalte es tatsächlich auswertet.
Prüfe Eingabe und Ausgabe getrennt. Ein Modell kann Bilder als Eingabe unterstützen und nur Text ausgeben; ein anderes kann selbst Medien erzeugen. Eine Anwendung kann zudem mehrere Modelle und Vorverarbeitungsschritte verbinden.
Ein Bild-Encoder wandelt visuelle Eingaben in numerische Repräsentationen um. Eine multimodale Architektur kann diese mit Sprachrepräsentationen verbinden. Andere Ansätze integrieren die Verarbeitung enger und verzichten auf einen großen separaten Encoder.
Welcher Weg genutzt wird, steht in der technischen Beschreibung des jeweiligen Modells. Aus dem Etikett „multimodal“ folgen weder eine bestimmte Architektur noch ein garantierter Vorteil bei Tempo oder Speicher. Für die Nutzung zählt, ob das Modell die relevanten Details erkennt.
CLIP wurde 2021 von OpenAI vorgestellt. Das Modell lernt aus Bild-Text-Paaren, passende Bilder und Beschreibungen in einem gemeinsamen Repräsentationsraum zusammenzubringen. Dadurch kann es etwa Bilder anhand von Textbeschreibungen einordnen.
Das ursprüngliche Training verwendete 400 Millionen Bild-Text-Paare. CLIP ist ein wichtiger Forschungsbaustein, aber kein Universalbauplan für jede heutige multimodale Anwendung. Auch die Annahme, jedes Bild werde in ein festes Vokabular diskreter Bild-Tokens zerlegt, gilt nicht für alle Architekturen.
Ein Bild analysieren ist eine andere Fähigkeit als es erzeugen
Beim Analysieren soll das System Informationen aus einem vorhandenen Bild gewinnen. Beim Erzeugen soll es ein neues Bild passend zum Auftrag herstellen. Beide Fähigkeiten können in einem Produkt zusammenkommen, ohne identische technische Wege zu nutzen.
Die Behauptung, Sprachmodelle könnten grundsätzlich nur Text ausgeben und Bilder müssten immer aus einem separaten Modell stammen, ist zu weitgehend. Maßgeblich sind die dokumentierten Fähigkeiten und Schnittstellen der konkreten Version.
MerksatzPrüfe jede benötigte Eingabe und Ausgabe einzeln. „Multimodal“ ist dafür zu ungenau.
Diffusionsmodelle lernen, verrauschte Daten schrittweise zu rekonstruieren. Bei der Erzeugung beginnt der Prozess mit Rauschen und wird etwa durch eine Textbeschreibung gesteuert. Die DDPM-Arbeit von Ho und Kollegen aus dem Jahr 2020 beschreibt eine grundlegende Variante.
Daneben gibt es andere und kombinierte Verfahren. Das ursprüngliche DALL-E von 2021 erzeugte beispielsweise Folgen diskreter Bildrepräsentationen mit einem Transformer. Aus der Architektur allein lässt sich kein verlässliches Urteil über Stil, Textdarstellung oder Faktentreue ableiten.
Bildgröße, Aufbereitung und gewählte Detailstufe können beeinflussen, wie viel Kontext eine Eingabe belegt. Audio und Video haben ebenfalls modellabhängige Grenzen und Abrechnungsregeln. Ein einheitlicher Preis „pro Bild“ lässt sich daraus nicht ableiten.
Nutze für einen Test ein typisches Dokument oder Video und prüfe die ausgewiesene Nutzung. Ein zugeschnittener Bildausschnitt kann helfen, kleine Schrift lesbar zu machen; er kann aber auch Zusammenhang entfernen. Für lange Medien ist zu klären, welche Ausschnitte oder Einzelbilder das System überhaupt verarbeitet.
Vision-Language-Action-Modelle verbinden visuelle und sprachliche Eingaben mit Aktionen, etwa für Roboter. RT-2 aus dem Jahr 2023 ist ein Forschungsbeispiel dafür. Eine passende Handlungsanweisung auszugeben stellt andere Anforderungen als ein Bild zu beschreiben.
Für einen Roboter zählen zudem Sensorik, Bewegung und Sicherheit in der realen Umgebung. Eine erfolgreiche Demonstration auf ausgewählten Aufgaben belegt noch keine allgemeine Verlässlichkeit. Ob Weltmodelle oder andere Ansätze darüber hinaus zu breiterer Intelligenz führen, bleibt eine Forschungsfrage.