Multimodale KI-Agenten: Mehr als Textgenerierung

Was multimodal hier bedeutet

Ein multimodaler Agent arbeitet innerhalb einer Aufgabe mit mehr als einer Eingabeart — Text, Bild, Audio, Tabellen, Präsentationen, PDF — statt nur Text aus Text zu erzeugen.

Bedeutsam ist dabei nicht die technische Fähigkeit, sondern was sie beseitigt. Geschäftsmaterial kommt nicht als sauberer Text an. Es kommt als gescannte Rechnung, als aufgezeichnetes Gespräch, als Tabelle mit verbundenen Zellen, als nach PDF exportierte Präsentation, als Foto eines Whiteboards. Ein reines Textsystem verlangt, dass ein Mensch all das zuerst in Text überführt — und genau dort geht üblicherweise die Zeit hin.

Multimodalität erspart also vor allem das Abtippen. Das klingt banal und ist in den meisten Organisationen der größte Einzelanteil der manuellen Arbeit in der Wissensarbeit.

Wo es praktisch zählt

• Dokumente, die nie Text waren. Gescannte Verträge, unterschriebene Formulare, Rechnungen, Lieferscheine — direkt gelesen statt abgetippt.
• Diagramme und Tabellen in Dokumenten. Eine Abbildung in einem PDF-Bericht trägt den Befund; eine reine Textextraktion verliert genau den Teil, auf den es ankam.
• Meetings. Audio zu Transkript zu Entscheidungen, Zuständigkeiten und Nachbereitung.
• Tabellen. Struktur und Formeln, nicht nur die sichtbaren Werte.
• Präsentationen. Sowohl als Quellmaterial gelesen als auch als Ergebnis erzeugt.

Gemeinsam ist all dem, dass das Format für den Inhalt nebensächlich ist. Der Wert liegt darin, den Inhalt zu erreichen, ohne dass ein Mensch zuvor als Konverter arbeitet.

Vom Meeting zum Dokument

Die Kette, die Multimodalität greifbar macht: Aus einer Aufzeichnung wird ein Transkript mit getrennten Sprechern; aus dem Transkript werden Entscheidungen, Zuständigkeiten und offene Fragen; daraus werden Aufgaben und eine schriftliche Zusammenfassung; die Zusammenfassung geht in die Wissensbasis und kann spätere Arbeit informieren.

Nahezu der gesamte Wert liegt hinter dem Transkript. Ein Transkript allein ist ein langes Dokument, das niemand liest. Die Entscheidungen, die Aufgaben und der durchsuchbare Nachweis verändern die Arbeitsweise — und jeder dieser Schritte ist eine Stelle, an der ein Agent richtig oder falsch liegen kann, also eine Stelle, die Prüfung verdient.

Zur Transkriptionsqualität gehört Ehrlichkeit. Sie ist gut genug, um damit zu arbeiten, und nicht gut genug, um sie ungelesen zu veröffentlichen: Die Genauigkeit sinkt bei überlappender Sprache, starkem Akzent, Dialekt und Fachvokabular. Ein Transkript ist ein Entwurf — und alles daraus Abgeleitete, besonders zugeschriebene Entscheidungen, gehört von jemandem geprüft, der dabei war.

Was weiterhin schlecht funktioniert

Multimodale Fähigkeiten sind ungleichmäßig, und die Fehlerbilder sind spezifisch statt allgemein.

Dichte Tabellen in gescannten Dokumenten. Die Spaltenzuordnung wird häufig falsch gelesen, und der Fehler ist still — die Zahlen wirken plausibel und hängen an der falschen Zeile.

Handschrift. Brauchbar bei klarer Druckschrift, unzuverlässig bei Schreibschrift und Randnotizen.

Diagramme ohne zugrundeliegende Daten. Ein Modell liest einen Trend aus einem Diagrammbild; genaue Werte liest es nicht, und danach zu fragen lädt zu selbstbewusster Erfindung ein.

Audio mit mehreren gleichzeitigen Sprechern. Die Sprecherzuordnung verschlechtert sich genau dann, wenn ein Meeting interessant wird.

Nichts davon spricht gegen multimodale Agenten. Es spricht dafür, die Prüfung dorthin zu legen, wo der Fehler still ist — und das ist eine andere Stelle als die, an die Prüfung üblicherweise gelegt wird. Genau deshalb sind die Grenzen nützlicher zu kennen als die Fähigkeiten.