Agents IA multimodaux : au-delà du texte

Ce que multimodal veut dire ici

Un agent multimodal travaille avec plusieurs types d'entrées au sein d'une même tâche — texte, images, audio, tableurs, présentations, PDF — au lieu de seulement produire du texte à partir de texte.

Ce qui importe n'est pas la capacité technique mais ce qu'elle supprime. La matière de l'entreprise n'arrive pas sous forme de texte propre. Elle arrive comme une facture scannée, un appel enregistré, un tableur aux cellules fusionnées, une présentation exportée en PDF, la photo d'un tableau blanc. Un système purement textuel exige qu'un humain convertisse tout cela en texte au préalable, et c'est généralement là que passe le temps.

La multimodalité achète donc surtout la suppression de la ressaisie. Cela paraît trivial et représente, dans la plupart des organisations, la plus grosse part isolée de l'effort manuel du travail intellectuel.

Où cela compte en pratique

• Des documents qui n'ont jamais été du texte. Contrats scannés, formulaires signés, factures, bons de livraison — lus directement au lieu d'être retranscrits.
• Graphiques et tableaux à l'intérieur des documents. Une figure dans un rapport PDF porte le résultat ; une extraction purement textuelle perd exactement la partie qui comptait.
• Réunions. De l'audio à la transcription, puis aux décisions, responsables et suites à donner.
• Tableurs. Structure et formules, pas seulement les valeurs affichées.
• Présentations. Lues comme matière source et produites comme livrable.

Le fil conducteur est que le format est accessoire au contenu. La valeur consiste à atteindre le contenu sans qu'une personne serve d'abord de convertisseur.

De la réunion au document

La chaîne qui rend la multimodalité concrète : un enregistrement devient une transcription avec locuteurs séparés ; la transcription devient un ensemble de décisions, de responsables et de questions ouvertes ; ceux-ci deviennent des tâches et une synthèse écrite ; la synthèse entre dans la base de connaissances, où elle peut nourrir un travail ultérieur.

La quasi-totalité de la valeur se situe après la transcription. Une transcription seule est un long document que personne ne lit. Ce sont les décisions, les tâches et la trace consultable qui changent la façon de travailler — et chacune de ces étapes est un endroit où un agent peut avoir raison ou tort, donc un endroit qui mérite relecture.

Sur la qualité de transcription, mieux vaut être honnête : suffisante pour travailler, insuffisante pour publier sans relire. La précision se dégrade en cas de paroles superposées, d'accent marqué, de dialecte et de vocabulaire spécialisé. Une transcription est un brouillon — et tout ce qui en dérive, en particulier les décisions attribuées, mérite d'être vérifié par quelqu'un qui était présent.

Ce qui fonctionne encore mal

Les capacités multimodales sont inégales, et les modes de défaillance sont spécifiques plutôt que généraux.

Tableaux denses dans des documents scannés. L'alignement des colonnes est fréquemment mal lu, et l'erreur est silencieuse — les chiffres paraissent plausibles et sont rattachés à la mauvaise ligne.

Écriture manuscrite. Exploitable en capitales nettes, peu fiable en cursive et pour les annotations.

Graphiques sans données sous-jacentes. Un modèle lit une tendance sur l'image d'un graphique ; il n'en lit pas les valeurs précises, et les lui demander invite à une invention assurée.

Audio à plusieurs locuteurs simultanés. L'attribution des locuteurs se dégrade précisément quand une réunion devient intéressante.

Rien de tout cela ne plaide contre les agents multimodaux. Cela plaide pour placer la relecture là où la défaillance est silencieuse — un emplacement différent de celui où l'on place habituellement la relecture, et la raison pour laquelle connaître les limites est plus utile que connaître les capacités.