IA & Généalogie : le Chat de Mistral AI souffle des résultats déroutants

J’ai testé l’outil d’intelligence artificielle Le Chat, développé par la société française Mistral AI. Résultat des courses ? Un incroyable vertige qui mélange certains résultats bluffants et prometteurs avec des désastres abyssaux et obsessionnels. Ou comment à travers Le Chat le meilleur et le pire de l’IA se côtoient dans une technologie balbutiante, aussi riche de promesses que de déconvenues.

Je n’ai pas testé ici les capacités de l’IA a rédiger des textes et répondre à des questions, souvent assez bluffantes. J’ai cherché à tester plus particulièrement les capacités de l’outil en matière d‘analyse de documents et de reconnaissance de textes (OCR). Retours d’expérience à travers quatre exemples tirés de différentes recherches en cours.

1er essai : retranscription d’une image dactylographiée

Document dactylographié de qualité correcte sans être excellente, avec un quadrillage qui pourrait constituer une difficulté de lecture. Je lui demande une synthèse rédigé de ce document.

Franchement le résultat est assez bluffant. L’IA a parfaitement bien « lu » et compris le doc et fournit une synthèse plutôt qualitative, en rajoutant certaines précisions comme par exemple la signification des RMVE, ces Régiments de Marche des Volontaires Etrangers qui ont accueilli de nombreux soldats juifs pendant la seconde guerre mondiale. Une petite coquille à « Sarthenay » et non « Saminay », mais c’était peu lisible et franchement ce résultat est dans l’ensemble vraiment positif. D’autant qu’on peut ensuite affiner en reposant des questions, « affine moi ceci », « plus rédigé », « précise moi cela », « traduit le en telle langue » « n’oublie pas telle date »,… Même si ce genre d’usage ne me sert à rien dans mes recherches, j’avoue être assez bluffé par la qualité du retour. J’en ai même pris par curiosité la version payante à 15€ par mois (heureusement résiliable à tout moment…).

2e essai : analyse d’un tableau dactylographié

Dans le cadre de recherches sur une famille Milsztein réfugiée à Lille pendant la guerre, j’ai demandé au Chat de retranscrire une page d’un dossier de naturalisation récemment consulté aux Archives Nationales. Il s’agit d’un document dactylographié, avec des données bien lisibles présentées sous forme de tableau. Nouvel essai, même demande, nouveau succès ?

L’outil se montre de très bonne volonté, fournissant rapidement une retranscription détaillée du document. Détaillée, mais entièrement fausse et inventée. Et très perturbante car le résultat entièrement faux « sonne » juste. L’outil voit bien que c’est une demande de naturalisation. Et il comprend bien qu’il s’agit d’une famille juive d’Europe de l’Est. Seul hic, il n’y a aucune donnée de correcte, les noms sont sortis de nulle part, aucune adresse de bonne, tout est absolument inventé. Et le pire c’est que ça a l’air vraiment crédible, j’ai du vérifier à plusieurs reprises que ce n’était pas moi qui m’étais trompé dans le fichier envoyé… Aucune trace de Joseph Milsztein ni de sa femme Fela Szytkman, ni de leurs enfants ni de leurs parents dans le résultat fourni par Mistral. En revanche qui est ce « Salomon Falk, né le 18 juillet 1892 à Radautz en Roumanie, commerçant domicilié 18 rue des Petites Ecuries, Paris 10e » inventé par l’IA ? Qui est cette Fanny Stern née en 1899 à Radautz ? Je n’ai jamais mené de recherches sur une famille Falk, ce n’est donc pas le fruit d’une recherche précédente que j’aurais pu mener. Ce couple a t il seulement jamais existé ? Peut-être des données ingurgitées par l’outil en phase d’apprentissage ? Ou un délire mythomaniaque d’un félin dérangé ? Chat, es-tu là ?

3e essai, synthèse de 4 pages dactylographiées

J’ai découvert au cours de mes recherches que cette famille Milsztein de Lille a réussi à survivre à la guerre, réfugiée à Lyon et cachée par une famille arménienne, les Deraharonian (recherches en cours, article en préparation). Ayant consulté aux Archives Nationales leur dossier dans les archives de la sureté, j’ai testé Mistral sur un exercice de synthèse d’un document dactylographié de 4 pages concernant cette famille arménienne. Copie claire, parfaitement lisible, faible niveau de difficulté. Et là encore la réponse est pour le moins déconcertante…

Mistral voit dans ce jugement un acte de mariage. Déjà c’est faux, comme tout le reste, les noms, les dates, le contenu du document, les adresses,…. Mistral invente un mariage en 1955 entre un certain Ahmed Djouhri (???) et une Colette Chambaz (???), là où le document original parlait de la famille Deraharonian. Et quand je signale à Mistral qu’il s’est trompé, il s’excuse platement et relance une analyse, et me ressort… exactement les mêmes résultats. Obstinément affabulateur.

4e essai, analyse par IA d’un registre manuscrit

Pour ce dernier essai je corse un peu la difficulté, en donnant un registre manuscrit à analyser. Il s’agit d’une page du registre de patients reçus à l’hôpital Rothschild en 1922. Plusieurs colonnes, avec pour chaque patient nom, prénom, adresse, lieu de naissance, parents, conjoint, et motif de la visite. Et, prudent et échaudé, je précise bien à l’IA de ne surtout rien inventer.

Et là l’outil, toujours de bonne volonté, rapide et efficace, me donne la retranscription automatique du registre analysé. Et au lieu d’une liste de patients, j’ai droit à une météo détaillée. Joyeusement foutraque et surréaliste. « Brouillard matinal et éclaircies dans l’après-midi » : de quoi bien s’amuser à défaut de faire avancer grandement sa généalogie…

Quand je signale à l’IA qu’elle a encore tout inventé et qu’il s’agit de noms, Le Chat s’excuse platement, relance une analyse et me balance une liste de noms. Parfaitement réaliste et parfaitement inventée.

Les familles Stein, Perelstein, Veinarovschi, Smil, Gorodetsky, Lioubchansky, Gambliel, Fischlensky, Pokelchik, Blumberg, Fohlen, Markowicz, Blumberg, Smil, Yomtov sont devenues les Lefebvre, Dupont, Martin, Durand, Bernard, Moreau, Thomas, Petit, Robert, Richard, Dubois, Leroy, Simon, Michel,…

J’ai beau être compréhensif et patient, j’ai quand même l’impression que ça frise le foutage de gueule dans les grandes largeurs… Heureusement que je n’ai pas utilisé l’IA pour retranscrire ces registres ! Un jour l’IA sera sûrement au point même pour analyser et retranscrire des écritures manuscrites souvent pattes de mouche, mais ce jour n’est manifestement pas encore arrivé…

IA & généalogie : des résultats décevants pour le Chat de Mistral AI

Je savais qu’on parlait d’IA générative pour qualifier cette génération d’intelligence artificielle capable de produire du contenu souvent qualitatif. Mais j’ignorais que « générative » pouvait aussi signifier inventer n’importe quoi avec le plus total aplomb. Car quand je reprends l’outil en lui précisant ses erreurs, il s’excuse, se reprend, relance la recherche et me ressort souvent… exactement le même résultat totalement inventé. Je ne comprends absolument pas comment cette « intelligence » peut être aussi brillante sur certains essais et aussi pathologiquement et obstinément mythomane sur d’autres. Ce test rappelle utilement que la vérification humaine et l’esprit critique restent plus que jamais essentiels pour contrôler cette « intelligence » artificielle…

Mais ne lançons pas la pierre au Chat. J’avais déjà eu l’occasion de relater ici (ChatGPT et généalogie : le grand bluff) le test de son concurrent américain Chat GPT, qui s’était aussi brillamment illustré sur des tests similaires dans sa capacité à raconter n’importe quoi.

Début mars 2025, Mistral AI a annoncé avoir lancé Mistral OCR, un outil d’IA dédié à la reconnaissance de caractères et de textes présenté comme le  » world’s best OCR model ». Pas moins. N’étant pas informaticien je n’ai pas encore pu tester leur API dédiée mais reste curieux de retours d’expériences.

Et vous, avez-vous déjà testé des outils d’IA pour la généalogie ? Pour quels usages et avec quels succès ?