Archives de Tag: intelligence artificielle

Le futur de la recherche documentaire : RAG time !

Publié le par

Aujourd’hui, je vous parle d’une application de l’intelligence artificielle et plus spécifiquement, des modèles de langues et de l’IA générative, qui est en train de prendre pas mal d’essor en ce moment : le RAG (Retrieval Augmented Generation). Vous n’en avez jamais entendu parler ? Restez branchés, car le RAG pourrait bien rentrer rapidement dans la boîte à outil courante du professionnel de l’information, juste à côté des catalogues, des ressources électroniques et des moteurs de recherche.

Un peu d’historique et de contexte (on ne se refait pas)

Voilà plusieurs années maintenant qu’on me demande régulièrement d’intervenir pour parler de ce que l’IA change ou va changer dans les bibliothèques. Après avoir étudié tous les use-case possibles et imaginables, j’ai développé un savant exercice d’équilibriste à base de « on va pouvoir continuer à faire ce qu’on fait, mais plus efficacement » ou encore « c’est surtout la masse de ce qu’on peut traiter qui change ». Depuis plusieurs années, j’avais vu débarquer les grands modèles de langue (LLM), en particulier BERT et ses petits amis (CamemBERT, FlauBERT etc.) mais globalement, leur utilisation se passait dans la soute, dans des profondeurs techniques difficiles à expliquer à des publics non-avertis. Cela faisait partie de ces outils « invisibles » qui améliorent les données et les services qu’elles rendent, mais sans faire de bruit.

En novembre 2022, quand ChatGPT a débarqué et a démontré sa capacité à masteriser le test de Turing, j’ai été assez rapidement convaincue qu’une fois le phénomène de mode passé, cet outil (et ses petits frères LLM) aurait surtout un impact quand il s’intègrerait discrètement dans nos applications du quotidien : nos gestionnaires de mail (pour répondre plus vite et envoyer encore plus de mails :-/), nos traitements de texte (pour trouver le bon mot à notre place) et… nos moteurs de recherche (dont il reformulerait à la fois les réponses et les questions, en langage naturel).

Le graal du « langage naturel » dans la recherche documentaire est en effet un idéal après lequel on court depuis bien des années. L’enjeu est de se débarrasser des mots-clefs, méthodes de requêtage et autres trucs de professionnels de l’information, pour pouvoir simplement demander les choses à son moteur de recherche préféré comme on le ferait à un humain, en lui posant des questions. La recherche plein texte à la Google ne répond qu’imparfaitement à ce cas d’usage : on peut en effet formuler des questions, il répondra bien quelque chose, mais le lien entre les deux n’est pas garanti.

Comme nous autres bibliothécaires, Google a commencé par tenter de s’appuyer sur les métadonnées pour pouvoir répondre de manière pertinente à au moins certaines questions, avec le « knowledge graph ». Ce qui donne par exemple ceci :

Encore plus récemment, on a vu apparaître autre chose dans la liste de résultats de Google. Dans la copie d’écran ci-dessous, prise à partir de la même question et toujours sur la 1e page de résultats, vous avez à droite le knowledge graph et à gauche, une liste de questions avec leurs réponses (que l’on peut dérouler en cliquant sur la flèche) :

Il suffit de regarder attentivement les questions et les réponses pour deviner que Google utilise ici les ingrédients de sa bonne vieille recette qui marche : analyser les questions que posent souvent les internautes, les réponses qui leur plaisent le plus, et chercher les chaînes de caractère textuelles qui correspondent. Rien de neuf : on sait depuis longtemps que pour améliorer son référencement, il faut formuler le titre de ses pages/billets/vidéos sous forme de question en essayant d’imaginer ce que les internautes se demandent (vraiment, j’avais capté ça en 2004, ce qui a fait de ce billet mon best-seller de tous les temps).

Ce qui change vraiment, c’est la place importante que Google réserve désormais à ce bloc question-réponse sur sa page de résultats, quelle que soit la requête (même si ce n’est pas une question). On peut donc s’aventurer à le prédire : dès qu’on aura réussi à empêcher les LLM de trop halluciner, les modalités de la recherche documentaire vont profondément changer, et laisseront beaucoup plus de place aux questions-réponses et aux échanges en langage naturel.

Je ne m’appesantirai pas ici sur les tests en cours dans ce domaine du côté des grands moteurs de recherche du web, qu’il s’agisse de Google ex-Bard désormais Gemini ou du Copilot de Bing basé sur ChatGPT. Ce qui m’intéresse aujourd’hui, c’est de vous parler de l’un des impacts de cette évolution sur la recherche documentaire en bibliothèque (ou archives), à travers le RAG.

Qu’est-ce que le RAG et à quoi peut-il servir ?

(Ce titre de niveau H2 est cadeau pour le référencement.)

RAG signifie donc Retrieval Augmented Generation ; en français, on parle de « génération augmentée de récupération ».

Un RAG permet à une intelligence artificielle générative conversationnelle (comme ChatGPT) d’interagir avec un corpus délimité. Celui-ci peut correspondre à un ensemble de documents, un fonds d’archives ou même à un seul document. On peut dès lors poser des questions visant à résumer tout ou partie du corpus ou du document, à vérifier la présence de tel ou tel concept et savoir comment il est traité, ou encore à répondre à des questions précises en se basant sur l’information présente dans le corpus. Bonus non négligeable, grâce au RAG, l’outil est en principe capable de citer ses sources c’est à dire de lister précisément les documents du corpus sur lesquels il s’est basé pour répondre, voire de fournir des extraits et des citations.

Imaginez par exemple que vous tombez sur un article de 50 pages potentiellement intéressant, mais vous n’avez pas le temps de le lire. Vous pourriez alors demander à un agent conversationnel, grâce à votre RAG, de vous le résumer paragraphe par paragraphe, d’en extraire les thématiques principales, de vérifier s’il contient l’idée que vous cherchez ou la réponse à votre question, d’aller droit aux résultats de la recherche qui y est présentée… C’est le cas d’usage qu’a imaginé JSTOR pour son outil AI research tool (beta) :

Les RAG semblent être apparus en 2020 dans l’environnement de Meta. Pour ma part, je les ai découverts (notamment à travers l’exemple de JSTOR) à la conférence AI4LAM de Vancouver en novembre dernier ; néanmoins je ne crois pas que le terme de RAG a été utilisé (ou alors il m’a échappé, on en sera quittes pour vérifier dans les captations vidéo qui devraient arriver bientôt). Sur le coup, j’ai trouvé l’idée intéressante mais un peu anecdotique, peut-être parce que la personne qui faisait l’une des démos avait utilisé ses propres archives et posait des questions sur son chien (les exemples, c’est important). Depuis, j’ai vu passer d’autres applications qui ont attiré mon attention et que je détaillerai un peu plus loin (ça c’est pour vous obliger à lire jusqu’au bout mon billet interminable, quel machiavélisme !)

Comment ça marche ?

Je ne vais pas rentrer dans des détails très techniques, ce qui m’intéresse est comme d’habitude de saisir suffisamment les principes généraux pour comprendre les atouts et les limites potentielles de l’outil.

Les grands modèles de langue comme Chat-GPT présentent la particularité de mélanger une fonction linguistique (construire des phrases correctes dans plusieurs langues) et des connaissances, qui s’appuient sur les données d’apprentissage qui leur sont fournies à savoir, globalement, de grands corpus de texte issus du web ou de bibliothèques numériques. Or, le mélange de ces deux fonctions produit le phénomène qu’on a appelé hallucination, c’est-à-dire que lorsque le modèle n’a pas la connaissance nécessaire, il produit quand même du langage et donc raconte n’importe quoi. Essayez par exemple de demander à Chat-GPT de vous générer la bibliographie d’une personne, il vous fournira des références crédibles mais totalement fantaisistes… Par exemple je n’ai rien écrit de tout cela (encore que l’idée d’une co-publication avec Nathalie Clot soit bien trouvée) :

On ne peut pas vraiment lui en vouloir : ChatGPT est un modèle de langue, son rôle est de générer du langage et pas de rechercher des informations.

Le principe du RAG est donc d’augmenter (A) la fonction générative (G) avec une fonction de recherche (R) dans un corpus externe. Pour effectuer cette spécialisation, il existe plusieurs méthodes possibles : entre l’article initial de P. Lewis et al. en 2020 et celui-ci qui, en 2023-24, analyse 100 publications à propos des RAG, le champ de la recherche s’est déjà complexifié de manière importante, notamment suite à l’irruption de ChatGPT en cours de route. Le schéma ci-dessous, emprunté au 2e article, représente la généalogie de l’évolution des RAG pendant cette période :

Technology tree of RAG research. Source : https://arxiv.org/abs/2312.10997

Je recommande également la lecture de cet article pour les personnes qui souhaiteraient des explications techniques claires et illustrées par des schémas sur le fonctionnement de ces différents types de RAG. Je vais essayer de résumer, mais comme le laisse supposer ce joli graphique, le RAG est un domaine de recherche complexe en plein expansion, qu’il serait difficile de saisir en seulement quelques phrases : je vais donc forcément simplifier de façon un peu caricacturale, pardonnez-moi.

Il y a en gros trois méthodes pour améliorer les résultats d’un LLM en maîtrisant davantage la source des connaissances qu’il utilise pour répondre :

  • le prompt-engineering, qui consiste à agir au niveau du prompt, en y injectant le contenu des références à utiliser pour fournir une réponse correcte et à jour,
  • le fine-tuning, qui consiste à réentraîner le modèle sur un corpus choisi pour lui apprendre à répondre de manière plus spécifique en fonction d’un domaine ou d’un corpus,
  • le RAG proprement dit, qui repose sur la séparation de la fonction langagière du LLM et de la base de connaissances qui la sous-tend.

En réalité, selon les types de RAG, on va combiner ces différentes méthodes pour optimiser les résultats obtenus. Par exemple, en injectant des sources de référence dans les prompts, on va permettre au LLM de tracer l’origine des connaissances qu’il utilise pour formuler sa réponse, voire lui donner des éléments pour fournir des réponses plus à jour (la base de connaissance de la version publique de ChatGPT, par exemple, s’arrête en 2021). Par contre, il existe des risques de brouillage entre les connaissances d’origine du modèle et le corpus choisi. Le fine-tuning nécessite de réentraîner le modèle, ce qui peut être assez lourd en terme de calcul et nécessite de disposer de grands corpus de vérité terrain adaptés. En revanche, le fait de séparer le langage des connaissances a l’avantage de permettre de travailler avec des modèles de langue plus légers – c’est ce que nous a expliqué Pierre-Carl Langlais à la dernière réunion du chapitre francophone d’AI4LAM que vous avez manquée malheureusement, mais que vous devriez pouvoir revoir en vidéo bientôt.

Des exemples ?

Si vous voulez en savoir plus sur le principe des RAG, lire des explications un peu plus techniques (mais quand même accessibles) et découvrir un outil que vous pouvez vous-même tester, allez voir du côté de WARC-GPT, un outil open-source développé par le Lab de l’Université de Harvard (présentation – github). Son objectif est de permettre d’explorer des paquets d’archives web au format WARC. Vous allez me dire que si vous ne travaillez pas sur les archives du web, ce n’est pas très intéressant… et pourtant ! Si vous utilisez des ressources accessibles en ligne comme à peu près n’importe qui, il est globalement très facile de les empaqueter en WARC (par exemple avec Conifer ou Archiveweb.page).

Sinon, vous pouvez aussi tester Nicolay, un outil qui expérimente le RAG sur 15 discours d’Abraham Lincoln, représentant environ 300 pages de texte (présentation – démo – github).

Au niveau français, j’ai aperçu des expérimentations à droite ou à gauche, mais je n’ai rien de concluant à vous montrer pour l’instant. Pourtant, si on en croit les très nombreuses références commerciales que l’on peut trouver sur Internet, comme par exemple celle-ci (qui est par ailleurs plutôt bien faite pour qui recherche des explications en français), le RAG est aujourd’hui une technologie bien maîtrisée par l’industrie. Donc si vous avez des exemples sous la main, n’hésitez pas à me les signaler, je les ajouterai à ce billet.

Pour revenir au domaine de la recherche documentaire et des bibliothèques, il me semble que le RAG offre des opportunités d’exploration de grands corpus que je serais surprise de ne pas voir fleurir dans les mois ou années qui viennent. Par ailleurs, si ce genre de méthode doit révolutionner à terme la recherche documentaire et voir nos recherches par mots-clef disparaître au profit de prompts, comme la recherche par équation a disparu au profit de de la recherche plein texte… On a intérêt à comprendre comment elles fonctionnent et à apprendre à les maîtriser. Car le prompting, c’est comme la recherche documentaire : ça pourrait paraître simple à première vue, mais c’est une compétence de la litératie numérique qui ne s’invente pas.

Je vous propose de conclure ce billet en écoutant The entertainer’s Rag (Tony Parenti’s Ragpickers Trio, 1958) sur Gallica. RAG time !

Ce billet a été rédigé à 100% à base d’intelligence humaine.

Recherche : bilan personnel 2023

Publié le par

Quitter la conservation pour aller sur un poste d’enseignant-chercheur, cela implique de consacrer une partie de son temps à la recherche et ses activités connexes : conférences et publications. 2023 a été ma première année complète en la matière ; dans un esprit « science ouverte », voici donc le bilan de mes activités de recherche l’année passée (ça me sera surtout utile quand on me demandera d’en rendre compte :-)

Mes sujets et projets de recherche

Dans la continuité de ma thèse, mon champ de recherche porte sur la patrimonialisation du numérique et plus spécifiquement, le processus qui conduit à l’émergence de nouveaux objets patrimoniaux reflétant la culture numérique, ainsi que l’évolution des institutions patrimoniales en matière de gestion de leurs collections numérisées ou nées-numériques. C’est un sujet qui ouvre pas mal de pistes, et j’ai donc décidé de concentrer mon effort sur deux pôles principaux : les archives du web d’une part, et l’intelligence artificielle dans les institutions patrimoniales d’autre part.

L’année 2023 a ainsi été marquée par la fin du projet ResPaDon, dans lequel je suis restée engagée après mon départ de la BnF, et qui nous a occupés avec l’organisation d’une journée d’étude professionnelle conclusive et du colloque international de fin de projet. J’ai par ailleurs poursuivi mon implication dans AI4LAM où j’ai assuré une deuxième année de co-présidence du secrétariat avec Neil Fitzgerald. Cette deuxième activité m’a valu pas mal d’invitations à divers événements.

Sinon, j’ai passé une bonne partie de l’année à travailler sur le manuscrit d’un livre qui devrait paraître en 2024 aux éditions de l’École des chartes, et qui reprend en partie le mémoire de mon doctorat sur travaux (enrichi, élargi et pas mal réécrit). Ce qui ne m’a pas empêchée d’écrire quand même quelques articles !

Bilan complet ci-dessous.

Conférences, journées d’études, colloques…

L’année 2023 a été riche en événements, au-delà des temps forts qu’ont été les rencontres que j’ai contribué à organiser, à savoir le colloque ResPaDon « Le web : source et archive » en avril à Lille et la conférence annuelle de la communauté AI4LAM à Vancouver. J’ai aussi été impliquée dans les comités scientifiques de la journée d’études des doctorants du Centre Jean-Mabillon et de celle de l’ADEMEC sur l’open data. J’ai eu pas mal d’occasions d’animer ou participer à des tables rondes en lien direct avec mes activités (dans ResPaDon, dans AI4LAM ou encore dans le master TNAH). Mais c’est aussi une année où je me suis autorisée à passer une tête pour le plaisir, virtuellement ou pas, dans des conférences où je n’avais pas de présentation à faire ni de table ronde à animer… Par exemple le super webinaire du C2DH sur les usages pédagogiques de Chat-GPT (enregistrement disponible), la journée d’études NumFem2023 du CIS (Le numérique comme méthodes et terrains. Perspectives féministes), un atelier sur le Linked Art adossé à EuropeanaTech et un autre organisé par le SCAI sur l’utilisation de l’IA dans les sciences du patrimoine. Et tout ça était vraiment passionnant !

Je liste ci-dessous les événements dans lesquels je suis intervenue, en commençant par celles qui ont donné ou donneront lieu à des publications :

Voici maintenant les conférences où j’ai fait des présentations sans publication (parfois avec captation vidéo néanmoins) :

Et pour finir, les contributions à des tables rondes ou des présentations plus informelles :

Publications

Sinon, un enseignant-chercheur, ça publie ;-) Et ça tombe bien, c’est une activité que j’apprécie particulièrement. Alors si je prévois surtout d’en récolter les fruits en 2024 avec mon livre, voici quand même un bilan plutôt positif pour cette année :

  • J’ai publié dans la revue Balisages de l’ENSSIB (n°6) un article scientifique intitulé « Trente ans de numérique à la BnF. Devenir d’une utopie. » Lui aussi est essentiellement tiré de mon mémoire de doctorat, mais la partie méthodologique est toute neuve.
  • J’ai eu le privilège d’être invitée à préfacer l’ouvrage de Véronique Mesguich, Les bibliothèques face au monde des données (Presses de l’ENSSIB, 2023). Une très bonne entrée en matière pour tous les professionnels qui s’interrogent sur ces questions, et y trouveront une vision panoramique de la situation actuelle.
  • J’ai également contribué au très riche numéro de Culture et Recherche sur la science ouverte paru cette année (n°144, printemps-été 2023) en rédigeant un très court article sur les données FAIR, illustré d’un sketchnote maison que j’ai le plaisir de vous offrir ici en CC-BY-NC comme tous les contenus de ce blog ;-)

Blog qui n’était pas en reste puisque cette année j’ai publié 3 billets (waouh -_-) :

Si j’arrive à tenir mes bonnes résolutions, l’année prochaine je ne compterai pas tous les billets dans les publications parce qu’il y en aura trop ! On prend les paris ?

Toujours plus de futurs fantastiques ! (édition 2023)

Publié le par
Vue de la salle principale du bâtiment "The Permanent", avec un plafond en verre coloré

Nous voici à Vancouver, dans une ancienne banque construite en 1907, un bâtiment appelé « The Permanent » qui est désormais le siège canadien d’Internet Archive. C’est là que se sont réunis, en ce mois de novembre 2023, les membres de la communauté AI4LAM, consacrée à l’intelligence artificielle dans les institutions culturelles. Souvenez-vous, j’avais assisté à la conférence Fantastic Futures, 2e édition, à Stanford en 2019, et organisé celle de 2021 à Paris.

Cette année, le programme inclut une journée de workshops et deux jours de conférence plénières (dont les enregistrements vidéo devraient être bientôt diffusés), auxquels s’ajoute une réunion du AI4LAM council, l’un des organes de pilotage de la communauté. Je vous livre ici mon compte-rendu partial, partiel et personnel de ces trois jours de travail fécond : pour la première fois, j’avais la sensation de participer en observatrice, étant sortie de la communauté des professionnels, mais préoccupée par une question en particulier : quelle formation faut-il proposer aux personnes qui vont mener des projets IA dans les bibliothèques, archives et musées dans les années à venir ?

Un enjeu : embarquer !

Si les conférences de 2018 et 2019 étaient celles de la découverte, principalement tournées vers la sensibilisation aux enjeux d’une technologie émergente encore peu utilisée dans le monde culturel, celle de 2021 avait montré la maturité de plusieurs projets massifs dans des institutions pilotes. En 2023, le monde a changé : l’irruption de Chat-GPT est vue comme un déclic qui a fait évoluer la perception de l’IA dans la société et de fait, dans les institutions patrimoniales. Il ne fait désormais plus de doute que l’IA est dans le paysage et va changer la donne pour beaucoup de métiers et d’activités : au-delà des « early adopters« , chacun réfléchit à son « use case« , son projet ; la conférence fait la part belle à l’expérimentation, celle-ci requérant de moins en moins de moyens et de compétences techniques, tant le cloud offre de services clef-en-main.

Pour moi, la question majeure qui se pose cette année c’est comment faire « embarquer » dans le vaisseau AI4LAM de nouveaux collègues, qui ont certes de nouveaux projets, mais souhaitent surtout apprendre, comprendre, s’approprier ces nouveaux outils qui ont à présent fait leurs preuves et découvrir comment les intégrer dans leur quotidien.

Dans ce contexte, beaucoup des personnes présentes à Vancouver font figure de spécialistes, de « passeurs », d’accompagnantes : sans être toujours des expertes en ingénierie, elles peuvent jouer le rôle d’aider à embarquer leurs collègues, que ce soit à l’échelle d’une institution, de la communauté dans son ensemble ou d’un groupe spécifique (comme le chapitre francophone d’AI4LAM récemment créé). La question, c’est comment faire !?

Phase 1 : comprendre

Je m’inspire ici du AI planning framework de la Library of Congress, publié juste la veille de la conférence, pour nommer cette première étape. L’outil est encore jeune et demande à être testé, même si le LC Labs a passé cette année à l’éprouver en interne : nos collègues Laurie Allen et Abbey Potter nous invitent maintenant à nous en saisir pour nous aider notamment dans les phases amont de la planification d’un projet IA.

Quel projet IA êtes-vous ?

L’idée est la suivante : quelqu’un débarque dans votre bureau et vous annonce qu’il ou elle souhaite faire un projet IA sur {insérez ici le sujet de votre choix}. On va alors planifier le projet en 3 phases :

  • une phase d’analyse (understand) visant notamment à évaluer son intérêt, sa faisabilité et à gérer les attentes notamment en matière de qualité du service rendu,
  • une phase d’expérimentations itératives, visant d’abord à voir si la technologie envisagée fonctionne, puis quels résultats on peut espérer en attendre, et enfin comment ceux-ci peuvent s’intégrer dans le fonctionnement du service,
  • et enfin, une phase d’implémentation qui implique la mise en place de politiques et standards qui vont garantir un usage responsable de l’IA.

L’outil créé par le LC Labs prend la forme d’une série de questionnaires (« worksheets« ) qui accompagnent chaque étape et jouent autant un rôle de sensibilisation technique et stratégique que de planification. On y trouvera ainsi une analyse des risques, un diagnostic sur l’état et la disponibilité des données, un plan de traitement données et un modèle de contractualisation (les outils de la phase « implement » sont encore en construction).

Cette phase d’analyse préalable est aussi celle où il va falloir se familiariser avec des notions clefs (qu’est-ce qu’une vérité terrain ? comment entraîner un modèle ? ça veut dire quoi fine-tuner ? etc…) et où la formation (qu’elle porte ce nom ou pas, on a souvent parlé plutôt de montée en compétences collective) va jouer un rôle. Cette question était au cœur de plusieurs des workshops du mercredi, l’un des fils rouges étant d’intégrer l’IA dans la littératie numérique classique des bibliothécaires, à travers des initiatives comme Library Carpentry ou dans des cadres de référence comme celui de l’ACRL (association des bibliothèques de recherche américaines).

Le voir pour le croire

Comprendre, cela passe aussi par le fait de pouvoir soi-même tester et manipuler les outils d’intelligence artificielle. Si Chat-GPT a été une telle révolution (alors que les « LLM », large language models, de type transformers étaient dans le paysage depuis plusieurs années), c’est parce que tout à coup, on disposait d’une interface permettant à n’importe qui de les utiliser. Appliquant ce concept aux GLAMs et au traitement des images (computer vision), le projet AI explorer du Harvard Art Museum propose de se poser la question suivante : chacun de nous voit des choses différentes quand il regarde une œuvre d’art ; que voient les ordinateurs ? Les œuvres du musée numérisées ont été étiquetées avec une palette d’outils IA disponibles sur le marché : on peut dès lors comparer les approches de ces différents outils et observer leur pertinence ou au contraire, leurs hallucinations.

Dans le même esprit, on a cité MonadGPT, un chatbot réalisé par Pierre-Carl Langlais qui a été entraîné uniquement sur des textes du 17e siècle et répond donc aux questions avec une vision du monde arrêtée à cette époque. On mesure ainsi l’impact du choix des corpus d’entraînement sur le résultat obtenu, ce qui permet aussi de relativiser la pertinence d’outils comme Chat-GPT.

Enfin la Teachable Machine de Google (utilisée par Claudia Engel et James Capobianco dans leur workshop) permet d’entraîner un véritable modèle Tensorflow sur des images, des sons ou des mouvements sans avoir besoin de connaître la moindre ligne de code. Voilà qui permet d’appréhender par la pratique ce que veut dire entraîner et tester un modèle : il n’y a rien de tel pour se confronter aux enjeux de sélection des données que cela peut poser. J’ai aussi entendu dire que la Teachable Machine était utilisée dans certains projets où on a besoin de faire entraîner les modèles par des chercheurs qui n’ont pas de compétences techniques, pour ensuite récupérer et déployer le fichier Tensorflow qu’elle génère. Mais là, on entre dans les phases suivantes : expérimenter et implémenter (merci pour la transition !)

Phase 2 : expérimenter

L’expérimentation, c’était vraiment le maître mot de cette conférence : une multitude d’outils, d’exemples, de cas d’usages nous ont été présentés et j’aurais même du mal à tous les lister ici. La démarche était souvent une quête d’appropriation : cet outil existe, il a l’air de fonctionner, ce n’est pas si compliqué que ça de l’utiliser, et si je l’essayais sur mes collections ? Mais ce qui m’a le plus frappée, c’est l’inventivité dont font preuve les collègues pour tirer parti notamment des IA génératives dans les contextes les plus divers.

Prompt engineering et métadonnées

Bien sûr, en tant que bibliothécaires, la première question (ou presque) qu’on se pose, c’est de savoir si on ne pourrait pas générer des métadonnées et des descriptions structurées à partir des documents eux-mêmes. Au-delà des approches qu’on connaissait déjà (comme l’utilisation d’Annif pour générer des indexations sujet), certains se sont lancés dans des opérations complexes de prompt engineering : chaînage, utilisation d’exemples et de fonctions, intégration de Json et d’instructions de formatage aux prompts pour générer des données structurées… Voir par exemple les expérimentations réalisées par le groupe Metadata d’AI4LAM ou encore les travaux de William Weaver sur la transcription des inscriptions figurant sur les herbiers : dans ce dernier cas, il combine segmentation des zones de texte, production d’un OCR et prompt engineering pour passer de la numérisation en mode image à la génération d’un tableur où ces informations sont rangées de manière organisée… merci le LLM !

Chatbots et archives

Une autre « famille » d’applications nous emmène vers une approche complètement nouvelle des archives : et si on pouvait poser des questions aux documents au lieu de les lire ? Plusieurs projets comme Rednal.org se sont penchés sur l’idée d’un chatbot qui se limiterait à un document, un fonds ou un corpus et auquel on pourrait demander par exemple de résumer les idées importantes ou de chercher si telle ou telle information s’y trouve. JSTOR a même déployé ce service en version Beta, en y ajoutant une aide à la recherche qui permet de rebondir depuis un document vers d’autres ressources disponibles sur la plateforme. Ce ne sont pas des idées 100% nouvelles : un assistant pour nous aider à nous balader dans la bibliothèque numérique, on l’avait déjà rêvé, mais grâce à Chat-GPT, ils l’ont fait et le résultat est assez bluffant.

Transcrire et annoter les ressources audiovisuelles

Le traitement des ressources audiovisuelles, et en particulier le speech-to-text avec le modèle open source Whisper, semble être enfin l’un des domaines essentiels d’utilisation de l’IA dans les GLAMs. Le projet conduit par Peter Sullivan pour Interpares sur les archives audio de l’Unesco a montré qu’une approche multilingue était possible (et que la diplomatique pouvait jouer son rôle dans l’amélioration de la génération de métadonnées ;-). Nous avons eu droit à une petite démo de la plateforme australienne ACMI (en Beta) et de l’impressionnant éditeur de workflow d’AMP (Audiovisual Metadata Platform), un générateur open source de métadonnées pour contenus audiovisuels (pas encore en production).

Que retenir de toutes ces expérimentations ? Principalement que cette étape d’expérimentation, la 2e dans le modèle de planification de la LoC, est en fait une phase itérative au cours de laquelle on passe par plusieurs questions :

  • est-ce que cet outil peut marcher sur mes collections ?
  • une fois qu’il fonctionne, quel niveau de qualité peut-on en attendre ?
  • une fois que j’ai atteint le niveau attendu, comment l’intégrer à mes services opérationnels ?

Et ainsi, nous voici en route vers la 3e phase : implémenter.

Phase 3 : implémenter

La question du passage de l’expérimentation « R&D » à la mise en production ou intégration aux services opérationnels était l’un des points abordés dans la table ronde que l’on m’a chargée d’animer avec plusieurs institutions (Stanford et Harvard Libraries, bibliothèque nationale de Norvège, Library of Congress et National Film and Sound Archives en Australie). Ces institutions, dont plusieurs se sont dotées de « Labs », reconnaissent que le pas est difficile à franchir, notamment pour des raisons organisationnelles. Face à l’IA, avant même d’entrer dans les enjeux techniques, se posent des questions de montée en compétences, d’alignement des valeurs et des attentes, de disponibilité des données, de mutualisation des moyens.

J’ai apprécié le fait qu’on nous ait proposé des retours d’expérience divers dans ce domaine : du bilan dressé par la British Library de l’imposant projet Living with machines (qui vient de se terminer) au rapprochement informel de trois institutions fédérales couvrant la palette des LAM (LoC, NARA et Smithsonian) en passant par le comité IA que la bibliothèque de l’Université du Mississippi a mis en place pour répondre aux sollicitations contradictoires des universitaires et étudiants… Il existe bien des modèles et des approches pour envisager l’IA dans les institutions culturelles, qui ne nécessitent pas toutes le même degré d’investissement dans le développement et les infrastructures.

Mais quand même, la question qui brûle toutes les lèvres, c’est de savoir si ces tous ces services innovants sont déployés à l’échelle, visibles, disponibles pour les usagers !

Le « vault », coffre-fort de The Permanent… Les secrets de la mise en production de l’IA sont-ils cachés ici ???
(Photo Neil Fitzgerald)

Alors oui, j’en ai déjà cité quelques exemples : on a des versions Beta à droite et à gauche que l’on peut voir fonctionner ; on a vu par exemple apparaître un nouveau service « Text-on-maps » sur le site de la David Rumsey Historical Map collection de Stanford qui est assez épatant.

Du côté déploiement à l’échelle, on va trouver les « gros » acteurs qui ont à la fois une force de frappe importante en matière d’investissement et l’agilité qui reste difficile à atteindre dans le service public. Internet Archive a ainsi déployé son portail « Internet Archive Scholar » qui utilise l’intelligence artificielle pour repérer des articles scientifiques dans l’archive web et extraire des métadonnées (savourez le logo vintage…) OCLC a testé un algorithme de dédoublonnage des notices dans Worldcat qui leur a permis de passer d’un taux d’élimination des doublons tournant autour de 85-90% à plus de 97%, sur des millions de notices. Ainsi, certaines applications de l’IA sont mises en service « dans l’ombre », à un endroit où l’internaute ne peut pas les voir mais bénéficie du service rendu : recadrer les pages issues de la numérisation ou améliorer la qualité de l’OCR chez Internet Archive, marquer les « unes » des journaux numérisés à la Bibliothèque nationale de Norvège…

La technologie et l’humain

Au final, quand on examine tous ces projets (y compris ceux de la phase expérimentale), c’est souvent la question de la qualité des données qui freine, voire empêche la mise en production. Quand on exige un taux d’erreur nul ou presque, l’automatisation est-elle la bonne solution ? Beaucoup répondent en proposant de voir l’IA comme un « copilote », qui ne va pas résoudre tous les problèmes mais seulement faciliter ou assister le travail des humains dans une collaboration fructueuse. Les humains sont donc toujours dans la boucle (Human-in-the-loop comme on dit en anglais).

Ce qui nous amène aux questions éthiques, loin d’être absentes de cette édition puisque les deux conférences introductives les ont abordées, sous des angles différents. Thomas Mboa, chercheur en résidence au CEIMIA, a développé le concept de technocolonialité, posant l’idée qu’à l’heure actuelle, l’enjeu de la colonisation n’est plus géographique : nous sommes tous colonisés par la technologie, et il nous revient de veiller à préserver notre intégrité culturelle, en luttant contre l’extractivisme numérique (exploitation des fournisseurs de données, par le digital labor et autres) et le data-colonialisme, et en luttant en faveur de l’ouverture, de la justice des données et de la mise en places d’écosystèmes de confiance entre les acteurs.

C’est encore la confiance qui était mise en avant par Michael Ridley de l’Université de Guelph au Canada, deuxième conférencier qui prônait l’explicabilité de l’intelligence artificielle (couverte par le sigle XAI), pas seulement pour les développeurs qui cherchent à ouvrir la boîte noire, mais pour toutes celles et ceux qui interagissent avec ces algorithmes. Ces différentes visions concouraient finalement à envisager l’IA comme un collaborateur de plus dans une équipe et à parler, plutôt que d’intelligence artificielle, « d’intelligence augmentée ».

En guise de conclusion, un plan d’action

Il y aurait sans doute encore beaucoup à dire, mais je vais clore ce billet déjà trop long en revenant sur ma question de départ : aujourd’hui, à quoi faut-il former les professionnels qui auront à mener des projets IA dans des institutions culturelles ? (Par exemple dans le cadre d’un master dont ce serait précisément la fonction…) Au-delà des bases théoriques de l’IA et des principaux cas d’usage, il me semble qu’il y a plusieurs idées qui méritent d’être creusées :

  • analyser, diagnostiquer, faire des études amont pour déterminer la faisabilité d’un projet : prendre en main l’outil de planning de la LoC, le tester, voire le traduire en français pourrait être très utile dans ce contexte ;
  • utiliser des API pour intégrer les différents modèles existants dans une chaîne de traitement de données ;
  • faire du prompt engineering avancé pour apprendre à exploiter de manière productive les LLM, en combinaison avec d’autres outils de traitement comme l’OCR/HTR par exemple ;
  • travailler sur la qualité des données en amont comme en aval du processus IA, maîtriser les métriques habituels (précision, rappel etc.) mais aussi savoir élaborer des démarches d’évaluation de la qualité spécifiques à des contextes ou des usages particuliers ;
  • enfin, promouvoir des modèles ouverts, explicables, soucieux du respect de l’humain et de l’environnement, bref des IA conçues et utilisées de manière responsable.

Du côté d’AI4LAM, la discussion du conseil a aussi débouché sur l’idée qu’il allait falloir mettre en place des dispositifs d’embarquement pour les nouveaux collègues. Un réservoir de diapos de référence, des présentations régulières d’introduction aux bases de l’IA pour les GLAM (en plusieurs langues et dans plusieurs fuseaux horaires), une « clinique de l’IA » où chacun pourrait venir avec ses questions, des sessions Zoom de rencontre autour de thématiques spécifiques… sont autant d’idées que nous avons brassées pour y parvenir. Il y aura des appels à la communauté pour participer à ces initiatives alors si vous voulez nous rejoindre, n’hésitez pas !

Pour s’abonner aux différents canaux d’échange d’AI4LAM, c’est par ici. Pour devenir membre du chapitre francophone, il vous suffit de rejoindre le forum de discussion du groupe.

Papoter avec Molière ?

Publié le par

Utiliser la création artistique pour relever un défi scientifique et technique tout en nous plaçant face à des interrogations très humaines, tel était l’objectif du projet Litté_bot, financé par l’EUR ArTec. Le questionnement de départ peut paraître simple : si on entraînait une IA à partir des textes de Molière, pourrait-on engager virtuellement une conversation avec le dramaturge ou un de ses personnages ? Dans les faits, la création d’un agent conversationnel – ou chatbot – capable de soutenir un tel échange pose beaucoup de questions, parmi lesquelles la volumétrie (insuffisante !) du corpus de départ, l’imitation de la langue du XVIIe siècle, l’équilibre à trouver entre système ouvert ou fermé, ou encore le choix du bon modèle d’entraînement.

Finalement, c’est le personnage de Dom Juan qui a été mis en scène : vous pouvez vous entretenir avec lui dans le BOT°PHONE, un dispositif placé à la sortie de l’exposition Molière sur le site Richelieu de la BnF jusqu’au 15 janvier.

Mais si vous préférez le tester depuis votre salon, vous pouvez également accéder au dispositif expérimental en ligne.

Au final, ce qui est sans doute le plus fascinant, c’est d’écouter Rocio Berenguer, l’artiste qui est à l’origine du dispositif, expliquer comment elle a imaginé l’expérience et en donner son interprétation : « dans n’importe quelle situation, n’importe quel échange, en tant qu’humains, on va générer du sens. (…) C’est une capacité magnifique, une puissance à laquelle on ne donne pas assez d’importance. En fait, j’aimerais que l’échange avec une machine nous permette de nous rendre compte de la puissance de nos capacités cognitives à nous. »

Je me suis intéressée au projet dans le cadre de la feuille de route IA de la BnF, qui pose la question du rapport entre l’humain et la machine comme une problématique centrale. Pour en savoir plus, notamment sur les enjeux techniques du projet, vous pouvez consulter l’article sur le carnet Hypothèse de la BnF, l’interview de Rocio Berenguer dans L’ADN, ou encore regarder la présentation d’Anna Pappa pour AI4LAM. Merci à Arnaud L. pour les références :-)

Le grenier

Publié le par

Oh trop fou ! Ce ne serait pas la clef de mon blog, coincée là entre une soutenance de thèse, une pandémie et un gros tas de bazar ? Elle est un peu rouillée, je me demande si elle marche toujours…

(Essuie la clef avec son écharpe et la glisse dans la serrure.)

Bah ! Pouah ! Kof kof kof ! Y en a de la poussière là-dedans !

(Écarte quelques toiles d’araignées et attrape le premier papier qui traîne.)

Oh ! Trop drôle, mon dernier billet ! Je parlais de la conférence Fantastic futures à Stanford… je faisais un teasing de dingue, j’y croyais vraiment, que j’allais organiser une conférence internationale en décembre 2020, ah ah ! Bon au final elle a bien eu lieu… avec un an de retard. Et puis c’était pas vraiment comme les conférences du monde d’avant, il faut bien le reconnaître… mais c’était chouette. Il nous reste les vidéos et les supports. Et le super article de Céline dans le BBF. Bon c’est sûr, plein de gens n’ont pas pu venir à cause de la crise, tout ça, mais on va jouer les prolongations pendant les community calls d’ai4lam les 15 février et 15 mars…

Tiens c’est quoi ce truc ?

(Ouvre un grand coffre rempli de paperasse.)

Oh !!! Ma thèse ! Enfin je veux dire, mon doctorat sur travaux. « Le numérique en bibliothèque : naissance d’un patrimoine : l’exemple de la Bibliothèque nationale de France (1997-2019). » Rien que ça. Genre, il y a deux fois deux points dans titre, je ne doute de rien, moi… Heureusement qu’ils n’interdisent pas les titres à rallonge pour mettre en ligne dans Hal, sinon j’aurais l’air maligne ! N’empêche, c’était sympa cette histoire d’émotions patrimoniales. J’en avais même fait un article dans la Revue de la BnF. Et puis la soutenance… une vraie soutenance dans la salle Léopold Delisle de l’Ecole des chartes, en présentiel comme on dit maintenant. Et sans masques ! On a revécu toute l’histoire de la BnF sur les 25 dernières années… d’ailleurs ça a atterri dans le livre sur l’Histoire de la Bibliothèque nationale de France qui sort cette année à l’occasion de la réouverture de Richelieu. Que des bons souvenirs, quoi.

(Se remet à fouiller à droite et à gauche.)

Il doit bien y avoir encore quelques trucs intéressants là-dedans… L’ouverture du DataLab en octobre 2021… Le Schéma numérique 2020 de la BnF… La recette du pain d’épices… Mais où est ce fichu… Ah ! Le voilà ! Il n’est pas beau, ce numéro de Chroniques spécial intelligence artificielle ? Si j’avais su il y a deux ans que cette technologie prendrait une telle place dans ma vie… En tout cas, les illustrations sont magiques et il contient un joli portrait professionnel de votre serviteuse. Cela fait quand même plus sérieux que le selfie pris dans mon bureau pour illustrer mon interview sur Europeana Pro ! Ah, le plaisir de fouiller dans les greniers pour retrouver de vieilles photos ! Il n’y a rien de tel.

Tiens, voilà autre chose…

(S’approche d’un mur couvert de post-its à moitié décollés.)

Mes challenges personnels pour 2022, tout un programme. « Arrêter de fumer… Publier ma thèse… Voyager au Danemark ou en Irlande… » T’as raison, l’espoir fait vivre. Et tiens, « Ecrire sur mon blog » ! Eh bien voilà au moins une case que je peux cocher. Restons positifs :-) (mais pas au Covid >_<)

Les fantastiques futurs de l’intelligence artificielle

Publié le par

La semaine dernière, j’ai eu la chance d’être invitée à me rendre à Stanford pour participer à la conférence Fantastic Futures, 2e du nom, un événement dont l’objectif était de faire émerger une communauté autour de l’intelligence artificielle pour les archives, les bibliothèques et les musées.

Spoiler : la communauté s’appelle AI4LAM, elle a un site web, des chaînes Slack et un groupe sur Google. Sinon, pour revoir la conférence, c’est par ici.

Cela ne vous aura pas échappé : l’intelligence artificielle est à la mode. On en parle à la radio, dans les journaux, des députés au style vestimentaire peu commun rédigent des rapports pour le Président de la République… et dans la communauté professionnelle, nous suivons le mouvement : voir par exemple la journée d’études du congrès de l’ADBU 2019 ou encore celle organisée hier à la BnF par l’ADEMEC (vidéos bientôt en ligne). Pourtant, si l’IA était une boîte de gâteaux, on pourrait écrire dessus « L’intelligence artificielle, innovante depuis 1956″…

Pour ma part, le sujet m’est pour ainsi dire tombé dessus, pour la 1e fois, quand on m’a invitée à participer aux Assises numériques du SNE en novembre 2017. Alors que nous préparions notre table-ronde, j’étais un peu dubitative sur ma participation, et j’ai été jusqu’à dire que de mon point de vue, la BnF n’utilisait pas encore en production de technologies d’intelligence artificielle. L’un des autres participants m’a alors dit « mais si ! l’OCR c’est déjà de l’intelligence artificielle ! » Et finalement, même si tout dépend de la définition (plus ou moins précise) que l’on en donne, ce n’est pas faux. Comme le disait Joanna Bryson à Stanford mercredi dernier, l’intelligence c’est la capacité à transformer une perception en action…

Que de chemin parcouru, pour moi, depuis 2017 !

En 2018, les explications de Yann Le Cun ont éclairé ma lanterne sur cette notion d’intelligence, de perception et ce qu’on appelle l’apprentissage (profond ou non, par machine ou pas !) L’exemple du Perceptron, sorte d’ancêtre de l’OCR, m’a permis de comprendre que mon manque supposé de familiarité avec l’intelligence artificielle relevait en fait d’un malentendu. Comme pour beaucoup de gens, l’intelligence artificielle évoquait pour moi une machine s’efforçant d’adopter des comportements plus ou moins proches de l’humain, l’un de ces comportements étant la capacité à « apprendre » comme le suggère le terme de « machine learning ».

Je me suis donc référée à Jean-Gabriel Ganascia pour tenter de désamorcer ces idées reçues et j’ai appris dans son opus daté de 2007 que la discipline informatique connue sous le nom d’ « intelligence artificielle » vise non pas à créer une machine dotée de toutes les facultés intellectuelles de l’humain, mais à reproduire de façon logique et mathématique certaines de ces facultés, de manière ciblée. Il y a autant de différence entre l’intelligence artificielle et l’humain qu’entre passer un OCR sur un texte et le lire…

Pendant que je plongeais dans ces découvertes, l’IA entrait bel et bien à la BnF, par la petite porte, celle de Gallica studio. Un peu plus tard, à la conférence Europeana Tech je (re)découvrais les rouages du prototype GallicaPix et obtenais encore d’autres exemples et explications avant d’en remettre une couche à LIBER 2018 (la répétition est l’essence de la pédagogie, n’est-ce pas…). Enfin, la première conférence Fantastic Futures était organisée en décembre 2018 à Oslo et inscrivait pour de bon l’IA sur notre agenda stratégique, à travers deux projets, l’un portant sur la fouille d’images dans Gallica dans la continuité de GallicaPix et l’autre sur la mise à disposition de collections-données pour les chercheurs dans le cadre du projet Corpus. J’ai même fini par intervenir sur le sujet dans un colloque organisé en octobre par les archives diplomatiques.

Me revoici donc en décembre 2019 à Stanford, prête à plonger dans le grand bain… Qu’ai-je retenu de ces 3 jours de conférence ?

D’une façon générale, cet événement fait apparaître l’idée que le sujet est encore assez jeune dans la communauté des bibliothèques, archives et musées. Alors qu’il existe une conviction solide et partagée que l’IA va transformer en profondeur la société, les méthodes de travail, et avoir un impact significatif sur nos institutions, la mise en pratique reste encore largement expérimentale.

Trois types d’acteurs ont néanmoins proposé une vision concrète, voire des réalisations effectives :

  • les acteurs de l’industrie, qui font état d’un déploiement déjà très avancé dans différents secteurs,
  • les acteurs de la recherche, qui multiplient les projets autour de données diverses, notamment celles des collections spécialisées qui se prêtent tout particulièrement à de telles expérimentations
  • enfin dans le domaine de la création artistique, à travers un artiste qui utilise l’IA dans le cadre d’une démarche d’interrogation sur la société et les rapports humains.

En termes de projets, deux types d’initiatives sont observables dans le domaine de l’IA pour les LAM.

En premier lieu, celles qui visent à mettre des données et collections numériques à disposition des chercheurs à des fins de fouille de texte et de données, en utilisant le machine learning. On peut citer par exemple le Lab de la Bibliothèque du Congrès qui a récemment obtenu un financement de la Mellon pour une expérimentation à grande échelle dans ce domaine. Certains de ces projets conduisent à développer des outils permettant aux chercheurs de s’approprier les modèles d’apprentissage ou des interfaces innovantes comme PixPlot, développé par le laboratoire d’humanités numériques de Yale, qui permet de manipuler des corpus de plusieurs milliers d’images que l’IA regroupe par similarité.

À l’exemple du prototype « Nancy » de la Bibliothèque Nationale de Norvège, d’autres projets visent en revanche l’automatisation de tâches actuellement réalisées manuellement par les bibliothécaires. Toutefois, Nancy reste une initiative expérimentale qui, si elle démontre efficacement les apports potentiels de l’IA pour le traitement des collections, serait très difficile voire impossible à industrialiser telle quelle sur la production courante. De même, les projets de traitement des collections du IA studio de la bibliothèque de Stanford, l’un d’eux portant sur une collection de romans du 19e s. numérisés mais non catalogués, s’attachent au traitement d’un corpus clos et bien défini et sont en réalité hybrides avec la catégorie précédente, car ils mobilisent également des chercheurs au travers de projets ciblés.

Pour finir, je retiendrai un certain nombre de thématiques phares qui sont revenues à plusieurs reprises, aussi bien dans la conférence elle-même que dans les workshops ou la « unconference » :

  • Les questions éthiques, bien connues en dehors de notre communauté mais abordées ici avec l’idée que des institutions publiques comme les bibliothèques pourraient devenir un acteur important pour porter cet enjeu au regard de l’industrie. L’idée de doter les projets d’un “plan de gestion éthique” comme on a des “plans de gestion des données” a émergé pendant le workshop que je co-animais.
  • Les enjeux de qualité des données, avec là aussi l’idée que les bibliothèques ont un savoir-faire qu’elles pourraient mobiliser pour apporter à l’industrie des jeux de données de qualité pour l’entraînement du machine learning.
  • Le développement d’interfaces graphiques, nécessaires pour comprendre les IA, les manipuler et interpréter les résultats (cf. PixPlot ci-dessus)
  • La formation, avec notamment l’exemple finlandais : l’IA est un enjeu global de société et chacun devrait pouvoir se former pour comprendre ce dont il s’agit. A cette fin, un cours en ligne a été mis en place, visant 1% de la population du pays. Une extension internationale du projet est en cours, avec sa traduction dans les différentes langues de l’Union Européenne.
  • Enfin les outils, données et modèles, avec un enjeu d’échanges et de mutualisation au sein de la communauté et un focus sur les documents spécialisés (manuscrits, images et cartes notamment, mais aussi son et vidéo). Le lien de ces problématiques avec IIIF a été constamment mis en avant.

Nous nous sommes quittés après 3 jours riches et intenses sur l’annonce de la création de la communauté AI4LAM que j’ai mentionnée plus haut. Et mon petit doigt me dit que mes futurs n’ont pas fini d’être fantastiques… Prochaine étape le 3 février dans le cadre du séminaire DHAI de l’ENS, où Jean-Philippe et moi présenterons les deux initiatives phares de la BnF dans ce domaine.