Lorsqu’une intelligence artificielle ingère des contenus de propagande gouvernementale en tant que données de crise, ou lorsqu’elle réunit Gaza et la Cisjordanie en une seule réalité opérationnelle, l’erreur n’est pas uniquement technique. En s’appuyant sur les déploiements en cours de cette technologie en Birmanie et dans les Territoires palestiniens occupés, les deux autrices plaident en faveur de l’intelligence hybride, non comme compromis, mais comme seule voie responsable.
En mars 2025, un séisme a frappé la Birmanie. L’outil GANNET SituationHub de Data Friendly Space (DFS) a procédé à une ingestion automatique de sources dans sa base de données. Or, parmi ces contenus se trouvaient des médias par la suite identifiés comme de la propagande gouvernementale. Lorsque la Myanmar Information Management Unit a signalé ces contenus pendant la phase d’examen manuel, les équipes de DFS ont pris le pas sur l’ingestion de données et exclu la propagande des résultats analytiques susceptibles d’inspirer les décisions de réponse humanitaire. Cet incident résume à lui seul un défi de taille pour les travailleurs du domaine : comment mobiliser la puissance analytique de l’intelligence artificielle (IA) tout en préservant l’intelligence contextuelle et le jugement éthique qui définissent une réponse efficace aux crises ?
Les grands modèles de langage (en abrégé LLM, de l’anglais large language models) et les systèmes de génération augmentée par récupération (RAG) peuvent traiter des volumes d’informations hors de portée des capacités humaines, repérer des schémas dans des ensembles fragmentés de données de crise et accélérer la préparation des rapports de situation requis pour l’allocation de l’aide. Néanmoins, ces promesses cachent autant de risques. S’ils sont entraînés avec des données biaisées, incomplètes ou inadaptées au contexte, les systèmes d’IA diffusent des contrevérités à grande échelle, renforcent les stéréotypes et insufflent à tort un sentiment de certitude dans des situations réellement ambiguës. Dans les environnements où les décisions déterminent l’allocation des ressources aux populations touchées, un recours acritique à l’IA comporte des enjeux humains considérables.
Dans cet article, nous dressons un compte-rendu de la mise en oeuvre par DFS de l’intelligence hybride à travers notre approche human-in-the-loop (HITL). Nous analysons pour ce faire les défaillances observées et les actions correctives menées lors des déploiements de SituationHub en Birmanie et dans les Territoires palestiniens occupés (TPO). Notre argument central est qu’un usage responsable de l’IA dans des contextes humanitaires ne doit procéder ni d’une confiance aveugle dans les algorithmes ni d’un rejet intégral des informations qui en sont tirées. Il doit plutôt s’appuyer sur des pratiques réfléchies et pilotées par des agents, qui exploitent les atouts complémentaires des humains et de la technologie.
L’architecture et la dynamique de régulation de GANNET
GANNET SituationHub fonctionne grâce à un système de RAG. Contrairement aux systèmes autonomes d’exploration du web, GANNET s’appuie sur un environnement informationnel maîtrisé : chaque source est intégrée après une sélection humaine, garante d’un contrôle qualité initial. Mais la sélection n’élimine pas les biais, les erreurs ou les usages impropres au contexte. Une supervision humaine continue demeure fondamentale pour assurer l’alignement des résultats algorithmiques avec les principes humanitaires et les réalités opérationnelles.
Dans les systèmes HITL, l’IA guide les conclusions et la prise de décisions, tandis que les humains interviennent pour apporter des corrections et exercer une supervision. GANNET SituationHub mise sur une approche HITL où l’autorité des analystes humains prime sur les résultats analytiques, tandis que, dans son ensemble, GANNET encourage l’agrégation et la synthèse des informations[1]Tathagata Chakraborti, Sarath Sreedharan and Subbarao Kambhampati, “The Emerging Landscape of Explainable Automated Planning & Decision Making”, 29th International joint conference on … Continue reading. Cette distinction clarifie la redevabilité. Quand les humains restent les décisionnaires ultimes, la responsabilité à endosser pour tout dommage causé repose sur le jugement humain plutôt que sur les opérations des algorithmes.
Toutefois, les systèmes HITL peuvent présenter divers points faibles. L’interprétation humaine du résultat d’un algorithme introduit des biais qui diffèrent de ceux présents dans les données. Les humains peuvent mal comprendre les scores de confiance, se fier de manière excessive aux résumés algorithmiques et accepter la plausibilité de contenus générés par IA en dépit des hallucinations[2]Dans le domaine de l’IA, on parle d’hallucination pour évoquer une réponse fausse ou trompeuse qui est présentée comme un fait certain, par exemple une référence bibliographique [note de … Continue reading. Une intelligence hybride efficace suppose non seulement la conservation de l’autorité humaine, mais aussi une compréhension exhaustive des capacités de l’IA comme de ses limites. À défaut d’un tel discernement, les humains risquent de se borner à une validation passive plutôt que d’agir en décisionnaires actifs. Cette distinction entre autorité structurelle et compétence de fond détermine si l’intelligence hybride fonctionne comme prévu ou si elle réduit la supervision humaine à une simple formalité.
Études de cas : détecter et corriger les défaillances
Après le séisme de mars 2025, le volet birman de GANNET SituationHub a procédé à l’ingestion automatique de sources pour produire le bilan synthétique d’une situation. La capacité du système à agréger et recouper différentes sources représente un avantage clair, en faisant ressortir les données qui motivent les décisions d’allocation des ressources. Avec toutefois une limite de taille : de tels systèmes peuvent en effet hériter des erreurs et des biais contenus dans les sources.
Birmanie : quand la propagande prend les atours de la légitimité
Lorsqu’elle présente des motifs linguistiques et de formatage similaires à ceux des informations légitimes sur les crises, la propagande gouvernementale échappe à la détection initiale. GANNET était dépourvu de mécanismes pour distinguer les sources médiatiques crédibles des éléments de communication gouvernementale manipulée, déguisés en points d’information sur la crise. La propagande s’est alors introduite dans les résultats analytiques avant que les analystes ne la repèrent. S’appuyer sur ces contenus pour la prise de décision humanitaire sans vérification préalable aurait érodé la confiance communautaire et permis la circulation de fausses informations sur les réalités de la crise. La nature réactive de l’intervention humaine, déclenchée après l’ingestion et non dans une logique préventive, révèle un point faible de taille : le filtrage des contenus doit tenir compte de formes sophistiquées de désinformation qui imitent des sources légitimes, au-delà des simples formats techniques.
Cet incident a mis en lumière une faille considérable des systèmes de RAG : la confiance accordée à la fiabilité de leurs sources. Dans les situations où les écosystèmes de l’information ont été altérés, cette présomption devient dangereuse et démontre l’insuffisance de la seule sélection des sources. Même s’il limite son environnement informationnel, SituationHub ne peut ni détecter les sources potentiellement compromises ni anticiper la manière dont le système étiquette ces informations. Par exemple, l’outil a cité un document de l’Action humanitaire pour les enfants (HAC) du Fonds des Nations unies pour l’enfance (Unicef), mais en extrayant les informations d’un rapport similaire pour le Cameroun. En cause : une série d’erreurs lors de l’ingestion des sources et de l’étiquetage du document. En cas d’erreurs de ce type, les analystes se tournent vers l’équipe technique pour procéder aux ajustements nécessaires. Identifier des sources nuancées et fiables est ainsi crucial dans des contextes comme la Birmanie, où les informations sont souvent modelées par les priorités politiques, la propagande et les discours contradictoires. Ici, l’élément HITL s’avère particulièrement avantageux. En effet, les analystes qui connaissent bien le contexte birman sont plus à même d’évaluer la crédibilité des sources, de reconnaître une rhétorique à forte charge politique ou un langage trompeur et d’identifier les informations qui reflètent mieux les réalités du terrain[3]Ana Beduschi, “Harnessing the potential of artificial intelligence for humanitarian action: opportunities and risks”, International review of the Red Cross, vol. 104, no. 919, June 2022, p. … Continue reading.
Territoires palestiniens occupés : le langage comme limite éthique
Lors des premiers déploiements de SituationHub dans les TPO, les résultats analytiques employaient un langage techniquement correct, mais inadapté à l’analyse humanitaire. Les informations médiatiques présentes dans les sources d’entraînement de GANNET faisaient primer les conventions linguistiques régionales sur la terminologie et les cadrages appropriés à l’analyse humanitaire dans les TPO.
Pour décrire un même événement, différentes organisations font parfois des choix lexicaux divergents. Par exemple, pour une même réalité, une source peut parler de « forces d’occupation » et une autre d’« armée israélienne ». Ce qu’une source décrit comme un « ciblage délibéré » peut être présenté par une autre comme un ensemble d’« opérations militaires ». De la même manière, des documents alignés sur d’autres parties peuvent employer des termes comme « combattants de la résistance », « martyrs » ou « opérations de libération », dotés d’une charge politique tout aussi conséquente dans la direction opposée. Loin d’être fortuites, ces asymétries reflètent un paysage politique clivé. Cette réalité trouve une illustration concrète dans la stratégie délibérée de ne nommer aucune organisation précise. Une décision explicite qui revient à interagir avec les humanitaires à l’oeuvre sur le terrain pour assurer la sécurité des équipes, préserver l’accès humanitaire et maintenir le contact avec les autorités de facto. Cependant, cette pratique comporte elle-même un coût épistémique.
Ces cas de figure soulèvent une question fondamentale sur l’éthique de la contrainte intentionnelle. Les décisions qui consistent à restreindre le vocabulaire d’un système, en excluant le nom d’une organisation ou en évitant un terme qui décrit objectivement les actions d’une des parties, ne relèvent pas de choix techniques neutres. Au contraire, les décisionnaires ont bien conscience que l’exactitude descriptive est alors sacrifiée pour préserver l’accès humanitaire, protéger le personnel et maintenir les relations avec les autorités. Or, cette situation engendre une tension que les systèmes HITL à l’oeuvre dans des contextes politiques ne peuvent résoudre par le biais d’algorithmes. Cette tension oppose le devoir humanitaire de ne pas nuire et l’impératif moral de rendre compte fidèlement de la réalité : le jugement humain doit la soutenir de manière consciente, et non la déléguer aux requêtes des systèmes.
L’une des défaillances observées à cet égard concernait la granularité géographique. Employé sur l’ensemble des TPO, GANNET a régulièrement agrégé les informations relatives à Gaza et à la Cisjordanie dans des résultats analytiques unifiés, en les traitant comme une seule réalité opérationnelle. Or, si Gaza fait face à des conditions d’extrême urgence qui nécessitent une réponse immédiate, les défis cisjordaniens sont d’une nature structurellement différente. L’amalgame n’était donc pas une imprécision mineure, mais une erreur à même de causer des dommages. En effet, il a occulté la gravité des conditions à Gaza, faussé la représentation de la nature des besoins en Cisjordanie et privé les décisionnaires d’un accès à des informations précises et différenciées. Une intervention structurelle a été nécessaire pour corriger l’erreur, en reconfigurant le système pour le faire opérer à l’échelle du gouvernorat. Ce cas démontre que, bien plus qu’un paramètre technique, la résolution géographique est une question d’éthique, puisque l’unité d’agrégation détermine quels besoins deviennent visibles.
Dans ces situations, les corrections à apporter ont reposé sur deux mécanismes : une modification manuelle immédiate avant la publication et une collaboration technique à moyen terme pour affiner les requêtes du système et la sélection des sources. Les erreurs isolées étaient traitées ad hoc, tandis que les motifs systématiques étaient documentés et transmis à l’équipe technique en vue d’ajustements sur le long terme. Ce processus met en lumière un constat d’importance : l’intelligence hybride nécessite des cycles d’apprentissage continus où les humains identifient les défaillances systématiques, coopèrent avec les technologues pour en déterminer les causes profondes et mettent en oeuvre des améliorations pour éviter la récurrence.
Des points faibles systémiques, des défaillances à ne pas ignorer
Les deux exemples cités illustrent des risques plus vastes liés à l’IA dans l’humanitaire : la confiance en l’algorithme masque des lacunes cruciales dans les données et des incertitudes contextuelles[4]Mirca Madianou, “Nonhuman humanitarianism: when ‘AI for good’ can be harmful”, Information, Communication & Society, vol. 24, no. 6, 2021, p. 850-868, … Continue reading. Les systèmes d’IA sont entraînés pour produire des résultats fluides et cohérents, qui semblent fiables. Ce n’est pas un défaut technique améliorable par le biais de solutions d’ingénierie, mais bien une caractéristique fondamentale des LLM.
« En contexte humanitaire, faire l’amalgame entre fluidité algorithmique et véracité factuelle comporte un danger particulier. »
En contexte humanitaire, faire l’amalgame entre fluidité algorithmique et véracité factuelle comporte un danger particulier. Les humanitaires doivent souvent prendre des décisions à partir d’informations incomplètes, en se fiant à leur jugement expérimenté. Lorsque les systèmes d’IA produisent des résultats synthétiques qui paraissent fluides et convaincants, ils risquent de conduire les décisionnaires à leur accorder une fiabilité supérieure à celle qu’ils méritent.
Les deux exemples démontrent que les algorithmes entraînés avec des données hétérogènes produisent des résultats défendables sur le plan statistique, mais éthiquement inadéquats. Les biais linguistiques des systèmes d’IA ont été largement documentés dans des contextes médicaux, juridiques et liés au recrutement[5]Tino Kreutzer, James Orbinski, Lora Appel et al., “Ethical implications related to processing of personal data and artificial intelligence in humanitarian crises: a scoping review”, BMC Medical … Continue reading. Dans les environnements humanitaires, ces biais de langage ont un poids particulier car les principes humanitaires constituent eux-mêmes des engagements linguistiques. Les obligations de neutralité, d’impartialité et d’indépendance sont ainsi formulées dans certains cadres et au moyen de lexiques particuliers[6]Andrea Guillén and Emma Teodoro, “Embedding Ethical Principles into AI Predictive Tools for Migration Management in Humanitarian Action”, Social Sciences, vol. 12, no. 2-53, 2023, … Continue reading.
Les biais géographiques des systèmes d’IA présentent également un défi de taille[7]Caroline M. Gevaert, Thomas Buunk and Marc J. C. van den Homberg, “Auditing Geospatial Datasets for Biases: Using Global Building Datasets for Disaster Risk Management”, IEEE Journal of Selected … Continue reading. Les systèmes entraînés de manière prédominante avec des données issues du Nord global produisent souvent des performances médiocres dans des régions du Sud global, aux données moins abondantes et aux savoirs locaux moins numérisés. Des informations appropriées dans un contexte peuvent s’avérer inadaptées dans un autre. Ces situations reflètent des inégalités structurelles concernant la part des informations numérisées et le choix des personnes dont le savoir est considéré comme fiable. Ces inégalités font partie intégrante des systèmes d’IA et appellent des stratégies réfléchies d’atténuation.
Mettre en oeuvre l’intelligence hybride : quelles pratiques opérationnelles ?
GANNET montre que l’intelligence hybride fonctionne, mais nécessite une conception mûrement réfléchie. Trois pratiques clés ont émergé de sa mise en application.
Les examens transversaux
Avant la publication des résultats, les analystes examinent les recommandations et les étudient avec l’équipe technique. Cette étape excède le cadre du contrôle qualité : il s’agit d’un apprentissage collaboratif, souvent mené en partenariat avec des agents locaux et nationaux de la réponse humanitaire. Les analystes fournissent leur expertise du contexte et des usages ; les technologues comprennent les comportements et les limites du système. Le respect mutuel envers différents domaines de compétence se trouve au fondement de ce processus : ni les technologues ni les analystes ne résolvent ces problèmes seuls.
Une architecture de décision à plusieurs niveaux
Tous les résultats ne sont pas aussi sensibles. La synthèse algorithmique se montre plus adaptée aux informations contextuelles à enjeux limités, avec un examen humain cantonné au signalement des erreurs flagrantes. Les résultats à forts enjeux, qui influent directement sur l’allocation des ressources ou la stratégie d’action, supposent une intervention plus profonde. Les applications de GANNET peuvent orienter les résultats vers différents niveaux de supervision en fonction de l’impact de la décision et ainsi adapter les efforts humains à l’ampleur des conséquences induites.
Le renforcement de la confiance
Si les algorithmes excellent dans la structuration des informations numériques, ils peinent à appréhender les connaissances tacites, les relations et la compréhension informelle qui se développent au sein des communautés et grâce à une intervention sur le long terme. Les systèmes hybrides devraient intégrer l’intelligence, les observations, les relations et les sensibilités culturelles humaines aux requêtes des systèmes et aux cadres de décision. La systématisation de processus auparavant intuitifs est vectrice de responsabilité et de reproductibilité.
L’intelligence hybride exige des organisations qu’elles s’engagent à voir dans l’intervention humaine une occasion favorable à l’apprentissage plutôt qu’une défaillance du système. Au lieu de rejeter ces occurrences comme des anomalies, DFS les a traitées comme des données essentielles pour le comportement des systèmes. L’équipe a systématiquement consigné les motifs, collaboré avec des technologues pour identifier les causes et procédé à des améliorations. Les organisations qui découragent la divergence vis-à-vis des recommandations algorithmiques constateront inévitablement une plus faible précision de la supervision humaine[8]Jerry Alan Fails and Dan R. Olsen, Jr., “Interactive Machine Learning”, 8th International conference on intelligent user interfaces, Miami, Fl., 12-15 January 2003, p. 39-45, … Continue reading.
Enraciner l’intelligence hybride dans les principes de l’humanitaire
Une intelligence hybride efficace ne peut être purement technique. Elle doit s’ancrer dans les principes humanitaires qui servent de critères de décision lorsque le jugement humain entre en conflit avec la recommandation d’un algorithme. Ces principes, l’humanité, l’impartialité, la neutralité et l’indépendance, ne peuvent être automatisés, car ils requièrent un jugement contextuel déduit des relations et du raisonnement éthique[9]International Committee of the Red Cross, The fundamental principles of the Red Cross: commentary, analysis from Jean Pictet, 1979, … Continue reading. L’humanité repose sur une compréhension de ce qui constitue un préjudice dans des circonstances culturelles et politiques données ; aucun algorithme ne peut se substituer au jugement moral humain. L’impartialité suppose de comprendre si des choix linguistiques, des sources de données ou des cadrages particuliers peuvent désavantager des populations de manière systématique ; les algorithmes ne disposent pas d’engagements intrinsèques en faveur d’un traitement équitable.
« Aucun algorithme ne peut se substituer au jugement moral humain. »
La neutralité implique de savoir quels cadrages et quelles sources sont alignés avec les positionnements politiques établis ; ce savoir est fondamentalement contextuel et relationnel. Enfin, l’indépendance exige de reconnaître de subtiles interférences étatiques qui peuvent comprendre des actions sophistiquées de désinformation ; les algorithmes ne peuvent évaluer la crédibilité dans des contextes politiques.
Bien mise en oeuvre, l’intelligence hybride consolide les principes de l’humanitaire en traitant les informations à grande échelle, ce qui permet aux analystes de se concentrer sur les tâches où leur jugement est fortement mis à contribution. Toutefois, pour bénéficier de ces avantages, les humains doivent conserver un vrai contrôle, une compréhension des forces et des limites du système, savoir identifier et corriger les défaillances et détenir l’autorité nécessaire pour reprendre la main sur les résultats des IA lorsque les principes humanitaires le leur commandent. Dans l’analyse humanitaire, l’intelligence hybride ne se mesure pas simplement à l’amélioration de l’analyse, mais à l’alignement de celle-ci sur les valeurs humanitaires.
Ni outil ni oracle
Un usage responsable de l’IA dans les crises humanitaires suppose que les humains soient des décisionnaires actifs et ne se limitent pas à un rôle passif de validation des résultats algorithmiques. Les études de cas citées démontrent le caractère non négociable de la supervision humaine, qui exige un effort délibéré. Cette supervision s’enracine dans des pratiques organisationnelles qui incorporent des étapes d’examen, une collaboration transversale et un apprentissage basé sur les défaillances.
Les débats polarisés sur l’IA, qui la décrivent tantôt comme une solution, tantôt comme une menace, occultent souvent une réalité plus pragmatique : l’IA est un outil doté de capacités et de limites spécifiques. Les systèmes, les organisations et les pratiques doivent garantir que les humains demeurent réellement en contrôle. Ils doivent non seulement conserver l’autorité sur la prise de décisions, mais aussi comprendre les systèmes qu’ils déploient, identifier les défaillances et mettre en place des mécanismes pour transformer les erreurs en enseignements. Les pratiques doivent s’aligner sur les principes humanitaires, pour garantir que les systèmes soutiennent notre intervention sur eux, au lieu de l’affaiblir. L’IA devrait être considérée comme l’un des nombreux outils au service des personnes touchées par des crises, plutôt que comme un substitut à l’intelligence contextuelle, au raisonnement éthique et au savoir relationnel qui définissent l’action humanitaire.
L’avenir de l’IA dans l’humanitaire reposera sur des systèmes structurés, avec une approche human-in-the-loop, et ancrés dans les principes humanitaires, conçus pour augmenter et non remplacer le jugement. Cette approche n’est ni simple ni infaillible. Elle suppose d’investir dans la co-conception, la formation, la culture organisationnelle et les infrastructures techniques. Elle exige un engagement soutenu pour traiter les défaillances comme des occasions d’apprendre plutôt que comme des défauts du système. À l’inverse, un rejet en bloc du potentiel de l’IA ou un déploiement de systèmes algorithmiques sans supervision sérieuse ne servent ni les principes humanitaires ni les personnes touchées par des crises. L’enjeu n’est pas de choisir de faire appel à l’IA ou non, mais de déterminer comment préserver le jugement humain.
Crédit photo : Sandra Calligaro / Picturetank / ACF
Traduit de l’anglais par Julou Dublé
