Outiller les communautés en matière de redevabilité à l’ère de l’intelligence artificielle

Des données en échange d’une assistance : dans les situations d’urgence, le consentement relève plus souvent de la transaction que du choix. À l’heure où l’intelligence artificielle éprouve les limites de la redevabilité humanitaire, trois spé­cialistes soulignent que les garde-fous reposent sur la capacité des communau­tés à comprendre, interroger et contes­ter les actions menées en leur nom.

Pour se montrer réellement respon­sables, les organisations humanitaires ne doivent pas se satisfaire d’élever le niveau de leurs exigences : elles doivent aussi s’assurer que les communautés touchées par des crises ont les moyens concrets de leur demander des comptes. À l’heure actuelle, un point d’intérêt majeur concerne l’outillage des huma­nitaires pour accroître leur capacité à rendre des comptes sur leurs pratiques. L’usage croissant des technologies numériques par les organisations met l’accent sur cet enjeu. Toutefois, notre sec­teur s’en est souvent tenu à cette étape, sans permettre aux personnes affectées d’influencer et de contester des décisions relatives à la conception et à l’usage de la technologie. Nous soutenons ici que l’in­clusion constitue un prérequis essentiel à la redevabilité à l’ère de l’intelligence artificielle (IA) et que nous devons veiller à ce que les membres des communautés comprennent et puissent influer sur les solutions technologiques dès le début de leur déploiement.

Les organisations s’appuient de plus en plus sur le potentiel de l’IA pour amélio­rer la portée, l’efficacité et la proactivité de l’action humanitaire. Ce faisant, l’en­jeu de la redevabilité devient à la fois plus urgent et plus complexe, car cette technologie s’avère opaque et mal com­prise. Nous avons mené une étude explo­ratoire visant à analyser les difficultés des bénéficiaires de l’aide humanitaire à demander des comptes aux organisa­tions quant à la technologisation de leurs services. Il s’agissait aussi de comprendre leurs besoins pour surmonter ces obsta­cles. Nous avons puisé dans les résultats de ces travaux pour élaborer un guide sur la redevabilité numérique à destination des communautés.

Cet article repose sur les entretiens et ateliers de co-création menés par CLEAR Global avec des praticiens de la société civile et d’organisations non gouvernementales (ONG) internationales présentes en Afrique, en Amérique latine, en Asie de l’Ouest et du Sud et en Europe, avec le soutien du UK Humanitarian Innovation Hub (UKHIH) et d’Elrha^[1]Douze entretiens semi-structurés avec des informateurs clés et deux ateliers de co-création ont été organisés en ligne en février et mars 2026, en anglais, en espagnol et en arabe. Les … Continue reading.

La participation, une première étape manquante

L’engagement communautaire dans les décisions humanitaires sur le déploie­ment technologique conditionne la redevabilité numérique. Pourtant, il demeure exceptionnel, alors que la liste des engagements pour un usage responsable des technologies n’a cessé de s’allonger ces dernières années et qu’il existe des exemples, cités par les répondants, de co-conception et de co-évaluation de solutions alimentées ou non par l’IA.

L’absence de projets pertinents de conception participative s’explique par différents facteurs. Les contraintes de temps et d’argent se trouvent bien sûr au premier plan dans un contexte de réponse d’urgence et de réduction des financements. Mais nous avons éga­lement observé que les organisations comme les communautés bénéficiaires ignoraient l’intérêt pour ces dernières de s’impliquer directement dans la prise de décision technologique. Les participants nous ont confié à plusieurs reprises que si les personnes accordent leur confiance à l’organisation, elles par­tiront du principe que les solutions tech­nologiques proposées sont sécurisées, pertinentes et utiles.

Les individus les plus vulnérables socia­lement s’attendent particulièrement peu à ce que leurs voix soient entendues. Ce sont pourtant bien ces personnes que les applications technologiques – et avant tout les solutions basées sur l’IA – doivent prendre en compte pour se montrer justes, impartiales et efficaces : les femmes, les personnes handicapées, âgées, réfugiées et dépla­cées internes, ainsi que tous les autres groupes marginalisés. Par exemple, la grande majorité des données d’entraî­nement des IA linguistiques provient des franges connectées de la société, assez privilégiées. L’ensemble des autres lan­gues, cultures, problématiques, vécus et contextes se trouve alors noyé dans la masse. À moins que ces groupes ne prennent une part active dans leur création et leur évaluation, les outils fondés sur l’IA ne répondront jamais correctement à leurs besoins. Pire, ils pourraient leur causer du tort. Tout cela dans l’ignorance générale.

Nous demandons aux personnes de se fier à des outils que ni elles ni nous ne comprenons vraiment

L’absence de participation aux décisions de conception prive d’informations les personnes bénéficiaires d’aide humani­taire. Elles ignorent donc qu’elles ont le choix d’interagir (ou non) avec les tech­nologies déployées. Elles interrogent des agents conversationnels IA sur des sujets sensibles comme la santé ou les violences basées sur le genre, sans se douter que la technologie pourrait hal­luciner^[2]Dans le domaine de l’IA, on parle d’hallucination pour évoquer une réponse fausse ou trompeuse qui est présentée comme un fait certain, par exemple une référence bibliographique [note de … Continue reading ou leur apporter des réponses inexactes, voire dangereuses. Elles s’ins­crivent sur des plateformes mobiles de transfert d’argent ou fournissent leurs empreintes digitales et autres données biométriques, identifiant ces actions comme des conditions pour bénéficier d’une assistance. Dans une situation d’urgence, on le comprend, les per­sonnes se soucient souvent plus de recevoir ce soutien que des enjeux de responsabilité numérique.

Or, en règle générale, les membres des communautés bénéficiaires ont une très mauvaise compréhension des systèmes avec lesquels ils interagissent de la sorte. Quand ces outils emploient des composants d’IA, la plupart des usagers n’en ont pas conscience. Beaucoup ne comprennent pas que les mots tapés sur ou dictés à un téléphone ne restent pas à l’intérieur de l’appareil. Selon un professionnel, les communautés n’ont « quasi aucune » conscience du devenir des données après leur collecte, de leur trajet entre les systèmes, des personnes qui y ont accès, de la durée de leur conservation et des décisions qu’elles peuvent. Au-delà de l’objectif immé­diat consistant à fournir ces données en échange d’un service, les personnes tou­chées par des crises ignorent en général ce qui se passe ensuite.

Mais les communautés ne sont pas les seules à éprouver ce décalage. Les données recueillies via un formulaire d’enregistrement sur mobile peuvent être stockées sur plusieurs serveurs, partagées avec des agences ou des organes gouvernementaux partenaires, intégrées à des plateformes tierces et conservées des années durant. Les organisations initiatrices n’ont pas la main sur ces infrastructures et n’en ont parfois qu’une compréhension partielle. Plusieurs répondants ont déclaré que même les équipes chargées de l’admi­nistration de ces systèmes étaient inca­pables d’expliquer les procédures de traitement des données ou les accords de gouvernance conclus pour les pro­téger. Et lorsque les organisations font appel à des plateformes commerciales, la gestion des données peut échapper intégralement à leur contrôle.

En l’absence de transparence et de compréhension, le consentement se révèle plus transactionnel qu’éclairé

Le consentement est la pierre angulaire éthique du traitement des données ; les organisations humanitaires mettent donc souvent en place des procédures pour le recueillir. Formulaires à remplir, explications verbales, cases à cocher : l’étude montre clairement que ces pro­cédures ne se traduisent guère par des choix réellement éclairés pour les per­sonnes touchées par des crises.

Ce décalage s’explique par l’intersec­tion de plusieurs facteurs. Les politiques de confidentialité sont techniquement complexes et souvent pratiquement inaccessibles, même pour des usagers rompus à l’exercice. Certains concepts manquent d’équivalents directs dans de nombreuses langues et ne font pas appel au vécu concret du quoti­dien de manière à rendre les risques tangibles. C’est le cas de la notion même de « données », sans parler de leur « conservation », de l’« usage secondaire » ou du « partage multi­plateformes ». À cause de ce manque d’accessibilité, les personnes d’ores et déjà confrontées à une urgence sont encore moins susceptibles de poser des questions. Puisque la survie immédiate prime, le risque le plus aigu concerne souvent la perte de l’accès à l’assistance consécutive au refus du partage de don­nées personnelles.

« On obtient ce qui peut être décrit comme un “consentement transactionnel” : des données en échange d’une assistance, un troc reposant moins sur la compréhension que sur la nécessité. »

En fin de compte, on obtient ce qui peut être décrit comme un « consente­ment transactionnel » : des données en échange d’une assistance, un troc repo­sant moins sur la compréhension que sur la nécessité. Dans les contextes humani­taires, cette dynamique se trouve exa­cerbée par d’importants déséquilibres de pouvoir, la rareté des solutions alter­natives non numériques et l’autorité visible des acteurs institutionnels. Les organisations tentent parfois de souli­gner le caractère facultatif de la partici­pation grâce à des clauses explicites de refus ou des formulaires de consente­ment simplifiés, mais le degré de com­préhension atteint dans ces situations demeure incertain.

L’IA réduit encore plus l’espace néces­saire à un consentement éclairé. Les entreprises ne rendent pas forcément visibles aux organisations, et encore moins aux usagers eux-mêmes, le minage de leurs données vocales ou de leurs requêtes écrites pour l’entraî­nement de modèles d’IA. Et les com­munautés incapables de formuler des interrogations dignes de ce nom face à un formulaire de collecte de données apparaissent considérablement moins outillées pour contester un système de prise de décision automatisé. Il existe déjà des preuves documentées du trai­tement par des agences humanitaires de données recueillies pendant la durée de leurs programmes, au moyen de modèles d’IA, sans le consentement explicite des personnes concernées. Dans certains cas, ces décisions ont été prises avant la rédaction de politiques de gouvernance sur l’IA à l’échelle organisationnelle^[3]Sarah Spencer, “Humanitarian AId? Considerations for the Future of AI-use in Humanitarian Action”, Reliefweb, Elrha, 17 January 2024, … Continue reading. Le consentement transactionnel ne peut servir de base à la contestation d’un statut d’éligibilité attribué par algorithme.

Les victimes de préjudices numériques disposent rarement de recours

Lorsque des personnes partagent leurs informations personnelles, qu’elles connaissent ou non les risques associés, elles s’exposent à des conséquences concrètes. Et il s’agit souvent d’individus déjà vulnérables.

La visibilité numérique engendre parfois un risque physique direct. Dans bien des cas, les appareils appartiennent aux hommes et l’usage d’applications ou de services de messagerie en devient risqué pour les femmes et les filles. C’est le cas lorsque les demandes adressées à un ser­vice d’aide contre les violences basées sur le genre risquent d’être visibles par un partenaire maltraitant. Une faille de la confidentialité numérique rend aussi vulnérable au risque de surveillance et d’attaque ciblée, en particulier pour les personnes vivant à proximité de forces belligérantes, les individus déplacés de force ou au statut légal précaire. Ce risque a connu une douloureuse illustra­tion lorsque les données biométriques de réfugiés rohingyas, recueillies pour les inscrire à une assistance, ont ensuite été transmises aux autorités birmanes qu’ils avaient fuies^[4]Human Rights Watch, UN Shared Rohingya Data Without Informed Consent, 15 June 2021, https://www.hrw.org/news/2021/06/15/un-shared-rohingya-data-without-informed-consent..

Dans d’autres cadres, l’enregistrement numérique peut produire des effets dangereux pour une aide ultérieure. On nous a rapporté un cas en Ukraine où des individus qui avaient demandé sans succès une assistance internationale ont été jugés automatiquement inéligibles aux aides nationales. Ils n’ont pu ni faire appel de la décision ni obtenir le retrait de leurs informations personnelles des bases de données internationales.

Au niveau des organisations, les directives institutionnelles fragilisent encore plus la capacité à rendre des comptes. Dans des environnements de financement concur­rentiels, les ONG peuvent craindre une atteinte à leur réputation ou une réaction brutale des donateurs, en cas de révélation publique de failles de sécurité numérique. Les mécanismes formels de réclamation ne sont pas non plus pensés pour la rede­vabilité numérique. Les numéros d’appel ou de SMS d’urgence et les formulaires de réclamation sont très répandus, mais surtout pour des demandes opération­nelles à propos d’événements comme les retards de distribution. Rares sont les mécanismes visant à traiter spécifique­ment les doléances numériques, les litiges relatifs à la gouvernance des données ou les droits liés à leur collecte.

Les systèmes de données plus complexes et dispersés ont également des implica­tions considérables en matière de redeva­bilité. Lorsque ni les communautés ni les organisations qui travaillent à leurs côtés ne comprennent bien le fonctionnement des systèmes numériques, à qui échoit la responsabilité de tout dommage causé par ces systèmes ? Dans bien des cas, ce n’est pas une ONG, mais une entreprise tech­nologique commerciale qui contrôle l’es­sentiel du traitement et de la gestion des données. Elle opère souvent à l’échelle mondiale, se révèle peu présente dans les environnements subissant des crises et manifeste une absence de redevabilité directe envers les communautés touchées.

Les cadres existants n’offrent aucune redevabilité pour les usages complexes de la technologie

Les mécanismes existants de retours d’expérience et de réclamations ont été conçus pour les relations directes entre les organisations et les communautés. Ils sont mal adaptés aux systèmes en strates où l’organisation à l’origine d’un programme d’aide peut n’avoir aucun contrôle sur la plateforme qui traite ses données. Ces dernières transitent par des systèmes qu’aucun acteur ne contrôle de manière exclusive. Même lorsque les organisations veulent répondre à une demande de correction ou d’effacement des données émanant d’un membre d’une communauté, il leur manque souvent l’autorité technique requise. Les organismes qui recueillent les données sur le terrain ne disposent pas des certificats numériques néces­saires pour modifier les bases de don­nées backend^[5]Une base de données backend est l’endroit où une application ou un site web stocke ses informations de manière durable, du côté « serveur » – c’est-à-dire la partie invisible … Continue reading. Les données partagées à des agences partenaires ou à des plate­formes commerciales peuvent échapper entièrement à l’organisation concernée.

Voilà l’environnement de redevabilité dans lequel les outils d’IA sont en train d’être introduits, pour l’évaluation des besoins, le ciblage, l’analyse des retours d’expérience et le traitement du langage naturel. Les systèmes d’IA intègrent des obstacles supplémentaires à la redeva­bilité : une logique algorithmique plus difficile à expliquer qu’un formulaire de collecte de données, des données d’en­traînement potentiellement chargées de biais historiques, et des résultats présentés comme objectifs alors qu’ils reflètent les valeurs et les hypothèses ayant présidé à leur conception^[6]Giulio Coppi, Rebeca Moreno Jimenez and Sofia Kyriazi, “Explicability of humanitarian AI: a matter of principles”, Journal of International Humanitarian Action, vol. 6, no. 1, 2021..

La redevabilité à l’ère de l’IA suppose plus que jamais un engagement com­munautaire et ne saurait être réduite à une politique de confidentialité ou être traitée par l’intermédiaire d’un numéro d’appel d’urgence. Pour exis­ter, elle requiert des liens étroitement entretenus entre les communautés, les intermédiaires auxquels elles accordent leur confiance et les organisations qui les servent. La première étape de ce processus consiste pour les membres des communautés à prendre part aux décisions sur la conception et l’usage des technologies, un engagement pour lequel il convient de s’assurer qu’ils soient outillés.

Une ressource à destination des communautés en faveur de la redevabilité

Sur la base de ces constats, nous avons développé un outil dont nous espérons qu’il pourra aider les communautés à contester en toute indépendance les systèmes d’IA et autres solutions tech­nologiques auxquels elles sont confron­tées. Intitulé « How to hold organizations accountable for their use of digital tech­nology: a guide for crisis-affected com­munities » [« Comment permettre la redevabilité des organisations quant à leur usage des technologies numé­riques : guide à destination des com­munautés touchées par des crises »], ce document en est au stade initial de sa conception, dans la perspective d’une élaboration participative^[7]En accès libre ici (en anglais) : https://clearglobal.org/resources/guide-how-to-hold-organizations-accountable-for-their-use-of-digital-technology. Mais il vise dès à présent à apporter des réponses aux conclusions centrales de cette étude, en s’appuyant concrètement sur des ateliers de co-création avec des pro­fessionnels du secteur :

« Nous avons développé un outil dont nous espérons qu’il pourra aider les communautés à contester en toute indépendance les systèmes d’IA. »

• les communautés touchées par des crises doivent savoir ce qu’elles peuvent exiger lorsque les organi­sations emploient des technologies numériques, y compris leur droit d’être consultées, de recevoir des informa­tions claires et de formuler des objec­tions. Le guide définit les principes et les normes que doivent respecter les organisations et explique à quoi devrait ressembler une conception centrée sur l’humain dans les faits, afin que les communautés puissent se servir de ce savoir pour demander des comptes aux structures qui leur four­nissent une aide ;
• les personnes ont plutôt besoin d’un support pour agir que d’explications techniques relatives à la protection des données. Le guide contient des exemples pratiques de la manière dont surviennent les risques, une liste de signaux d’alarme pour aider les communautés à identifier les usages dangereux de la technologie, des questions prêtes à l’emploi à poser aux organisations avant de partager des données personnelles et une aide à la formulation sécurisée d’inquiétudes et de réclamations ;
• les communautés ont le droit de connaître non seulement l’usage que font les organisations de leurs données, mais aussi ce que ces der­nières contrôlent ou non. Écrit dans un langage clair, le guide fournit aux membres des communautés des ques­tions à poser sur les flux de données, les plateformes tierces et les accords de partage des données. Il exprime aussi clairement que les communautés ont droit à cette information, même si le contrôle exercé par l’organisation devait s’avérer restreint ;
• l’action collective se révèle souvent plus sûre et plus efficace que les récla­mations individuelles, notamment pour contester les composantes struc­turelles des systèmes numériques. Le guide encourage les communautés à se préparer en collectif pour signaler des problèmes. Il explique l’avantage de cette approche pour intensifier la pression sur les organisations, protéger les individus et disposer de bases plus solides afin de porter les réclamations devant les autorités supérieures en cas d’échec du signalement direct ;
• le guide reflète la demande fréquem­ment formulée par les communautés de pouvoir interagir avec une personne réelle, en particulier dans des situations urgentes ou sensibles. Il identifie l’ab­sence de solution humaine alternative comme un signal d’alarme dans l’usage des technologies numériques et sou­ligne que les agents conversationnels et autres services automatisés, en plus de commettre des erreurs fréquentes, ne peuvent appliquer un jugement humain. Enfin, il recommande aux communautés de demander aux organisations de prévoir un encadrement humain pour tout service d’information automatisé. Il emploie un langage clair, des illustrations et des contenus basés sur des scénarios pour atteindre des communautés peu alphabétisées ou peu connectées. Il identifie explicitement le manque d’accessibilité (pour des raisons de langue, de format ou de compétences numériques prérequises) comme un signal d’alarme dans l’emploi humanitaire des technologies.

Il est pertinent de développer des normes de gouvernance quant à l’IA au niveau du secteur entier^[8]CDAC Network, The Alan Turing Institute and Humanitarian Advisory, SAFE AI: Standards and Assurance Framework for Ethical AI [no date], https://www.cdacnetwork.org/safe-ai ; Wilton Park and UK FCDO, … Continue reading. Mais sans nier leur importance, les normes à l’échelle d’une organisation ou d’un secteur ne permettent de résoudre qu’une partie du problème. Les communautés dont les données alimentent ces systèmes, et dont l’accès à une assistance peut être conditionné par les résultats d’un prompt, nécessitent une prise de responsabilité directe. Elles doivent pouvoir comprendre, contester et exercer une influence significative sur les technologies mises en place en leur nom. « Comment permettre la redevabilité des organisations quant à leur usage des technologies numériques : guide à destination des communautés touchées par des crises » est un premier pas dans cette direction.

Crédit photo : CICR

Traduit de l’anglais par Julou Dublé