Un nouveau rapport de l'Organisation pour la science et la technologie de l'OTAN (STO) examine le rôle du contrôle humain dans les systèmes militaires d'intelligence artificielle. La publication souligne l'importance d'équilibrer le jugement humain avec l'autonomie et présente un modèle permettant de comprendre comment les méthodes de contrôle interagissent.
Le rapport affirme que l'intelligence artificielle peut apporter des avantages sur le champ de bataille en accélérant la prise de décision et en analysant rapidement de grandes quantités de données pour une précision et une couverture accrues. Toutefois, à mesure que les systèmes deviennent plus autonomes, la nécessité de maintenir un contrôle humain efficace et une supervision adéquate s'intensifie. C'est ce qu'indique un communiqué de presse de l'OTAN résumant les conclusions du rapport.
Le rapport constate qu'il existe un large consensus sur la nécessité d'un « contrôle humain significatif » (Meaningful Human Control, MHC) sur les champs de bataille futurs, mais que les avis divergent quant à la signification concrète de ce concept en pratique.
Afin de clarifier ces questions, un groupe de chercheurs au sein de la STO a examiné la signification et les solutions potentielles pour les futurs systèmes basés sur l'IA. Le groupe, constitué au sein du panel sur les facteurs humains et la médecine (HFM), établit que le MHC ne doit pas être considéré comme une propriété simple. Il est décrit au contraire comme faisant partie d'un système sociotechnique complexe nécessitant des mesures à différentes phases du cycle de vie d'un système d'IA.
Le rapport identifie 17 méthodes potentielles pour garantir le contrôle. Celles-ci s'étendent des directives de conception aux indicateurs de conscience situationnelle et à la formation organisationnelle. Le groupe introduit également un « modèle holistique en nœud papillon » du MHC. Ce modèle combine des aspects au niveau individuel avec des niveaux systémiques, organisationnels et sociétaux afin de mieux comprendre comment les différentes méthodes s'articulent entre elles.
Les auteurs soulignent qu'il n'existe pas de solution universelle. Le rapport met en avant l'importance d'un processus de conception centré sur l'humain, dans lequel les différentes parties prenantes sont impliquées dès les premières phases du développement.
Le groupe de travail exprime l'espoir que les méthodes identifiées serviront de base à des recherches supplémentaires sur des solutions pratiques de contrôle humain tout au long de la durée de vie des systèmes.