Project

Back to overview

Meaningful Human Control of Security Systems - Aligning International Humanitarian Law with Human Psychology

English title Meaningful Human Control of Security Systems - Aligning International Humanitarian Law with Human Psychology
Applicant Burri Thomas
Number 187494
Funding scheme NRP 77 Digital Transformation
Research institution Universität St. Gallen
Institution of higher education University of St.Gallen - SG
Main discipline Legal sciences
Start/End 01.10.2020 - 30.09.2024
Approved amount 591'110.00
Show all

All Disciplines (3)

Discipline
Legal sciences
Information Technology
Psychology

Keywords (7)

Human Rights Law; Autonomous Weapons Systems; Security; International Humanitarian Law; Trustworthiness; Experimental Ethics; Artificial Intelligence

Lay Summary (German)

Lead
Was bedeutet es, menschliche Kontrolle über intelligente Maschinen zu haben?
Lay summary

Experimental-Philosophen der Universität Zürich, Computerwissenschafter der EPFL und Rechtswissenschafter der Universität St. Gallen (HSG) untersuchen gemeinsam mit Hilfe von Experimenten im Laboratorium, wie intelligente Maschinen ausgestaltet werden müssen, damit eine wirksame Kontrolle seitens der menschlichen Betreiberinnen und Betreiber sichergestellt ist. Im Zentrum der Untersuchung stehen Roboter, welche der Katastrophenhilfe dienen. Die Ergebnisse werden aber voraussichtlich über diesen Anwendungsbereich hinaus relevant sein.

Künstliche Intelligenz und Robotik haben in den vergangenen Jahren grosse Fortschritte gemacht. Computerprogramme und Algorithmen sind mittlerweile lernfähig, Roboter können Aufgaben selbständig erfüllen. Immer weniger menschliche Beteiligung ist für eine einwandfreie Funktionsweise von Maschinen erforderlich, Menschen sind häufig nur noch im Hintergrund tätig. Maschinen können zum Beispiel auf Strassen fahren, am Himmel fliegen oder sogar im bewaffneten Konflikt töten – und dies alles selbständig. Wir untersuchen angesichts dieser Entwicklung, was wirksame menschliche Kontrolle über Maschinen bedeutet.

Im Konkreten geht es um die menschliche Kontrolle über intelligenten Maschinen, die auf der Basis von künstlicher Intelligenz und fortgeschrittener Robotik funktionieren. In einer virtuellen Umgebung, die spielähnlichen Charakter hat, führen wir Experimente durch, um dies herauszufinden. Wir kooperieren mit dem Schweizer Militär, um von dessen Erfahrungen zu profitieren. Das amerikanische Pentagon (Verteidigungsministerium) gewährt uns Zugang zu einer virtuellen Umgebung, welche das Pentagon für einen neuen Wettbewerb geschaffen hat: die so genannte «Darpa Subterranean Challenge». In diesem Wettbewerb wird Katastrophenhilfe in Tunneln und Höhlen mittels von Robotern geleistet. Die dafür geschaffene Umgebung nutzen wir für unsere Experimente.

Das Ziel unseres Projektes ist es, den Begriff der Kontrolle über intelligente Maschine so zu schärfen, dass klar wird, wann und wie menschliche Kontrolle notwendig ist. Entsprechend sollen der Rechtsetzung konkreter Input für Gesetze und Standards bezüglich der Kontrolle über intelligente Maschinen geliefert werden – etwa so wie bei den rechtlichen und technischen Standards, die zum Beispiel heute bei normalen Autos Anwendung finden. Idealerweise erfahren damit Hersteller und Herstellerinnen von modernen Maschinen, z.B. von Robotern, die auf der Grundlage von künstlicher Intelligenz funktionieren, von unserem Projekt, wie sie ihre Produkte bezüglich Kontrolle ausgestalten sollten, damit sie ethisch (und rechtlich) einwandfrei funktionieren. 

 

 

 
Direct link to Lay Summary Last update: 07.02.2020

Responsible applicant and co-applicants

Employees

Project partner

Collaboration

Group / person Country
Types of collaboration
Filippo Santioni de Sio at TU Delft Netherlands (Europe)
- in-depth/constructive exchanges on approaches, methods or results
Gari Walkowitz/Matthias Uhl, TU Munich Germany (Europe)
- in-depth/constructive exchanges on approaches, methods or results
Armasuisse Science and Technology Switzerland (Europe)
- in-depth/constructive exchanges on approaches, methods or results
- Exchange of personnel
Bernice Elger, University of Basel Switzerland (Europe)
- in-depth/constructive exchanges on approaches, methods or results
Trusted Autonomous Systems project, Jai Galliot Australia (Oceania)
- in-depth/constructive exchanges on approaches, methods or results
Peter Parycek, Competence Center Public IT, Fraunhofer Institute FOKUS Berlin Germany (Europe)
- in-depth/constructive exchanges on approaches, methods or results
International Committee of the Red Cross Switzerland (Europe)
- in-depth/constructive exchanges on approaches, methods or results
Eidg. Departement des Äusseren, Völkerrechtsdirektion Switzerland (Europe)
- in-depth/constructive exchanges on approaches, methods or results

Scientific events

Active participation

Title Type of contribution Title of article or contribution Date Place Persons involved
ArmaSuisse R+T Arche Days 2021 Talk given at a conference Ethische und rechtliche Aspekte der Robotik 08.07.2021 Wangen a.A., Switzerland Burri Thomas;


Communication with the public

Communication Title Media Place Year
New media (web, blogs, podcasts, news feeds etc.) The New EU Legislation on Artificial Intelligence: A Primer International 2021

Associated projects

Number Title Start Funding scheme
197425 Creating an ethical and legal governance framework for trustworthy cybersecurity in Switzerland 01.01.2021 NRP 77 Digital Transformation

Abstract

“Humans must retain control over AI and autonomous systems.” This is the imperative from politics, ethics, and law. It is particularly relevant when AI is used for security purposes. The precise implications of human control over AI and autonomous systems, however, are unclear and as yet unexplored. What does ‘meaningful human control’ mean? When is an autonomous system effectively under such control?The project explores how law and ethics should be aligned with the psychology of the human operator so that control over AI and autonomous systems is retained. It investigates security systems used in military, law enforcement or rescue settings. Combining experimental philosophy, computer science and legal science, the project attempts to crystallize the notion of control over autonomous systems. For this purpose, the US Department of Defense provides access to the environment created for the latest Darpa Challenge, the Subterranean Challenge (http://www.subtchallenge.com). The project also cooperates with the Swiss Department of Defense (ArmaSuisse), notably to profit from the military's practical experience.The overarching goal of the project is to explore the crucial dimensions of when and how humans can trust AI and autonomous systems. The results from the project are expected to scale well beyond security settings, extending to, for example, self-driving cars. The results not only push academic research further ahead, but also feed policy processes with a theoretically rigorous and empirically validated conception of control.
-