Project

Back to overview

Meaningful Human Control of Security Systems - Aligning International Humanitarian Law with Human Psychology

English title Meaningful Human Control of Security Systems - Aligning International Humanitarian Law with Human Psychology
Applicant Burri Thomas
Number 187494
Funding scheme NRP 77 Digital Transformation
Research institution Universität St. Gallen
Institution of higher education University of St.Gallen - SG
Main discipline Legal sciences
Start/End 01.10.2020 - 30.09.2024
Approved amount 591'110.00
Show all

All Disciplines (3)

Discipline
Legal sciences
Information Technology
Psychology

Keywords (7)

Human Rights Law; Autonomous Weapons Systems; Security; International Humanitarian Law; Trustworthiness; Experimental Ethics; Artificial Intelligence

Lay Summary (German)

Lead
Was bedeutet es, menschliche Kontrolle über intelligente Maschinen zu haben?
Lay summary

Experimental-Philosophen der Universität Zürich, Computerwissenschafter der EPFL und Rechtswissenschafter der Universität St. Gallen (HSG) untersuchen gemeinsam mit Hilfe von Experimenten im Laboratorium, wie intelligente Maschinen ausgestaltet werden müssen, damit eine wirksame Kontrolle seitens der menschlichen Betreiberinnen und Betreiber sichergestellt ist. Im Zentrum der Untersuchung stehen Roboter, welche der Katastrophenhilfe dienen. Die Ergebnisse werden aber voraussichtlich über diesen Anwendungsbereich hinaus relevant sein.

Künstliche Intelligenz und Robotik haben in den vergangenen Jahren grosse Fortschritte gemacht. Computerprogramme und Algorithmen sind mittlerweile lernfähig, Roboter können Aufgaben selbständig erfüllen. Immer weniger menschliche Beteiligung ist für eine einwandfreie Funktionsweise von Maschinen erforderlich, Menschen sind häufig nur noch im Hintergrund tätig. Maschinen können zum Beispiel auf Strassen fahren, am Himmel fliegen oder sogar im bewaffneten Konflikt töten – und dies alles selbständig. Wir untersuchen angesichts dieser Entwicklung, was wirksame menschliche Kontrolle über Maschinen bedeutet.

Im Konkreten geht es um die menschliche Kontrolle über intelligenten Maschinen, die auf der Basis von künstlicher Intelligenz und fortgeschrittener Robotik funktionieren. In einer virtuellen Umgebung, die spielähnlichen Charakter hat, führen wir Experimente durch, um dies herauszufinden. Wir kooperieren mit dem Schweizer Militär, um von dessen Erfahrungen zu profitieren. Das amerikanische Pentagon (Verteidigungsministerium) gewährt uns Zugang zu einer virtuellen Umgebung, welche das Pentagon für einen neuen Wettbewerb geschaffen hat: die so genannte «Darpa Subterranean Challenge». In diesem Wettbewerb wird Katastrophenhilfe in Tunneln und Höhlen mittels von Robotern geleistet. Die dafür geschaffene Umgebung nutzen wir für unsere Experimente.

Das Ziel unseres Projektes ist es, den Begriff der Kontrolle über intelligente Maschine so zu schärfen, dass klar wird, wann und wie menschliche Kontrolle notwendig ist. Entsprechend sollen der Rechtsetzung konkreter Input für Gesetze und Standards bezüglich der Kontrolle über intelligente Maschinen geliefert werden – etwa so wie bei den rechtlichen und technischen Standards, die zum Beispiel heute bei normalen Autos Anwendung finden. Idealerweise erfahren damit Hersteller und Herstellerinnen von modernen Maschinen, z.B. von Robotern, die auf der Grundlage von künstlicher Intelligenz funktionieren, von unserem Projekt, wie sie ihre Produkte bezüglich Kontrolle ausgestalten sollten, damit sie ethisch (und rechtlich) einwandfrei funktionieren. 

 

 

 
Direct link to Lay Summary Last update: 07.02.2020

Responsible applicant and co-applicants

Employees

Name Institute

Project partner

Associated projects

Number Title Start Funding scheme
197425 Creating an ethical and legal governance framework for trustworthy cybersecurity in Switzerland 01.01.2021 NRP 77 Digital Transformation

Abstract

“Humans must retain control over AI and autonomous systems.” This is the imperative from politics, ethics, and law. It is particularly relevant when AI is used for security purposes. The precise implications of human control over AI and autonomous systems, however, are unclear and as yet unexplored. What does ‘meaningful human control’ mean? When is an autonomous system effectively under such control?The project explores how law and ethics should be aligned with the psychology of the human operator so that control over AI and autonomous systems is retained. It investigates security systems used in military, law enforcement or rescue settings. Combining experimental philosophy, computer science and legal science, the project attempts to crystallize the notion of control over autonomous systems. For this purpose, the US Department of Defense provides access to the environment created for the latest Darpa Challenge, the Subterranean Challenge (http://www.subtchallenge.com). The project also cooperates with the Swiss Department of Defense (ArmaSuisse), notably to profit from the military's practical experience.The overarching goal of the project is to explore the crucial dimensions of when and how humans can trust AI and autonomous systems. The results from the project are expected to scale well beyond security settings, extending to, for example, self-driving cars. The results not only push academic research further ahead, but also feed policy processes with a theoretically rigorous and empirically validated conception of control.
-