Автономные боевые роботы могут совершать дорогостоящие ошибки на будущих полях сражений

На одном из будущих полей сражений военные роботы могут совершать непоправимые ошибки. Проектирование автономных машин для войны означает принятие некоторой степени ошибки в будущем, и, что еще более досадно, мы не можем спрогнозировать, что это будет за ошибка.

Опубликованный сегодня доклад “Известные неизвестные: проблемы данных и военные автономные системы” представляет собой доклад Института Организации Объединенных Наций по исследованию проблем разоружения. Его цель — помочь политикам лучше понять риски, присущие автономным машинам. Эти риски включают в себя все: от того, как обработка данных может потерпеть неудачу, до того, как сбор данных может быть активно использован враждебными силами. Основным компонентом этого риска является то, что данные, собранные и используемые в бою, более запутаны, чем данные в лаборатории, что существенно изменит поведение военных роботов.

Реальные сценарии вызывают беспокойство. Может быть, камера робота, натренированная на пустынный блеск ракетного полигона, неверно истолкует отражение фары в туманное утро. Возможно, алгоритм, нацеленный на пулемет робота, неправильно откалибрует расстояние, переместив прицел с передней части танка на детскую площадку. Возможно, автономный разведчик, считывающий данные о местоположении с ближайшей вышки сотовой связи, намеренно получает неверную информацию от противника и отмечает неправильную улицу для безопасного передвижения солдат.

Автономные машины могут быть автономными только потому, что они собирают данные о своей среде, перемещаясь по ней, и затем действуют на основе этих данных. В обучающих средах данные, собираемые автономными системами, являются релевантными, полными, точными и высококачественными. Но, как отмечается в докладе, “конфликтные среды суровы, динамичны и враждебны, и в реальных данных поля боя всегда будет больше вариативности, чем в ограниченной выборке данных, на основе которых строятся и проверяются автономные системы.”

Один из примеров такого рода ошибок исходит от датчика камеры. Во время презентации в октябре 2020 года руководитель военной сенсорной компании продемонстрировал алгоритм целеуказания, хвастаясь тем, что этот алгоритм может различать военные и гражданские транспортные средства. В той же демонстрации видео обозначило человека, идущего по парковке, и дерево — как идентичные цели.

Когда военные планировщики строят автономные системы, они сначала обучают эти системы с данными в контролируемой обстановке. С помощью обучающих данных можно получить целевую программу распознавания, чтобы определить разницу между деревом и человеком. Но даже если алгоритм верен на тренировках, использование его в бою может означать автоматическую целеуказание на деревья, а не на людей, что было бы неэффективно с военной точки зрения. Что еще хуже, он может замкнуться на людях, а не на деревьях, что может привести к непреднамеренным жертвам.

Вражеские солдаты или иррегулярные войска, стремясь перехитрить атаку с помощью автономного оружия, также могут попытаться обмануть робота, охотящегося за ними, ложными или вводящими в заблуждение данными. Это иногда называется подменой, и примеры существуют в мирных контекстах. Например, используя ленту на знаке ограничения скорости 35 миль в час, чтобы цифра «3»читалась как цифра «8», команда исследователей убедила автомобиль Tesla в режиме самостоятельного вождения разогнаться до 85 миль в час.

В другом эксперименте исследователи смогли обмануть алгоритм распознавания объектов, заставив его предположить, что яблоко — это iPod, приклеив на яблоко бумажную этикетку с надписью “iPod”. На войне автономный робот, предназначенный для очистки улицы от взрывчатки, может не заметить очевидную мину-ловушку, если на ней будет написано “футбольный мяч».

Ошибка в любом месте процесса, от сбора до интерпретации и передачи этой информации людям, может привести к “каскадным эффектам”, которые приведут к непреднамеренному ущербу, говорит Артур Холланд Мишель, младший научный сотрудник Программы безопасности и технологий Института исследований разоружения ООН и автор настоящего доклада.

“Представьте себе разведывательный беспилотник, который в результате подделки или неверных данных неправильно классифицирует целевую зону как имеющую очень низкую вероятность гражданского присутствия”, — говорит Холланд Мишель. Те солдаты, которые будут действовать на основе оценки этой системы, не обязательно будут знать, что она неисправна, и в очень быстро меняющейся ситуации у них может не хватить времени проверить оценку системы и найти проблему.”

Если тестирование покажет, что камера наведения может ошибочно принять деревья за гражданских, солдаты будут знать, как искать эту ошибку в бою. Но если конкретная ошибка никогда не появлялась при тестировании, например, как инфракрасный датчик, видящий тепло нескольких сгруппированных радиаторов и интерпретирующий это как людей, у солдат даже не будет оснований полагать, что автономная система дала сбой, пока стрельба не закончится.

Говорить о том, как машины могут производить ошибки, особенно неожиданные, важно, потому что в противном случае люди, полагающиеся на роботизированную систему, скорее всего, будут считать ее точной. Усугубляя эту проблему, в полевых условиях трудно понять, каким образом автономная машина приняла решение.

“Тип ИИ, называемый глубоким обучением, известен своей непрозрачностью и поэтому часто называется “черным ящиком”. Он делает что-то с определенной вероятностью, и часто это работает, но мы не знаем, почему”, — рассказывает Маайке Вербрюгген, докторант Брюссельского университета Врие. Но как солдат может оценить, правильна ли дала рекомендации машина, если он понятия не имеет, почему робот пришел к такому выводу?”

Учитывая неопределенность в пылу сражения, разумно ожидать, что солдаты будут следовать рекомендациям машин, и предполагать, что они безошибочны. Однако ошибка — неизбежная часть использования автономных машин в конфликтах. Вера в то, что машина действовала правильно, не освобождает солдат от обязательств по международному праву избегать непреднамеренного вреда.

В то время как сегодня используется оружие с автономными функциями, ни одна страна не заявила прямо, что она готова доверить машине целиться и стрелять по людям без участия человека в этом процессе. Однако ошибки в данных могут вызвать новые проблемы, в результате чего люди несут ответственность за поведение машины неожиданным и непредвиденным образом. И по мере того, как машины становятся более автономными, эта опасность все больше возрастает.

“Когда дело доходит до автономного оружия, дьявол кроется в технических деталях”, — говорит Холланд Мишель. “Очень легко говорить, что люди всегда должны нести ответственность за действия автономного оружия, но если эти системы из-за их сложной алгоритмической архитектуры имеют неизвестные точки отказа, которые никто не мог предвидеть с помощью существующих методов тестирования, как вы закрепите эту ответственность?”

Одно из возможных применений полностью автономного оружия — это нацеливание только на другие машины, такие как беспилотные дроны, а не на людей или транспортные средства, содержащие людей.
источник