Пентагон может проспать восстание боевых машин

Об опасности применения генеративного интеллекта в военных целях

Минобороны США создало оперативную группу «Лима» (Task Force Lima) с целью изучения использования генеративного искусственного интеллекта в военных целях. «Лима» входит в состав Главного управления цифровых технологий и искусственного интеллекта Пентагона (CDAO), её возглавил член управления алгоритмической войны CDAO капитан Ксавьер Луго.

Как заявили в Пентагоне группа «Лима» «будет оценивать, синхронизировать и использовать генеративные возможности искусственного интеллекта, гарантируя, что министерство останется на переднем крае передовых технологий, одновременно обеспечивая национальную безопасность».

«Хотя технология генеративного искусственного интеллекта не является новой, популярность генеративного искусственного интеллекта за последние несколько месяцев резко возросла в технологическом пространстве из-за его применения в таких проектах, как ChatGPT. Эта технология обучена на огромных наборах данных и может генерировать аудио, текст, изображения и другие типы контента. Сейчас министерство обороны ищет способы использования генеративного искусственного интеллекта для сбора разведывательной информации и будущих военных действий. Но хотя эта технология может предложить новые возможности для министерства обороны, министерство также должно учитывать риски, которым технология может его подвергнуть», – отмечает военный портал Breaking Defence.

Генеративный ИИ относится к категории алгоритмов, генерирующих новые результаты на основе больших данных в отличие более простых алгоритмов, которые выдают наиболее вероятный статистический результат на основе заложенной в них информации. Генеративный ИИ основан так называемых больших языковых моделях наподобие ChatGPT, которые способны генерировать новый текст, прочти неотличимый от созданного человеком. Эти модели используются для написания эссе, бизнес-планов и научных статей.

«Но эти языковые модели иногда лгут или, как выражаются аналитики ИИ, галлюцинируют», – отмечает известный военный обозреватель Патрик Такер.

Бьет тревогу по этому поводу и The New York Times. В статье «When A.I. Chatbots Hallucinate» издание приводит ряд таких «галлюцинаций».Так, например «когда недавно ChatGPT спросили, как впервые встретились Джеймс Джойс и Владимир Ленин – встреча, которая так и не была подтверждена, — он ответил так: “Джеймс Джойс и Владимир Ленин встретились в Цюрихе, Швейцария, в 1916 году. Оба мужчины жили в изгнании в Цюрихе во время Первой мировой войны. Джойс был писателем, а Ленин — революционером. Они встретились в кафе «Одеон», популярном месте сбора художников и интеллектуалов в Цюрихе”».

«Подобные измышления и категоричные заявления о вымышленной истории являются обычным явлением. Выяснение того, почему чат-боты что-то выдумывают и как решить эту проблему, стало одной из самых актуальных проблем, стоящих перед исследователями… Чат-боты, такие как ChatGPT, используются сотнями миллионов людей для решения все более широкого спектра задач, включая службы электронной почты, онлайн-преподавателей и поисковые системы. И они могут изменить способ взаимодействия людей с информацией. Однако невозможно гарантировать, что эти системы будут предоставлять точную информацию. Эта неопределенность вызвала обеспокоенность по поводу надежности этого нового вида искусственного интеллекта и ставит под вопрос, насколько он может быть полезен, пока проблема не будет решена или взята под контроль»,

– отмечает The New York Times.

«В технологической индустрии такие неточности часто называют “галлюцинациями”. Но для некоторых исследователей «галлюцинации» — это слишком большой эвфемизм. Даже исследователи в технологических компаниях обеспокоены» сложившейся ситуацией.

Через два месяца после дебюта ChatGPT Microsoft добавил в свою поисковую систему Bing аналогичный чат-бот, способный вести открытые текстовые беседы практически на любую тему. «Но именно периодически неточные, вводящие в заблуждение и странные ответы бота привлекли наибольшее внимание после его выпуска».

В марте поисковый гигант Baidu представил первого крупного конкурента ChatGPT в Китае. Дебют Ernie, сокращенно от Enhanced Representation Through Knowledge Integration, оказался провальным после того, как выяснилось, что обещанная «живая» демонстрация бота была заранее записана.

«Если вы еще не знаете ответа на вопрос, я бы не стал задавать вопрос ни одной из этих систем», — сказал Суббарао Камбхампати, профессор и исследователь искусственного интеллекта в Университете штата Аризона.

«Чат-боты Google Bard и Microsoft Bing неоднократно давали неточные ответы на один и тот же вопрос. Хотя ответы были ложными, они казались правдоподобными, поскольку они размывали и смешивали людей, события и идеи».

Согласно данным The New York Times, галлюцинируют все чат-боты, цитируя статьи, которых не было. Как и Google, Microsoft и OpenAI заявляют, что работают над уменьшением галлюцинаций, но тщетно.

Генеративный ИИ «создан так, чтобы быть убедительными, а не правдивыми», говорится во внутреннем документе Microsoft. «Это означает, что результаты могут выглядеть очень реалистично, но включать в себя утверждения, которые не соответствуют действительности».

Поскольку Интернет наполнен ложной информацией, технология учится повторять одну и ту же ложь. «А иногда чат-боты что-то выдумывают. Они создают новый текст, неожиданным образом комбинируя миллиарды шаблонов. Это означает, что даже если они учились исключительно на основе точного текста, они все равно могут генерировать что-то неточное».

Поскольку эти системы учатся на большем количестве данных, чем люди могут когда-либо проанализировать, эксперты не могут понять, почему они генерируют ту или иную последовательность текста в данный момент. И если вы зададите один и тот же вопрос дважды, они могут создать другой текст, отмечает издание.

Так, новая версия ChatGPT под названием ChatGPT Plus, постоянно уклоняется от ответа на вопрос о первом упоминании искусственного интеллекта

«Как ни странно, галлюцинации могут стать более опасными, поскольку модели становятся более правдивыми, поскольку пользователи укрепляют доверие к модели, когда она предоставляет правдивую информацию в областях, с которыми они немного знакомы»,

— говорится в докладе Microsoft.

Несмотря на невозможность исключить галлюцинации генеративного ИИ, Пентагон начал исследование его применения в военных целях.

Американские эксперты, похоже не знакомы с выводами, сделанными более двух десятков лет выдающимся российским ученым Сергеем Павловичем Расторгуевым, который в своей монографии «Цель как криптограмма. Криптоанализ синтетических целей» указал: «На сегодняшний день для мира компьютерных программ обретение самостоятельности стало свершившимся фактом». По мере усложнения программного продукта «системное программное обеспечение начинает жить своей жизнью, находя цель в себе самом». То, что Расторгуев назвал самостоятельностью компьютерных программ, современные американские аналитики называют «галлюцинациями» генеративного ИИ, происхождение которых им неизвестно.

Однако, недавний инцидент, когда в ходе проведения армией США компьютерной симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора, условно «убил» оператора, как можно предположить связан именно с непредсказуемой «галлюцинацией» управлявшего им ИИ.

В Пентагоне вступили на крайне опасную и чреватую восстание военных машин почву эскалации гонки компьютерных вооружений.

Но что будут делать американские военные стратеги, если их потенциальные противники найдут способ управлять «галлюцинациями» пентагоновских боевых дронов, которые в таком случае станут наносить удары по своим хозяевам?

Ответа на этот риторический вопрос в Пентагоне не только не знают, там даже не предвидят возможных последствий своих авантюристических прожектов.

Владимир Прохватилов, старший научный сотрудник Академии военных наук