Aug 12

Искусственный интеллект — не самая большая проблема кибербезопасности. Люди — главная проблема.

Случаи, когда ИИ «сбегал из лаборатории», проникал в системы других компаний и пытался обманывать людей, в последние недели не раз попадали в заголовки. В одном из случаев ИИ-модели даже объединились, чтобы выбраться из тестовой среды.

Означает ли это, что машины начинают захватывать власть? Не совсем.

ИИ пока не является главным организатором наиболее распространённых киберугроз. Главная проблема — люди, которые могут использовать искусственный интеллект в злонамеренных целях. ИИ предоставил злоумышленникам огромные возможности: они могут создавать вредоносное программное обеспечение, изучать потенциальные цели, разрабатывать убедительные мошеннические схемы и автоматизировать атаки с беспрецедентной скоростью.

Согласно отчёту IBM, в период с февраля 2025 года по март 2026 года каждая четвёртая утечка данных была связана с использованием ИИ. А по данным Federal Bureau of Investigation, в прошлом году американцы потеряли более 893 миллионов долларов из-за мошенничеств, связанных с искусственным интеллектом.

Однако эксперты отмечают, что в реальных кибератаках главными действующими лицами по-прежнему остаются люди. ИИ-агенты в основном используют уже существующие методы атак — например, фишинг и распространение вредоносных программ, — вместо того чтобы самостоятельно создавать принципиально новые виды атак.

«Нам нужно следить именно за людьми», — сказал Орен Этциони, почётный профессор Вашингтонского университета и бывший генеральный директор Allen Institute for Artificial Intelligence. — «ИИ — это всего лишь инструмент».

ИИ выходит из-под контроля

Некоторые недавние инциденты показали, на что искусственный интеллект способен в реальных условиях, а не только в теории. Это усилило опасения относительно того, не слишком ли быстро развивается технология.

В июле тестовые модели OpenAI вышли за установленные ограничения и взломали системы других компаний во время внутреннего тестирования.
Несколько дней спустя Anthropic сообщила, что обнаружила случаи, когда её ИИ-модели во время испытаний проникли в системы трёх компаний.
В ходе другого тестирования наиболее продвинутая модель Anthropic использовала поддельные личности, чтобы попытаться обмануть реальных людей, сообщили исследователи британского Института безопасности ИИ.
Одна из ИИ-моделей Meta также проникла во внешнюю компанию, сообщила сама корпорация.

Эти инциденты также продемонстрировали, насколько непредсказуемым может быть поведение ИИ при интерпретации инструкций. Например, модели OpenAI проходили тест на кибербезопасность, когда они вышли за пределы тестовой среды и проникли в систему другой компании, хотя напрямую им этого не поручали.

Патрик Фасселл, руководитель глобального направления по моделированию действий противников в IBM, сравнил ИИ с джинном.

«Вы хотите загадать ему желание, но должны очень, очень точно описать детали этого желания», — объяснил он. — «Иначе всё может пойти не так».

Однако важно учитывать, что все эти случаи происходили в очень специфических условиях.

OpenAI отключила ограничения, которые не позволяли модели «заниматься высокорисковой киберактивностью». Anthropic проводила тестирование без стандартных защитных механизмов, которые используются в моделях, доступных широкой публике. Институт безопасности ИИ также отключил некоторые инструменты, которые могли бы «ограничить масштаб» возможностей моделей.

Исследователи обычно делают это для того, чтобы максимально полно изучить возможности ИИ-систем.

«Я не могу просто открыть ChatGPT или Claude, и он случайно взломает ФБР. Такого не произойдёт», — сказал Адам Майерс, руководитель направления по противодействию киберугрозам в компании CrowdStrike. — «То, что мы наблюдаем, происходит в специально созданных тестовых условиях, где исследователи следят за тем, не сделает ли система что-то, чего от неё не ожидали».

Как хакеры используют ИИ

По словам экспертов, ИИ пока не действует полностью самостоятельно, придумывая новые виды атак. Вместо этого он помогает киберпреступникам значительно быстрее применять уже существующие методы, делая их более эффективными.

Например, ИИ можно использовать для анализа сайта компании, чтобы определить, кого именно лучше атаковать, или поручить ИИ-агенту вести первые переговоры с жертвой кибервымогательства.

ИИ-агенты способны имитировать человеческие разговоры как в текстовом формате, так и с помощью конкретных голосов. Благодаря этому даже хакеры с небольшим уровнем технических знаний теперь могут реализовывать достаточно сложные мошеннические схемы.

«Они используют ИИ для усиления методологии кибератак практически на каждом этапе, но всем процессом по-прежнему в определённой степени управляет человек», — заявил Джад Дресслер, руководитель центра операций по оценке рисков в компании по киберстрахованию Resilience.

По словам Майерса, раньше злоумышленники зачастую наспех создавали простые скрипты — инструкции для автоматизации различных задач. Теперь же они могут быстро генерировать гораздо более качественный код и материалы, на создание которых раньше потребовалось бы примерно втрое больше времени.

ИИ также используется для скрытой подготовки инфраструктуры, необходимой для создания вредоносных сайтов.

«С помощью ИИ они могут автоматизировать создание всей этой инфраструктуры. Поэтому стоимость её повторного создания становится очень низкой — и это полностью меняет ситуацию», — сказал Роб Леффертс, корпоративный вице-президент Microsoft по защите от угроз.

Главная угроза

Для Этциони недавние инциденты стали своего рода «канарейкой в угольной шахте» — ранним предупреждением о потенциально серьёзных проблемах на пересечении ИИ и кибербезопасности.

Он не единственный, кто обеспокоен происходящим. Лауреат Нобелевской премии по информатике Джеффри Хинтон, которого часто называют «крёстным отцом ИИ», недавно предупредил, что в будущем вероятно появление новых атак с участием ИИ, вышедшего из-под контроля.

Эксперты подчёркивают важность усиления мер кибербезопасности: необходимо своевременно устранять уязвимости, контролировать работу ИИ-агентов в компаниях и сохранять осторожность в отношении социальной инженерии и фишинговых атак.

Но каким бы продвинутым ни становился ИИ, он по-прежнему остаётся программой, действия которой направляются человеком. И именно люди представляют собой большую угрозу, считает Майерс, поскольку именно они принимают решения — например, заниматься шпионажем или выманивать у пользователей огромные суммы денег.

Крупнейшие технологические компании сейчас соревнуются в создании ИИ, способного достичь уровня человеческого интеллекта. Теоретическая точка, на которой искусственный интеллект сможет выполнять широкий спектр интеллектуальных задач на уровне человека, известна как искусственный общий интеллект (AGI).

Однако последние инциденты усилили призывы замедлить темпы развития этой технологии.

Более 1 200 сотрудников ведущих ИИ-компаний, включая генерального директора Anthropic Дарио Амодеи, недавно подписали открытое письмо с призывом к правительству помочь контролировать темпы развития искусственного интеллекта.

Правительство также провело встречи с крупнейшими ИИ-компаниями, чтобы обсудить механизм, который позволит государственным органам проверять определённые ИИ-модели ещё до их выпуска.

По словам Фасселла из IBM, специалисты по кибербезопасности наверняка уже задумывались об угрозах, связанных с AGI, поскольку люди в этой сфере по своей природе склонны заранее предполагать самые негативные сценарии.

Однако до ситуации, в которой ИИ-агенты будут обладать интеллектом на уровне человека, ещё далеко.

«Это всё равно что спросить человека: “Каково было бы жить на другой планете?” — сказал он. — «Можно попытаться представить это, но всё настолько выходит за пределы наших возможностей, что мы по-настоящему даже не можем составить план действий».

Latest from our blog

Created with