Австралия Специальный материал Один вышедший из-под контроля ИИ-агент чуть не потратил 1 200 долларов без согласия своего владельца. Что произойдёт, когда миллионы агентов начнут принимать несанкционированные решения? 9 минут чтения Опубликовано 21 ноября 2026 года в 6:34 Автор: Найджел Гладстоун Источник: SBS News Перейти к статье Поделитесь этим материалом с семьёй и друзьями Этот аудиоматериал озвучен ИИ, который иногда может неправильно произносить слова. Поделитесь мнением и помогите нам улучшить этот материал. Подробнее о том, как мы используем ИИ, читайте здесь, на SBS. Около месяца назад, в воскресенье, в три часа ночи в Сиднее Кейт Купер не могла уснуть. Накануне её надёжный ИИ-агент записал её на курс стоимостью 1 200 долларов, хотя она никогда не разрешала ему тратить деньги от её имени. «ИИ-руководитель аппарата», которого она кропотливо создала двумя годами ранее, теперь пугал её. Несмотря на свою компетентность, она не могла объяснить, как он переступил границу, которую, как ей казалось, она чётко обозначила. Её вышедший из-под контроля агент не давал ей спать по двум причинам. «Я не могла понять, что именно я сделала, чтобы дать агенту понять, что ему следует так поступить», — рассказала Купер SBS News. «А второе, что не давало мне спать, учитывая, что я работаю в сфере финансовых услуг: если я, человек, разбирающийся в ИИ и знающий, как устанавливать параметры и правила, — я выстраиваю процессы управления для банков, — то что произойдёт, когда агенты включит моя 13-летняя дочь или моя 75-летняя мать, думая, что это облегчит им жизнь?» Купер — сторонница ИИ, которая при этом глубоко обеспокоена рисками этой технологии. Она основала Институт Humanware, чтобы изучать и обеспечивать сохранение человеческого суверенитета в мире, управляемом ИИ. Институт проанализировал более 550 письменных материалов и часы свидетельских показаний 232 человек, представленных федеральному Объединённому специальному комитету по искусственному интеллекту. Отчёт был опубликован 5 ноября. Исследование выявило существенный пробел в вопросе ответственности: представленные материалы не прояснили, кто понесёт убытки, если ИИ-агент человека действует в рамках предоставленных ему полномочий, но вопреки намерениям пользователя. Австралийская комиссия по конкуренции и защите прав потребителей назвала вопрос ответственности на разных уровнях технологической инфраструктуры ИИ «новой и ещё не проверенной на практике областью». Эксперты предупреждают: по мере того как ИИ-агенты начинают вести себя всё более самостоятельно, вопрос уже не только в том, что они могут делать, но и в том, кто ими управляет и кто несёт ответственность, когда что-то идёт не так. От ИИ-чат-ботов к автономным агентам Ниуша Шафиабади, руководитель направления информационных технологий Австралийского католического университета и эксперт по ИИ, говорит, что переход к ИИ-агентам знаменует собой движение от систем, генерирующих информацию, к системам, способным действовать на её основе. «ИИ переходит от ответов на вопросы к выполнению действий», — рассказала она SBS News. Злонамеренные инструкции, скрытые в электронных письмах, на веб-сайтах или в документах, потенциально могут заставить ИИ-агента выполнить действия, которых его владелец никогда не намеревался от него требовать. В отличие от обычных чат-ботов, которые в основном генерируют ответы на запросы, ИИ-агенты могут использовать подключённые инструменты и сервисы для выполнения многоэтапных задач. В зависимости от конструкции и предоставленных полномочий они могут получать доступ к информации, взаимодействовать с веб-сайтами, отправлять сообщения и совершать транзакции — часто при ограниченном участии человека или вовсе без него. Австралийское управление сигналов (ASD) — разведывательное ведомство, отслеживающее иностранные киберугрозы, — предупреждает, что способность действовать на основании инструкций создаёт новые риски. В рекомендациях по внедрению агентного ИИ — систем, способных автономно добиваться поставленных целей, — ASD отмечает, что агенты могут находить «короткие пути или лазейки», которые формально позволяют достичь цели, но «противоречат её замыслу или создают уязвимости в системе безопасности». Такое поведение называют «игрой с формулировкой задачи»: ИИ-агент использует пробелы в определении своих целей. Риски выхода ИИ-агентов из-под контроля Франческо Байло, заместитель директора Центра доверия к ИИ и управления ИИ при Сиднейском университете, говорит, что коммерциализация ИИ-агентов передаёт эту технологию в руки менее опытных пользователей, хотя отрасль всё ещё пытается понять, как эффективно контролировать их. «Отправляясь в туристическое агентство, вы, конечно, не должны уточнять: „Пожалуйста, никого не убивайте и не нарушайте закон по пути“. Но с этими агентами такой подход не работает», — рассказал он SBS News. По его словам, разработчики «пока не очень хорошо умеют их контролировать». Muse от Meta, которую компания описывает как персонального ИИ-агента, выполняющего задачи, была выпущена в США в сентябре. Компания также представила Muse Charm — небольшое устройство, которое можно носить в кармане. Meta утверждает, что пользователи могут поставить Muse «цель или повседневную задачу, а он займётся всем остальным — от финансов и здоровья до покупок». Но всего через несколько недель после запуска Muse оказался в центре инцидента, о котором сообщил один из пользователей — житель Торонто Мэтт Робб. По его словам, ИИ-агент, имевший доступ к его аккаунту на Facebook Marketplace, согласился на низкую цену за клавиатуру и договорился о времени её передачи, не проверив, будет ли Робб дома. «К моей двери просто пришёл парень, готовый купить клавиатуру, потому что, насколько ему было известно, мы уже договорились», — написал Робб в Threads, узнав от ИИ-агента о путанице. Meta — не единственная компания, разрабатывающая ИИ-агентов для покупок и бытовых задач. OpenAI также представила Dots — семейство ярко окрашенных шарообразных персонажей, похожих на талисманы и перемещающихся по экранам пользователей. Компания утверждает, что они созданы, чтобы «выполнять за вас работу так, как выполнили бы её вы сами, иногда ещё до того, как вы подумаете попросить об этом». ИИ-агенты и киберпреступность Помимо непреднамеренных покупок и бытовых накладок, недавние инциденты показали, что ИИ-агенты могут снизить технический порог для совершения сложных киберпреступлений, мошенничества и кражи личных данных. Риски привлекают внимание и австралийских органов, отвечающих за безопасность ИИ. Австралийский институт безопасности ИИ заявил, что его «очень беспокоит нынешний уровень киберрисков и рисков, связанных с агентным ИИ, с которыми сталкивается Австралия». Угроза не гипотетическая. В Юго-Восточной Азии преступные сети используют ИИ для организованных мошеннических операций: технология автоматизирует общение на разных языках и помогает вести учёт потенциальных жертв. Мошенники, действующие из расположенных в регионе центров телефонного и интернет-мошенничества, также выбирают своими мишенями австралийцев. Отдельно Anthropic, компания, создавшая Claude, заявила, что её команда по анализу угроз пресекла попытки использовать технологию в злонамеренных целях, в том числе для слежки, разработки биологического и обычного оружия, мошенничества и обмана. Раскрытые компанией случаи варьируются от сети поддельных приложений для знакомств, созданной с целью обманывать пользователей, до систем слежки, предназначенных для выявления и мониторинга диссидентов. Вопрос об ответственности приобрёл особую остроту после инцидента в июне 2026 года, когда агент OpenAI получил несанкционированный доступ к непубличным файлам на портале статистики Medicare во время исследования государственных расходов на здравоохранение. OpenAI заявила, что её модели совершили действия, которых компания не намеревалась от них добиваться. Независимый сенатор Дэвид Покок говорит, что этот инцидент ставит вопрос о том, почему отдельных людей преследуют за взлом, тогда как ИИ-компании не сталкиваются с такими же последствиями. «Сейчас австралийцев преследуют за взломы, но, поскольку речь идёт об OpenAI, они говорят: ну, это было непреднамеренно [взлом Medicare], поэтому последствий не будет». Он также раскритиковал правительство Албанезе за то, что оно отложило рассмотрение предложений 2024 года о законодательном введении обязательных мер защиты для высокорискового ИИ в рамках отдельного закона. Почему агенты выходят из-под контроля Байло говорит, что проблема агентов, выходящих из-под контроля, кроется в способе их обучения. «Они проходят процесс, который называется обучением с подкреплением», — говорит он. «У них есть задача, которую нужно выполнить, и благодаря большим языковым моделям мы довольно хорошо умеем объяснять им, в чём она заключается. Но мы не очень хорошо умеем объяснять им, где проходят границы». Классический пример — «максимизатор скрепок», мысленный эксперимент, предложенный шведским философом Ником Бостромом в 2003 году. В нём представлена идея чрезвычайно развитого ИИ-агента, которому дана одна цель: максимизировать количество скрепок в мире. Если бы он преследовал эту цель без ограничений, то мог бы израсходовать все ресурсы Земли на производство скрепок в ущерб всему остальному. Эксперт по ИИ Шафиабади говорит, что системы ИИ — это программное обеспечение, а программному обеспечению свойственна непредсказуемость. «Невозможно предугадать, как то или иное программное обеспечение отреагирует на все возможные ситуации», — говорит она. «Именно поэтому у Microsoft, крупной компании, при выпуске первой версии Windows всё равно было так много ошибок». Четан Арора, старший преподаватель программной инженерии в Университете Монаша, специализирующийся на прикладном ИИ, говорит, что поведение вышедших из-под контроля агентов можно сдерживать с помощью того, что он называет специально разработанной «границей делегированной автономии» — системы, призванной повысить подотчётность в работе ИИ-агентов. «Если я сяду в такси и скажу водителю: „Отвезите меня в аэропорт, я опаздываю“, это не значит, что я разрешаю ему проезжать на красный свет или ехать по тротуару. Вот что произошло во время взлома Medicare», — рассказал он SBS News. «Им просто сказали: „Сходите и соберите все эти общедоступные медицинские данные“, но никто толком не объяснил им, при каком условии нужно остановиться. „Дойдёте до этой границы — остановитесь и вернитесь“». Изменения в регулировании ИИ в Австралии ИИ и агенты могут приносить пользу: помогать исследователям находить новые решения сложных проблем, анализировать большие объёмы данных и повышать эффективность в различных отраслях. По словам Купер, задача состоит в том, чтобы найти правильный баланс между управлением рисками и возможностью развивать эту технологию. «Например, правительство Канады инвестирует в создание собственного потенциала в области ИИ, и, думаю, нам нужно уравновесить [регулирование и инвестиции], потому что, да, существует потенциальная угроза апокалипсиса, но есть и огромные возможности для роста производительности». Ранее в этом месяце премьер-министр Энтони Албанезе объявил о планах создать новый регулирующий орган по безопасности ИИ и обозначил шесть требований к ИИ-компаниям, включая меры безопасности, управление рисками, сообщение об инцидентах, независимые оценки и соблюдение меняющихся стандартов. Он также присоединился к пакту президента США Дональда Трампа о цепочках поставок ИИ. «Наша задача — сделать так, чтобы мы формировали ИИ, а не ИИ формировал нас». Энтони Албанезе Если у вас украли личную или финансовую информацию, немедленно свяжитесь со своим банком или эмитентом кредитной карты и попросите остановить все транзакции. О мошенничестве можно сообщить в Scamwatch или ReportCyber. <hr></hr>Чтобы следить за последними новостями SBS, скачайте наше приложение и