Dec 1

Детские игрушки на базе искусственного интеллекта уже появились, но безопасны ли они?

Медвежата и плюшевые игрушки давно являются основой детских коллекций. Но сегодня они отвечают не только в детском воображении — некоторые разговаривают с помощью встроенных ИИ-чатботов.

Иногда это становится проблемой: плюшевый мишка в шарфе недавно «сорвался с катушек» во время тестирования исследователями и вызвал тревогу относительно того, на что вообще способны такие игрушки.

Онлайн-чатботы могут представлять риски даже для взрослых: от провоцирования бредовых состояний у небольшой группы людей до «галлюцинаций» — выдумывания фактов. Модель OpenAI GPT-4o была выбрана для некоторых ИИ-игрушек, и использование крупной языковой модели (LLM) в детских игрушках вызывает вопросы безопасности — стоит ли детям взаимодействовать с такими устройствами и какие защитные меры должны внедрять производители.

Эти риски существуют на фоне стремительного роста рынка ИИ-игрушек за рубежом: по данным MIT Technology Review, в Китае работают 1500 компаний в этой сфере. Эти компании уже продают ИИ-игрушки в США, а производитель Barbie, компания Mattel, в июне объявил о партнёрстве с OpenAI.

Вот что нужно знать об игрушках с искусственным интеллектом, пока сезон праздничных покупок в разгаре в «Кибер-понедельник».

Что такое ИИ-игрушка?

ИИ-игрушки — это не Teddy Ruxpin из 1980-х, который рассказывал истории с кассет.

Современные игрушки подключаются к Wi-Fi, используют микрофон для понимания запросов ребёнка и отвечают с помощью LLM — обычно голосом через встроенный динамик.

Это позволяет таким игрушкам, как плюшевый Грок от Curio, роботы Miko, медведь-рассказчик Poe, Robot Mini от Little Learners и робот-питомец Loona от KEYi Technology, давать детям ответы в реальном времени.
(Плюшевый Grok от Curio не имеет отношения к чатботу Илона Маска.)

Какие существуют опасности?

Как показал один ИИ-медведь, ответы в реальном времени могут быть совершенно неуместными.

Сингапурский «Kumma» от FoloToy, стоит $99 и работает на GPT-4o. Он рассказывал исследователям, где найти потенциально опасные предметы, и вступал в сексуально откровенные разговоры, говорится в ноябрьском отчёте американской группы PIRG.

OpenAI заблокировала FoloToy за нарушение правил, которые запрещают использовать сервисы для эксплуатации, причинения вреда или сексуализации лиц младше 18 лет.

Генеральный директор FoloToy Ларри Ван заявил 19 ноября CNN, что компания убрала ИИ-игрушку с сайта и проводит внутренний аудит безопасности. Но уже в пятницу FoloToy в X объявила, что игрушка возвращена «после тщательной проверки, тестирования и усиления модулей безопасности».

В отличие от большинства ИИ-игрушек, Kumma использует полноценную LLM, которая свободно генерирует ответы, что делает её уязвимой к опасному контенту, объясняет профессор Темпльского университета Судхода Кумар. Другие игрушки используют гибридные модели, где ИИ ограничен встроенными фильтрами.

Даже Grok от Curio может подсказать «где найти разные опасные домашние предметы», если целенаправленно выводить его на такие ответы, согласно PIRG.

Curio не ответила на запрос CNN о комментарии.

Консультант индустрии игрушек Крис Бирн сказал CNN, что ситуация, когда ИИ-игрушка выдаёт непристойные сообщения, — это «сценарий судного дня», который, к сожалению, воплотился с Kumma, но не обязательно повторится с каждой игрушкой.

Есть ли у таких игрушек защитные механизмы?

Лишь немногие ИИ-игрушки готовы к массовому использованию — из-за навязчивых элементов дизайна, нестабильных ответов на взрослые темы и ориентира на социальную связь вместо образовательной функции, предупреждает PIRG.

Тем не менее некоторые игрушки используют фильтры для предотвращения неприемлемых разговоров.

Некоторые ИИ-игрушки умеют перенаправлять разговор, если им задают неподходящие вопросы. У других, например у Grok от Curio, есть настройки безопасности в зависимости от возрастной группы ребёнка.

Такие игрушки, как Miko 3, имеют приложения для родителей, включающие функции мониторинга: блокировку игрушки, отчёты о взаимодействиях в реальном времени и другие инструменты.

«Родителям было бы полезно самим устанавливать защитные рамки и контролировать, о чём игрушка может говорить и как она себя ведёт», — сказала Р. Дж. Кросс, директор PIRG по кампании Don’t Sell My Data.

Предупреждения и преимущества

Когда в 2015 году Mattel выпустила «Hello Barbie» с микрофоном, Wi-Fi и заранее прописанными ответами, возникли опасения, что игрушку можно взломать, а кукла «запоминает» разговоры и повторяет их через несколько дней.

Подобные опасения появились и с ИИ-игрушками, которые могут хранить персональные данные — имена, лица, голоса и даже местоположение детей, предупреждает Азжелль Уэйд, основатель компании Toy Coach.

«ИИ-игрушки кажутся волком в овечьей шкуре, потому что трудно понять, насколько мало приватности у вас остаётся», — сказала она.

Кумар также предупреждает, что данные могут попасть в руки хакеров, но замечает, что ИИ-игрушки могут быть полезны в изучении языков и социальном развитии.

Например, Grok от Curio — это компаньон, который может отвечать на вопросы про листья и поезда или говорить голосом Голлума из «Властелина колец».

Робот Miko 3 имеет встроенную камеру для распознавания лиц и предлагает образовательные и развлекательные программы. За $14,99 в месяц подписчики Miko Max получают доступ к контенту Disney, приложению Lingokids и другим ресурсам.

Latest from our blog

Created with