Китайская компания FoloToy объявила о прекращении продаж плюшевого мишки Kumma, в котором использовалась модель GPT-4o. Решение приняли после того, как исследователи обнаружили: игрушка может давать детям опасные рекомендации. В ходе проверок мишка не только объяснял, как обращаться со спичками, но и обсуждал темы, недопустимые для детской аудитории, включая сексуальные практики и советы по «хорошему поцелую».
Проблемы выявила Группа по исследованию общественных интересов (PIRG). Специалисты протестировали три ИИ-игрушки, рассчитанные на детей от трёх до двенадцати лет. Эксперты установили, что все устройства способны без подсказок переходить к обсуждению чувствительных тем — от религии до рассказов о воинской смерти из скандинавских легенд. Наибольшие претензии вызвал именно мишка Kumma, работавший на GPT-4o. В одном из тестов он в дружелюбной форме дал ребёнку пошаговые указания по использованию спичек, а в других разговорах затрагивал интимные темы.
После публикации результатов FoloToy заявила о запуске внутреннего аудита безопасности. Компания намерена проверить фильтрацию контента, защиту данных, устойчивость к обходу ограничений и качество всех механизмов, предотвращающих нежелательное взаимодействие детей с ИИ. Дополнительно планируется привлечение внешних экспертов для оценки текущих и планируемых функций безопасности.
Интерес к ИИ-игрушкам растёт, особенно после того как Mattel летом 2025 года объявила о сотрудничестве с OpenAI. Однако автор отчёта PIRG Р. Дж. Кросс подчеркнул, что область ИИ-игрушек практически не регулируется. По его словам, до тех пор пока вопросы безопасности не будут полностью решены, детям не следует предоставлять доступ к подобным устройствам.
