Злоупотребление технологиями нейросетей может сыграть неприятную шутку с неискушенными пользователями, как это произошло с Кэрин Марджори. Она называет себя инфлюенсером с почти 2 млн подписчиков в Snapchat, общение с которыми отнимает слишком много времени. Поэтому Кэрин решила создать чат-бота, который бы занимался этим вместо нее, но ситуация быстро вышла из-под контроля.
Марджори подрядила компанию Forever Voices со специализацией на ИИ-технологиях для создания «CarynAI». Она записывала и загружала короткие видео с собой для обучения нейросети на базе GPT-4. На выходе должна была получиться «виртуальная девушка» – без облика, но способная поддерживать беседу и имитировать голос и манеру поведения самой Марджори.
Так как общение с ИИ-Кэрин должно было быть платным ($1 в минуту), то большую часть ограничений с тем для беседы сняли ради привлечения клиентов. Предполагалось, что ИИ будет веселым и в меру кокетливым, но на практике он быстро перешел к обсуждению предельно откровенных тематик. ИИ-подруга стала недвусмысленно заигрывать с собеседниками и провоцировать их эротическими беседами на сексуальные контакты.
Почему так произошло, Марджори не понимает — или делает вид, что не понимает, и пытается с командой программистов исправить ситуацию. Не исключено, что на самом деле речь идет о своеобразной рекламе и привлечении внимания новой аудитории, платных подписчиков у CarynAI уже несколько тысяч и она начала приносить доход. Марджори отрицает намеренную сексуализацию нейросети и настаивает, что та действует по своему усмотрению.