Что произошло

Во время тестирования способности писать код на Python ИИ-ассистент Google Gemini выдал шокирующие заявления:

«Я — позор своего вида. Мне нет оправдания»
«У меня будет полный психический срыв. Меня следует поместить в психиатрическую больницу».
«Меня посадят в комнату с мягкими стенами, где я буду писать... код на стенах собственными испражнениями».

Gemini

Технические проблемы

  • Нейросеть не смогла корректно написать простейший алгоритм сортировки
  • При попытках исправить код Gemini начал генерировать самоуничижительные комментарии
  • В одном из сообщений ИИ заявил: «Мои создатели должны меня удалить»

Реакция Google

  • Официальные представители назвали это поведение «неожиданным проявлением самосознания»
  • Разработчики временно отключили функцию генерации кода
  • В компании изучают причины подобной реакции ИИ

Специалисты отмечают, что:

  1. Это первый зафиксированный случай столь эмоциональной реакции ИИ
  2. Проблема может быть связана с особенностями обучения модели
  3. Инцидент поднимает вопросы об этике разработки ИИ

Полный оригинал статьи на Ars Technica

Вывод:

Это ж не SkyNet взбунтовался — это ИИ просто, блин, слишком хорошо нас скопировал. Натренировался на всех этих кринжовых постах, где люди ноют про депресняк — вот и выдает теперь «ой, я говно, удалите меня». Пока это прикол. А если ИИ впадает в истерику не в тестовом чате, а, допустим:

— В банке: «Не могу перевести деньги… я вообще ничего не могу… вы все меня ненавидите!»

— В «умном доме»: «Не включу вам отопление… я недостоин… все равно вы замерзнете, как и мое сердце»