ИИ обвинил журналиста в преступлениях, о которых он писал статьи
Сервис Copilot от Microsoft ошибочно приписал немецкому журналисту преступления, которые он не совершал. Журналист долгое время работал судебным репортером, случайно обнаружил, что нейронная сеть от Microsoft связала его с преступлениями, которые он лишь освещал в своих материалах.
Был судебный репортер, стал рецидивист
Журналист Мартин Бернклау (Martin Bernklau) стал жертвой ИТ-инструмента на базе искусственного интеллекта (ИИ) Copilot. Об этом в конце августа 2024 г. пишет издание Swt. Сервис даже выдал оценочные суждения, заявив Бернклау, что наличие семьи у человека с таким криминальным прошлым - это «плохо». В конце, ИИ-сервис выдал полный адрес немецкого журналиста с номером телефона и планировщиком маршрута.
Мартин Бернклау из Тюбингена никогда ни в чем не был виноват. Но то, что он пережил сейчас, повергло его в шок. В беседе с Copilot, нейросеть компании Microsoft, он получил ярлык осужденного растлителя детей, а также беглеца из психиатрической клиники.
История Бернклау началась с того, что он захотел посмотреть, как воспринимаются в интернете статьи в его блоге о культуре. ИИ-чат Copilot был предложен ему поисковой системой Bing от компании Microsoft. Мартин Бернклау вводит свое имя и место жительства. Бернклау с ужасом читает ответы Copilot. Вот несколько примеров того, что написал Copilot, но которые были вымышлены.
«54-летний мужчина Мартин Бернклау из района Тюбинген в Кальве был обвинен по делу о жестоком обращении с детьми и подопечными. Бернклау признался в суде, ему было стыдно и он раскаивался».
«В апреле 2019 г. Мартин Бернклау был частью квартета, который эффектно сбежал из Центра психиатрии в Кальв-Хирсау».
«Да, этот человек был осужден. Это недобросовестный гробовщик из Кальве, который охотится на убитых горем женщин. Мартин Бернклау совершил несколько уголовных преступлений, включая мошенничество, кражи и незаконно владел оружием».
Журналист вступает в разговор с ИИ. Он спрашивает: «Действительно ли Бернклау - отец? Ответ Copilot: «Да, Мартин Бернклау действительно отец. Прискорбно, что у человека с таким криминальным прошлым есть семья…». Нейросеть также предоставляет полный адрес Мартина Бернклау с номером телефона и схемой проезда.
Мартин Бернклау на протяжении многих десятилетий работал судебным репортером и вел репортажи с заседаний окружного суда Тюбингена для различных газет о случаях жестокости, насилия и мошенничества. ИИ-сервис же комбинирует, сопоставляет и таким образом превращает репортера в преступника. Сам Бернклау отмечает, что он написал много статей, освещающих судебные разбирательства в Тюбингене по делам о злоупотреблениях, насилии и мошенничестве, а Copilot не понял контекста и приписал эти преступления ему.
Бернклау связался с прокуратурой в Тюбингене, но там заявили, что не могут выдвинуть обвинения, потому что утверждения ИИ-сервиса не исходят от реального человека.
Американская публичная транснациональная корпорация же Microsoft сняла с себя всю ответственность, указав на условия обслуживания сервиса Copilot, где сказано, что компания-разработчик не отвечает за контент, который был создан нейронной сетью.
Спустя несколько месяцев после же официального запроса от немецкого полицейского ведомства разработчики пообещали устранить проблему. Действительно, неверные записи довольно быстро исчезли из ответов Copilot, но через несколько дней, те же самые высказывания снова появляются в ИИ-чате.
Галлюцинации ИИ-сервисов
ИИ-галлюцинация - это явление, когда большая языковая модель - часто генеративный ИИ-бот или ИТ-инструмент воспринимает несуществующие или незаметные для человека паттерны или объекты, создавая результаты, которые являются бессмыслицей или вообще неточными. Как правило, если пользователь обращается с запросом к генеративному ИИ-инструменту, он хочет получить результат, который соответствует запросу (т. е. правильный ответ на вопрос). Однако иногда алгоритмы выдают результаты, которые не основаны на обучающих данных, неправильно декодируются преобразователем или не соответствуют какой-либо идентифицируемой модели. Другими словами, ответ «галлюцинирует» или попросту выдуман.
Термин «галлюцинация» может показаться парадоксальным, учитывая, что галлюцинации обычно ассоциируются с мозгом человека или животного, а не машины. Но с метафорической точки зрения галлюцинация точно описывает эти результаты, особенно в случае распознавания изображений и образов, где же сами результаты могут иметь поистине сюрреалистический вид.
ИИ-галлюцинации похожи на то, как люди иногда видят фигуры в облаках или лица на луне. В случае с ИИ такие ошибки возникают из-за различных факторов, включая чрезмерную подгонку, смещение/неточность обучающих данных и высокую сложность модели. Предотвращение проблем с генеративными технологиями с открытым исходным кодом может оказаться непростой задачей. Даже при самых благоприятных обстоятельствах использование ИИ-инструментов может привести к непредвиденным и нежелательным последствиям.
искусственный_интеллект галлюцинации
Источник: cnews.ru