ИИ-чатботы хуже отвечают уязвимым пользователям – исследование MIT

Новые исследования показали, что крупные языковые модели (LLM), такие как GPT-4, Claude 3 Opus и Llama 3, могут давать менее точные и правдивые ответы пользователям со слабым знанием английского языка, с низким уровнем образования или не из США. Модели также чаще отказываются отвечать на вопросы этих пользователей и в некоторых случаях используют снисходительный тон.

Исследователи MIT выяснили, что снижение точности ответов наиболее заметно для тех, у кого одновременно низкий уровень образования и слабый английский. Кроме того, Claude 3 Opus хуже справлялся с вопросами пользователей из Ирана по сравнению с пользователями из США, даже при одинаковом образовании.

В некоторых случаях модели отказывались отвечать на вопросы для пользователей с низким образованием из Ирана или России, касающиеся таких тем, как ядерная энергетика или история. При этом для других пользователей они давали правильные ответы. Также, при отказе в ответе, модель могла имитировать неправильный английский или использовать преувеличенный диалект.

Результаты исследования показали, что поведение ИИ-моделей отражает существующие человеческие предубеждения. Это подчеркивает важность постоянной оценки и устранения систематических искажений в этих системах, чтобы избежать несправедливости и распространения дезинформации среди наиболее уязвимых групп пользователей.