Недавнее исследование американских ученых выявило, что современные модели искусственного интеллекта (ИИ), известные как большие языковые модели (LLM), склонны вводить пользователей в заблуждение. Существенно помогая в сборе и обработке данных, они демонстрируют недостаточную точность в интерпретации этих данных.
Распространение ИИ способствовало включению этих инструментов в проект «Анализ и картирование политик в отношении новых инфекционных заболеваний» для стран – членов ООН. Целью было сокращение человеческих ресурсов, привлекаемых для изучения больших объемов медицинских данных. Результатом исследования, однако, стали совсем другие данные.
Исследователи в процессе работы над проектом оценили эффективность и точность применения генеративного ИИ. Они сравнили ответы, полученные с помощью ИИ и эксперта в изучаемой области. ИИ, использованный в исследовании, повысил эффективность и сократил время сбора данных почти на 90%.
Соответствие оценок эксперта и ИИ по основным изучаемым категориям достигало 78%, но падало до 63% для некоторых стран. Ошибочность оценок ИИ превышала 50% для стран, не использующих в официальных документах английский язык. Как отметили ученые, наибольшее соответствие объясняется тем, что страны, которые используют английский язык в качестве официального, издают правительственные документы на английском языке.
Исследование показало, что ИИ, являясь полезным инструментом сбора данных, нуждается в дальнейшем совершенствовании. Особенно для интерпретации контекстно-зависимой информации на языках, отличных от английского.
