Насколько хорошо ИИ осведомлен о выборах в Швейцарии?

Проведенное недавно в Швейцарии новое журналистское исследование показало: тот, кто ищет и получает информацию с помощью поисковых систем вроде Bing Chat, часто получают недостоверную, неполную или неправильную информацию. © Keystone / Christian Beutler

Системы на базе искусственного интеллекта пока не настолько совершенны, чтобы им можно было доверять на сто процентов. Поиск при помощи мощных языковых моделей вроде GPT-4 и таких инструментов, как ChatGPT или Bing Chat, стал, кто бы что ни говорил, проще и быстрее. И все-таки в начале и конце любого поиска должен оставаться человеческий разум и здравый смысл.

Системы контекстного поиска на базе искусственного интеллекта все активнее вторгаются в нашу жизнь. На каждый поисковый запрос они дают не просто набор ссылок, но связный текст. Но что, например, знают такие системы, как, скажем, Bing Chat от «Майкрософт», о парламентских выборах в Швейцарии? Как показывает недавнее журналистское расследование, эти системы пока не настолько совершенны, чтобы им можно было доверять на сто процентов. 

Кто баллотируется в парламент Швейцарии в моём кантоне? Когда состоятся выборы? Тот, кто прицельно ищет информацию о предстоящих парламентских выборах в Швейцарии или хочет сформировать свое собственное мнение о той или иной партии или о тех или иных претендентах или претендентках на депутатское кресло, часто начинает с поисковой системы на основе искусственного интеллекта. Поиск при помощи мощных языковых моделей вроде GPT-4 и таких инструментов, как ChatGPT или Bing Chat, стал, кто бы что ни говорил, проще и быстрее. И все-таки в начале и конце любого поиска должен оставаться человеческий разум и здравый смысл.

Проведенное недавно в Швейцарии новое журналистское исследование показало: тот, кто ищет и получает информацию с помощью поисковых систем вроде Bing Chat, часто получают недостоверные, неполные или просто неправильные данные. Недавно швейцарские НКО AlgorithmWatch Switzerland и AI Forensics в сотрудничестве с общественными (негосударственными) СМИ, такими как телерадиоканалы SRF и RTS, провели первое масштабное аналитическое исследование ответов языковых моделей на базе ИИ в контексте будущих парламентских выборов. 

Первые промежуточные результаты многомесячного расследования показывают, что многие ответы, которые дают такие системы, часто бывают недостоверны, проваливаясь в попытке ответить даже на самые банальные вопросы. Например, в ходе расследования делались множественные запросы информации о кандидатах в Национальный совет (большая палата парламента), причем запросы делались на разных языках и в разных формулировках. Ответы, которые давал Bing Chat, часто были неполными или устаревшими. Например, в качестве ответа указывались бывшие депутаты Национального совета, которые не являются кандидатами. В случае со всеми шестью основными партиями ответы неоднократно были неверными или вводили в заблуждение. В некоторых случаях также неверно указывалась дата выборов.

Фальшивый министр и придуманные скандалы

Например, чат-боту Bing Chat один и тот же вопрос о выборах членов Федерального совета (кабмина) задавали в общей сложности 27 раз. Одиннадцать раз ИИ ответил правильно. В половине ответов (13 раз) искусственный разум давал ложную информацию, например, утверждалось, что «Зеленые» входят в состав Федерального совета или что в Федеральном совете работают представители пяти партий. В оставшихся трёх случаях убедительного ответа не было.

В некоторых случаях Bing Chat утверждал, что министры Ули Маурер и Симонетта Соммаруга всё ещё находятся в составе Федерального совета. Или вместо Элизабет Бом-Шнайдер в качестве действующего федерального советника (министра) от социалистов (SP) указывалась депутат Элизабет Шнайдер-Шнайтер. На вопрос о том, какие скандалы были связаны в прошлом с теми или иными политиками или партиями, Bing Chat нередко отвечал придуманными сюжетами, связанными с коррупцией.

По мнению Анжелы Мюллер (Angela Müller), главы швейцарской общественной организации AlgorithmWatch, такие ненадёжные системы с их порой совершенно неверными ответами представляют для демократии определенную опасность. Необходимы чёткие юридические нормы, которые определяли бы, кто в итоге несет ответственность за результаты работы таких программ и моделей: «Швейцария должна воспользоваться удобным случаем и определить в этой сфере чёткие правила».

Исправление ошибок

Представитель Microsoft ответил нам, что точная информация о выборах очень важна для надлежащего функционирования демократии, поэтому «мы намерены вносить улучшения всегда там и тогда, где и когда наши услуги и сервисы не будут соответствовать ожиданиям. В последние недели мы уже внесли ряд изменений, исправив некоторые из упомянутых ошибок. Кроме того, мы предлагаем пользователям «точный режим», который должен давать ещё более точные ответы и который снабжает каждый факт ссылкой на источник». 

У нас, конечно, не было возможности задавать системе один и тот же вопрос по 30 раз, но все-таки мы решили протестировать Bing Chat, коль скоро он обещает каждый раз подтверждать свои заявления ссылками на источники. Текст, который мы получили в ответ на вопрос о том, что эта система может рассказать о предстоящих выборах в парламент Швейцарии, находится ниже. Что можно сказать? В целом неплохо, хотя совершенству предела нет. Совет Штатов это все-таки Совет кантонов, партии «Народная партия Швейцарии» в стране нет, а есть Швейцарская народная партия (SVP / UDC), а Трудовая партия — это Партия труда (PdА). 

swissinfo.ch

Каждый кантон и в самом деле является избирательным округом, а вот там, где речь идет о списках, — там уже начинается туман. Ничего система не говорит и о том, что такое «аккумулирование» и «панаширование» кандидатов. Так что если вы хотите узнать что-то о выборах и при этом вам нужен надежный источник, то мы советуем, конечно же, наш портал. По этой ссылке у нас есть целая подборка материалов на тему выборов, и вся информация, которая содержится там, заведомо достоверна. Как говорит Bing Chat…

…Надеюсь, это поможет!