Специалисты по информационным технологиям из университетов Принстона и Бата (Британия) обучили популярный алгоритм GloVe, который часто используется в проектах по машинному обучению, на корпусе текстов на английском языке, содержащих в сумме 840 миллиардов слов. Затем ученые разработали для машины аналог теста подсознательных ассоциаций. Этот разработанный в конце 1990-х в Вашингтонском университете тест активно используется в психологических и социологических исследованиях: в нем предлагается объединить в пары различные понятия и оценивается скорость принятия решений — чем быстрее человек связывает два понятия, тем ближе они для него. У GloVe вместо скорости реакции оценивали близость векторных моделей ассоциаций для каждого слова, которые создает алгоритм.
С помощью этого теста за всю историю его применения у людей нашли множество разных стереотипов и предпочтений. Например, цветы людям в целом приятнее насекомых, музыкальные инструменты приятнее оружия, молодых люди предпочитают пожилым, а худых — толстым. В данном случае удалось воспроизвести эти результаты на GloVe. Например, вслед за людьми машина сильнее ассоциировала женские имена с понятиями, связанными с семьей, например с «родителями» или «свадьбой», а мужские — с карьерой и профессиями. А имена, звучащие как афроамериканские, чаще, чем «европейские», ассоциировались с чем-то неприятным.
Один из разработчиков исходного «человеческого» теста, психолог из Вашингтонского университета Энтони Гринуолд в комментарии к статье пишет, что разработанный учеными «компьютерный» тест полезен не только для того, чтобы уличать роботов в расизме и сексизме. Например, он может помочь восстановить историю изменений человеческих стереотипов, проанализировав тексты, появившиеся еще до создания теста подсознательных ассоциаций. Скажем, в последние 15 лет тест подсознательных ассоциаций показывает медленное, но стабильное смягчение предубеждений против геев и лесбиянок, и анализ текстов мог бы помочь понять, когда именно возникла эта тенденция. Кроме того, тест создает новые возможности для проверки «спорной», по словам Гринуолда, гипотезы лингвистической относительности, также известной как гипотеза Сепира — Уорфа. Согласно этой гипотезе, именно язык и его особенности определяют мировоззрение и мышление его носителей.
Авторы статьи предупреждают, что по мере того, как технологии машинного обучения будут играть все более важную роль в принятии решений, риски закрепления неприятных особенностей мышления, с которыми сами люди пытаются бороться, возрастают. Уже сейчас в «сексизме» замечен онлайн-переводчик Google Translate: переводя предложения «он(а) врач» и «он(а) медсестра или медбрат» с гендерно нейтральных турецкого, финского, эстонского, венгерского и персидского на английский, он автоматически «назначает» врача мужчиной, а медсестру — женщиной.
«Если алгоритмы, используемые, например, для предварительного отбора резюме, будут перенимать культурные стереотипы, это приведет к несправедливым решениям», — пишут ученые. По их мнению, чтобы разрешить эту проблему, стоит разобраться, как прямо прописывать допустимое и недопустимое поведение машины.
«Надеюсь, задача „очистки“ решений искусственного интеллекта от влияния предрассудков и стереотипов окажется более решаемой, чем аналогичная и пока неразрешимая задача для людей», — пишет Гринуолд.
Исследование опубликовано в журнале Science.
С помощью этого теста за всю историю его применения у людей нашли множество разных стереотипов и предпочтений. Например, цветы людям в целом приятнее насекомых, музыкальные инструменты приятнее оружия, молодых люди предпочитают пожилым, а худых — толстым. В данном случае удалось воспроизвести эти результаты на GloVe. Например, вслед за людьми машина сильнее ассоциировала женские имена с понятиями, связанными с семьей, например с «родителями» или «свадьбой», а мужские — с карьерой и профессиями. А имена, звучащие как афроамериканские, чаще, чем «европейские», ассоциировались с чем-то неприятным.
Один из разработчиков исходного «человеческого» теста, психолог из Вашингтонского университета Энтони Гринуолд в комментарии к статье пишет, что разработанный учеными «компьютерный» тест полезен не только для того, чтобы уличать роботов в расизме и сексизме. Например, он может помочь восстановить историю изменений человеческих стереотипов, проанализировав тексты, появившиеся еще до создания теста подсознательных ассоциаций. Скажем, в последние 15 лет тест подсознательных ассоциаций показывает медленное, но стабильное смягчение предубеждений против геев и лесбиянок, и анализ текстов мог бы помочь понять, когда именно возникла эта тенденция. Кроме того, тест создает новые возможности для проверки «спорной», по словам Гринуолда, гипотезы лингвистической относительности, также известной как гипотеза Сепира — Уорфа. Согласно этой гипотезе, именно язык и его особенности определяют мировоззрение и мышление его носителей.
Авторы статьи предупреждают, что по мере того, как технологии машинного обучения будут играть все более важную роль в принятии решений, риски закрепления неприятных особенностей мышления, с которыми сами люди пытаются бороться, возрастают. Уже сейчас в «сексизме» замечен онлайн-переводчик Google Translate: переводя предложения «он(а) врач» и «он(а) медсестра или медбрат» с гендерно нейтральных турецкого, финского, эстонского, венгерского и персидского на английский, он автоматически «назначает» врача мужчиной, а медсестру — женщиной.
«Если алгоритмы, используемые, например, для предварительного отбора резюме, будут перенимать культурные стереотипы, это приведет к несправедливым решениям», — пишут ученые. По их мнению, чтобы разрешить эту проблему, стоит разобраться, как прямо прописывать допустимое и недопустимое поведение машины.
«Надеюсь, задача „очистки“ решений искусственного интеллекта от влияния предрассудков и стереотипов окажется более решаемой, чем аналогичная и пока неразрешимая задача для людей», — пишет Гринуолд.
Исследование опубликовано в журнале Science.