Настоящее и будущее управления токсичностью в интернете

На конференции Reboot Develop Blue 2024 Микаэла Хейс из Unity вышла на сцену, чтобы обсудить онлайн-токсичность, как с ней бороться и насколько важно противостоять ей не только с этической точки зрения, но и, откровенно говоря, как бизнес-решение.

Между 2021 и 2023 годами, как она объяснила, число людей, сталкивающихся с какой-либо формой токсичности, увеличилось с 68% до 76%, и примерно 49% игроков заявили, что избегают определенные игры по этой причине. Позже в тот же день, когда у нас была возможность взять у нее интервью на эту тему, мы спросили, почему, по ее мнению, эти цифры растут.

"Я думаю, все стало хуже, потому что во время COVID и 2020 года многие люди сидели дома и играли в игры," она сказала. "Игровое сообщество выросло, и с тех пор мы немного замедлились, потому что многие люди вернулись в школу, на работу. Они не находятся дома так часто."

Очевидно, что локдаун оказал огромное влияние на психическое здоровье, и Хейс считает, что "эмпатия людей изменилась", предлагая, что игроки стали более сосредоточенными на себе и не имели таких же опытов, как при личном взаимодействии. Это особенно актуально для молодых людей, студентов, которые пропустили два-три года человеческих взаимодействий в очень деликатный период их эмоционального развития.

"Это очень сильно изолировало среды людей и лишило их человечности," объяснила Хейс. "И я думаю, это проявляется во всех аспектах мира, особенно в играх. В частности потому, что вы скрыты за экраном компьютера. У вас нет камеры. Нет никакой идентифицируемой информации, исходящей от вашего профиля или чего-то подобного. Так что люди чувствуют в этом безопасность."

"Модерация видит один из самых высоких уровней текучести кадров в индустрии, потому что они сталкиваются с непристойным языком и ужасными угрозами ежедневно. Психика человека может выдержать только определенное количество перед тем, как задаться вопросом, стоит ли оно того "

Данные также показывают, что токсичное поведение не обязательно исходит от небольшой группы злых людей. "Есть общее увеличение токсичности," сказала Хейс.

Но текущая ситуация могла бы проследоваться гораздо дальше, чем 2020 год; Хейс предполагает, что культура против токсичности в начале 2000-х могла бы быть частью проблемы.

"Когда я начала играть в игры, не было никакого движения против токсичности," она сказала. "Такое поведение было просто частью культуры, частью опыта: справляйтесь с этим или уходите."

"Ваше основополагающее понимание видеоигр исходит из того времени, когда вы впервые начинаете. И я думаю, что когда вы начинаете свои игровые приключения в такой токсичной среде и думаете, что это нормально, то вы ожидате, что это продолжится в том же духе, потому что это просто часть опыта, к сожалению."

Она добавила, что изменение онлайн-поведения непросто: "Это было нормализовано так долго, что люди просто думают, что это часть того, как работают игры. К счастью, значительно выросло число компаний, которые понимают, что это не только важно, но и ответственность лежит на них, чтобы что-то сделать с окружающей средой, которую они создают для своих игроков."

Во время своего выступления Хейс указала на светлую сторону ужасной статистики, которую мы упомянули ранее: исследования показывают, что примерно 96% людей хотят что-то сделать с этой проблемой. Также многие люди заявляют, что они готовы платить даже вдвое больше за игру, если это означает, что игровая среда не будет токсичной.

Но что можно сделать и как компании действительно пытались бороться с ситуацией? Хейс кратко изложила это в своем выступлении, объясняя, что почти всегда приходится идти на компромисс. Модерация на основе отчетов, например, сложна, потому что она часто не основана на доказательствах, она зависит от желания людей действовать и сообщать, и редко приводит к прямому обратному отклику для пользователя. Использование форумов или Discord означает, что игроку нужно покинуть игру, чтобы сообщить. Преобразование речи в текст игнорирует нюансы, тон, культуру сообщества, что также может быть проблемой при аутсорсинговой модерации.

"Больше компаний понимает, что ответственность лежит на них, чтобы что-то сделать с окружающей средой, которую они создают для игроков"

И одной из самых больших проблем является то, насколько сложно оценить контекстное поведение: определенный вид балагурства может быть оскорбительным между незнакомцами и совершенно приемлемым между друзьями, или общего принятия в шутере от первого лица и совершенно недопустимым в игре, предназначенной для маленьких детей.

Итак, как индустрия решает эту сложную сеть вопросов? Подход Хейс можно проследить до ее преподавательского опыта; ранее она работала учителем математики в старшей школе, прежде чем

ей представилась возможность превратить свою любовь к играм в работу, став менеджером по работе с сообществом в Hi-Rez Studios.

"Я работала там около пяти или шести лет, но за это время я перешла от управления сообществом к бизнес-разработке."

После специализации на безопасности сообщества и борьбе с токсичностью, она начала работать над сервисом голосовой и текстовой связи Vivox в Unity, сосредоточив внимание на системах внутриигровой коммуникации. И в своей работе она смогла применить то, чему научилась как учитель.

"Как учитель ты... каждый день встаешь и публично говоришь. Так что способность импровизировать и общаться с людьми приходит к мне очень естественно."

Работа с онлайн-сообществами для борьбы с токсичным поведением во многих отношениях может быть воспринята как преподавание, сказала она, потому что это не только о наказании, это также об образовании, которое можно сделать разными способами. Во время своего выступления, например, Хейс упомянула, как определенные игры ограничивают награды и предоставляют их только тем, кто не получает банов.

Часть проблемы управления токсичностью также лежит в численности персонала. "Модерация и поддержка клиентов видят одну из самых высоких текучек кадров в индустрии, потому что они сталкиваются с непристойным языком и ужасными угрозами ежедневно," сказала нам Хейс. "И психика человека может выдержать только определенное количество до того, как задаться вопросом, стоит ли это."

Она также добавила, что многие команды поддержки "находятся внизу иерархии." Многие люди пытаются попасть в индустрию таким образом, но "тогда у них появляется плохое впечатление от игровой индустрии в целом."

"И их оплата не велика. Это действительно так, особенно по сравнению с другими работами в той же компании. И люди начинают задумываться: 'Окей, сколько раз мне нужно прочитать 'убей себя', прежде чем я уйду с этой работы?'

Эта конкретная проблема тесно связана с тем, что во второй половине выступления Хейс сосредоточилась на представлении Safe Voice, кроссплатформенного инструмента, разработанного Unity, который использует машинное обучение для управления онлайн-токсичностью, комбинируя транскрипцию с анализом тона и мониторингом всей игровой среды. Инструмент отслеживает такие вещи, как поведение и реакции игроков, например, если конкретного игрока заглушают все остальные участники или как люди реагируют на определенные поведения.

Safe Voice запущена в закрытой бета-версии в прошлом июле и недавно вошла в фазу открытой бета-версии. Она была разработана, чтобы давать то, что обычно отсутствует: контекст, подробно описанный и легко воспринимаемый.

"Это лучшее использование машинного обучения," сказал нам Хэйс. "Это способ защиты людей, но это не только защита игроков, это также защита модераторов."

Но через автоматизацию таких задач, разве не существует риск усиления неправильно интерпретируемых контекстов, нюансов, шуток? Это та область, в которой Safe Voice особенно сильна и эффективна, объяснил нам Хэйс. Она также полностью настраиваема, так что студия, использующая её, может адаптировать её к поведению, которое может считаться приемлемым в конкретных сообществах.

"Например, игры имеют рейтинги," сказал Хэйс. "Если игра для взрослых или 17+, то непристойности более понятны и становятся частью общего языка, который не обязательно является токсичным." В таких случаях, добавила она, "может быть, использование слов 'чёрт' или 'дерьмо' в нейтральном тоне – это просто часть манеры разговора."

"[Полностью автоматическая модерация] может случиться в будущем, но некоторые студии хотят какой-то человеческой проверки, и я поддерживаю это также"

Хэйс также не считает, что разрешение определённого рода языка в конкретных сообществах представляет риск отчуждения потенциальных новых игроков, потому что те игроки "должны быть взрослыми и должны понимать контекст использования этих непристойностей, особенно в сравнении с игрой, как Роблокс, где основная часть игроков в возрасте от 7 до 14 лет."

Но сосредоточение внимания только на языке и тоне недостаточно и система должна различать более тонкие нюансы и учитывать, как одно и то же слово может иметь разное значение в разных местах. Мы спросили Хэйса об этом и о том, что языки, такие как португальский, испанский или, конечно, английский, могут говорить по-разному в зависимости от территорий. Есть несколько английских слов, которые совершенно неприемлемы в США, но терпимы в других местах. Она согласилась и вновь указала на анализ тональности.

"Дело не только в том, что вы говорите и как вы это говорите, хотя эти факторы важны, но также в восприятии слушателя или других игроков. Так что, понимание, если вас оскорбляет то, что я сказал, на основе вашего тона, и учет этого."

Это большой плюс по сравнению с простым автоматическим транскриптом, где люди могут говорить вещи, которые кажутся нормальными, но в контексте могут быть довольно оскорбительными. И, конечно, это может работать и в противоположном направлении.

Но даже при всей тяжелой работе, выполняемой ИИ, системе все еще требуется вмешательство человека, чтобы просмотреть все выбранные данные, оценить их, а затем принять меры. Придем ли мы когда-нибудь к тому, что весь процесс будет автоматизирован?

"Это может случиться в будущем," сказал Хэйс. "Нам бы хотелось достичь такого состояния. Но я думаю, что студии хотят какую-то человеческую проверку, и я поддерживаю это также."