Roblox выпустила три из своих инструментов безопасности на основе искусственного интеллекта в качестве ресурсов с открытым исходным кодом

Два экрана мобильного телефона, отображающие виртуальную среду с аватарами и всплывающие уведомления о нарушениях политики голосового чата Roblox.

Кредит изображения: Roblox

Roblox делает три свои модели ИИ для безопасности доступными для публики, предоставляя их в сообщество ROOST (Совместные Открытые Инструменты Безопасности Онлайн).

Независимая некоммерческая организация ROOST сосредоточена на создании и управлении инфраструктурой открытого кода для онлайн-безопасности. Roblox объединилась с Google, OpenAI и Discord для основания ROOST в 2025 году.

Для поддержки сообщества Roblox предоставляет свой PII Classifier, Roblox Sentinel и свою новейшую модель классификатора безопасности голосового чата. Эти модели уже работают на платформе Roblox.

PII Classifier помогает обнаруживать обмен или запрос личной информации (PII), используя различные методы, такие как опечатки или замаскированные ссылки. Roblox также предоставляет оценочную выборку из этого инструмента, показывающую "синтетические примеры англоязычных чатов многих пользователей", которые часто обходят фильтры PII.

Roblox Sentinel распознает ранние признаки возможной угрозы для детей. Новый классификатор безопасности голосового чата управляет модерацией голосового чата в реальном времени и интегрирует отзывы от сообщества ROOST.

Новый оценочный набор данных также выпускается Roblox для поддержки бизнеса в оценке их инструментов безопасности. Обновленная версия модерирует 30 языков и охватывает восемь категорий нарушений.

Сам Naren Koneru, вице-президент по инженерии доверия и безопасности, заявил: "Поделившись этими моделями, другие платформы получают прочную основу для разработки и улучшения своих инструментов модерации." Он добавил: "Мы стремимся получить идеи от индустрии и учиться на их взносах тоже."

Кроме того, Koneru отметил: "Безопасность - это коллективная обязанность; ни одна компания не может справиться с ней в одиночку. Наша цель вносить свой вклад в ROOST - это дать возможность другим компаниям улучшать свои классификаторы безопасности. Мы будем продолжать делиться знаниями и учиться внутри сообщества ROOST, по мере продвижения в области автоматического обнаружения."

Недавно Подкомитет Сената США по делам преступности и противодействию терроризму обнародовал расследование по отношению к Roblox, утверждая, что платформа акцентирует внимание на доходах и вовлеченности больше, чем на безопасности детей. Roblox было предписано представить документы, касающиеся различных вопросов, связанных с безопасностью детей, до 31 августа 2026 года.

За последние годы Roblox внедрила множество мер по усилению безопасности. Среди них ограничение на обмен сообщениями для пользователей младше 13 лет, введение глобальной проверки возраста, введение метки "чувствительные проблемы" в содержании и совершенствование политики модерации.