Roblox выпустила три своих инструмента по безопасности ИИ в сообщество с открытым исходным кодом
Roblox решил сделать свои три модели безопасности на основе ИИ открытыми для доступа через сообщество Robust Open Online Safety Tools Model Community, также известное как ROOST. Эта независимая некоммерческая организация, созданная в партнерстве с Google, OpenAI и Discord в 2025 году, поддерживает инфраструктуру с открытым исходным кодом, направленную на безопасность в интернете.
Три модели, которые предоставляет Roblox, включают классификатор PII, Roblox Sentinel и новейший классификатор безопасности голосового чата. Уже активные на собственной платформе, эти инструменты направлены на укрепление безопасности, причём классификатор PII идентифицирует случаи обмена или запроса личной информации, обнаруживая различные маскировки и кодовые слова.
Кроме того, Roblox предлагает оценочный набор данных, демонстрирующий синтетические образцы чатов, созданные для имитации методов обхода этих фильтров. Roblox Sentinel предназначен для обнаружения ранних признаков потенциальных угроз детям, тогда как классификатор безопасности голосового чата обеспечивает модерацию голосового чата в реальном времени с улучшениями на основе отзывов от сообщества ROOST.
Этот новый оценочный набор данных поможет компаниям в тестировании эффективности их решений по безопасности, с поддержкой модерации, расширенной до 30 языков и восьми типов нарушений. По словам Нарена Конеру, вице-президента по инженерии доверия и безопасности Roblox, предоставление этих моделей обеспечивает ценную основу для других платформ для разработки их инструментов модерации. Это также позволяет взаимному обучению, так как компании могут делиться достигнутыми усовершенствованиями обратно.
Конеру подчеркивает, что безопасность является коллективным усилием, и Roblox остается привержен укреплению инструментов обнаружения через сотрудничество в сообществе ROOST. В контексте данной приверженности было объявлено о расследовании Подкомитетом Сената США по преступности и контртерроризму. Оно касается заявлений, предполагающих, что Roblox ставит приоритет на вовлеченность и доходы, а не на безопасность детей.
Платформе было предложено предоставить подробные записи по темам, включая безопасность детей и случаи злоупотреблений, к 31 августа 2026 года. Для устранения проблем безопасности, Roblox запустил такие меры, как ограничение прямых сообщений для пользователей младше 13 лет, введение возрастных проверок для функций чата на глобальном уровне, инициирование тега "чувствительных вопросов" для контента и укрепление систем модерации и родительского контроля.