Roblox已将其三款人工智能安全工具作为开源资源发布

Roblox正在将其三种AI安全模型开放给公众,并将其贡献给开放在线安全工具社区(ROOST)模型社区。
独立的非营利组织ROOST专注于创建和管理开源的在线安全基础设施。Roblox于2025年与Google、OpenAI和Discord携手成立了ROOST。
为社区提供帮助,Roblox正在提供其PII分类器、Roblox Sentinel及其最新的语音安全分类器。这些模型已在Roblox平台上运行。
PII分类器帮助检测各种形式的个人身份信息(PII)的交换或请求,采用的包括拼写错误或伪装引用的方式。Roblox还提供了该工具的评估数据集,展示了"英语多用户聊天的合成样本",这些样本常常绕过PII过滤器。
Roblox Sentinel则识别可能危害儿童的早期迹象。新的语音安全分类器负责实时语音聊天的管理,并整合了ROOST社区的反馈。
Roblox还发布了一个新的评估数据集,以支持企业评估其安全工具。更新后的版本支持30种语言,并涵盖八类违规内容。
信任与安全工程副总裁Naren Koneru表示:“通过分享这些模型,其他平台有了一个坚实的基础来开发和改进他们的管理工具。”他补充说,“我们希望从行业中获得见解,并学习他们的贡献。”
此外,Koneru表示:“安全是集体责任,单靠一个公司无法解决。我们贡献给ROOST的目标是为了让其他公司能够提升他们的安全分类器。我们将在自动检测的进程中继续在ROOST社区内分享和学习。”
最近,美国参议院司法委员会犯罪与反恐小组委员会披露了一项对于Roblox的调查,指控平台优先考虑收入和参与度而非儿童安全。Roblox被要求在2026年8月31日之前提交有关儿童安全的各种问题记录。
多年来,Roblox实施了多项措施以提高安全性。这些措施包括限制13岁以下用户的直接信息交流,推出全球年龄验证,引入“敏感问题”内容标签,并加强管理政策。