016-06120884
江西省万商红商务秘书服务有限公司
首页 >污水处理成套设备
帮助大模型提升自身安全性 科研团队发布AI安全平台
发布日期:2024-04-24 15:55:20
浏览次数:006
中新网北京7月9日电 (记者 张素)以ChatGPT为代表的生成式人工智能广受关注,大模型亦在加速发展 。科研团队近日发布新的AI安全平台,以期为大模型系好“安全带” 、把好“方向盘” 。  据介绍 ,人工智能安全平台RealSafe3.0版本由清华大学人工智能研究院孵化企业瑞莱智慧RealAI发布 。该平台能够提供端到端的模型安全性测评解决方案,旨在解决当前通用大模型安全风险难以审计的“痛点”。  “大模型‘落地难’的本质在于,当前还没有找到场景、风险和规范三者之间的平衡点。”瑞莱智慧联合创始人、算法科学家萧子豪在受访时说  ,而在探寻这一平衡点的过程中缺少易用和标准化的工具 。换言之 ,亟须在技术层面找到有力抓手,帮助人们科学评判大模型在场景中能否同时满足规范和低风险 ,助力大模型上线运行。  据知,相较上一版本 ,RealSafe3.0新增了对通用大模型的评测。该平台覆盖数据安全、认知任务 、通用模型特有漏洞 、滥用场景等近70个评测维度,可以全方位、多维度地评测通用大模型的性能,未来还会持续扩增测评维度的数量 。  萧子豪介绍说,RealSafe3.0内部集成了多个自研模型和专家论证高质量数据集 ,来帮助用户修复模型中的问题 。例如,对黑盒不可解释的通用大模型 ,自研红队对抗模型取代人工设计问题  ,显著提升攻击成功率和样本多样性 。  再如 ,教练模型通过对被测大模型进行多轮次的“提问—回答训练” ,并以训练好的评分模型对问答结果进行评分,再将评分结果反馈给大模型,使其不断强化学习到好坏答案的要点及区别,直至问答能力逐步迭代至最优。  值得一提的是 ,瑞莱智慧科研团队还研发出能够防范生成式人工智能恶意滥用的DeepReal2.0 ,即“生成式人工智能内容检测平台” 。该平台支持对图像 、视频、音频、文本进行是否伪造的检测 ,应用场景包括打击网络诈骗和声誉侵害行为、检测网络内容合规性 、检测音视频物证真实性等 。  “我们将持续迭代技术 、打磨产品  ,以确保在这场人工智能安全‘攻防战’中始终立于不败之地  ,将人工智能的两面性这一‘关键变量’,转化为高质量发展的‘最大增量’ 。”萧子豪说 。(完)
产品中心

邮箱:530336285@819.com

电话:016-06120884

传真:016-06120884

Copyright © 2024 Powered by 江西省万商红商务秘书服务有限公司