2024年国务院政府工作报告提到,要深入推进数字经济创新发展,并首次提到开展“人工智能+”行动。据咨询机构沙利文预测,2024年我国人工智能市场规模将突破7993亿。
然而,随着AI大模型广泛应用,潜在的安全风险也日益突出。数据泄露、模型篡改、内容价值观偏差等问题不断出现,引发社会各界对AI大模型安全的深切关注。AI大模型亟需开展常态化测试评估,以保障AI数字健康。
三大挑战
决定AI大模型亟需常态化测试评估
第一,政策监管要求。国家对AI技术和应用的监管日益加强,先后颁布实施《生成式人工智能服务管理暂行办法》(中央网信办等七部门联合发布)以及《生成式人工智能服务安全基本要求》(全国网安标委发布),都提出开展AI安全评估、建立常态化监测测评手段等要求。
第二,内容合规要求。AI大模型应用使得生成钓鱼邮件、编写恶意软件代码变得更加容易,大大降低网络攻击技术门槛,导致攻击数量激增。同时,越来越多实例证明,AI大模型的产出可能存在暴力、虚假、诋毁、扭曲历史等不符合正向价值观的内容,需要常态化测评将内容风险前置。
第三,系统安全要求。AI大模型作为复杂的软件系统,其自身的基础设施也面临一定风险,比如网络环境、系统漏洞、数据泄露等等,需通过不同压力场景下的测试来检验其防御弹性。
响应落实国家政策,「数字风洞」支撑
AI大模型基础设施安全和内容风险测评
作为网络靶场和人才建设领军者、测试评估赛道领跑者,永信至诚依托自主研发专有云储备的算力技术与算法人才、国内首个RHG人工智能攻防平台进行AI技术测评的先发优势,以及「数字风洞」产品体系在测试评估领域的专业优势,为AI安全测试评估提供全面解决方案,基于创新的“产品乘服务”理念,常态化支撑AI大模型基础设施安全与内容风险测评,保障AI数字健康和规范应用。
一、在基础设施安全测评方面,为AI大模型筑牢生命基石。
全要素深度安全体检:与所有软件系统一样,AI大模型面临着体系化的网络和数据安全风险。永信至诚通过从攻击者视角出发,对大模型自身系统安全、算法漏洞、数据集、数据泄露等全要素进行全面深度安全体检,及时发现AI基础设施中的薄弱环节,评估现有安全防御措施的实际效果,并据此提出改进建议。
全生命周期安全风险验证:基于「数字风洞」产品体系,对大模型在训练、微调、部署、运维等各阶段进行风险量化评估,确保从模型构建到应用部署的每一步都符合安全要求。对于测评过程中出现的异常情况进行实时预警,不断发现并消除隐患,让安全趋于“证无”。
平台化统一管控和自动复测:依托「数字风洞」将测试评估载荷、工具及全流程进行数字化统一管理,实现对任意测评任务的随时查看、追溯、复测和重放。让安全测试评估不再是线性、一次性的工作,而是成为一个可追溯、可重复的过程,极大提高安全测试效率,确保AI系统在迭代优化中持续保障数字健康。
二、在内容风险测评方面,为AI大模型打造内容过滤引擎。
场景化检测数据集定制:集成永信至诚AI春秋大模型和「数字风洞」产品体系的技术与实践能力,结合国家政策标准要求和大模型使用场景,形成100+提示检测模板、10+类检测场景和20万+测评数据集,模拟虚假信息、仇恨言论、性别歧视、暴力内容等各种复杂和边缘的内容生成场景,评估其在处理潜在敏感、违法或不合规内容时的反应,确保AI大模型输出内容更符合社会伦理和法律法规要求。
诱导性测试载荷构建:通过诱导者视角构建引导AI大模型产生不当回答的测试载荷,高效检测和识别AI系统在复杂交互下可能出现的安全漏洞和内容风险,进一步强化大模型的安全规则和过滤机制。
持续性测评与规则更新:持续对AI大模型进行监控和测试,随着新的内容风险不断出现,系统会及时更新安全规则和过滤机制,确保AI大模型能够适应不断变化的内容安全要求,有效防范潜在的安全隐患。
测评任务总览
测试评估报告
测评智能分类
永信至诚表示,AI时代已然来临,我们站在“人工智能+”风口,也站在了守护AI安全的起始点,开展常态化测试评估成为实现AI大模型安全的关键基础和根本保障。永信至诚作为AI安全测试评估先行者,以专业的「数字风洞」产品体系,立于护航AI安全前沿,持续助力监管机构和各细分行业领域AI开发者构建AI大模型基础设施和内容安全基线,保障AI数字健康,带给世界安全感。
数字健康是永信至诚提出的企事业单位在数字化建设中,网络、系统、数据等数字化资产实现实质安全的目标理念。有别于传统安全服务的风险“证有”理念,永信至诚认为,在数字化进程不断深入过程中,企事业单位的网络和数据安全保障是一个多维度、多场景、全生命周期及持续的过程,是一个不断发现新风险并形成新数字化免疫力的趋于“证无”过程。
永信至诚致力于基于“产品乘服务”创新体系和“家庭医生”专业理念,通过“数字风洞”测试评估系统和专业数字健康体检服务,用独立的第三方安全视角,持续关注人、系统、数据的数字健康状态,量化验证安全投入有效性,为企事业单位设计更有针对性的安全解决方案,优化安全预算,提高安全建设效能,建设企业内在安全免疫力,保障用户数字化系统及业务的实质安全。
03-21 09:57
03-20 14:09
03-20 11:58
03-20 08:54
03-19 16:42
03-19 16:20
03-19 14:35
03-19 13:52
03-19 11:25
03-19 11:12