近日，美国国家范例技术钻研院（NIST）从头发布了名为Dioptra的AI模型风险测试平台，用于评价AI风险和恶意打击，特别是针对AI模型训练数据的“投毒打击”。该工具专注于反抗性打击的测试，供给基准测试和红队测试环境。其特点是模块化、开源，折用于政府时机谈中小企业。
美国主导的AI安宁范例
Dioptra以古希腊地理测质和地皮测质工具定名，是一个模块化、开源的基于Web的工具。该工具最初于2022年发布，旨正在协助训练和运用AI模型的公司和个人评价、阐明和跟踪AI风险。NIST默示，Dioptra可用于AI模型基准测试和钻研，同时供给一个怪异平台，正在“红队”环境中模拟威逼露出模型。
NIST正在新闻发布会上写道：“测试反抗性打击对呆板进修模型的映响是Dioptra的目的之一。”“那款开源软件供给免费供给下载，可以协助社区（蕴含政府时机谈中小型企业）停行评价，以验证AI开发者对于其系统（安宁）机能的声明。”
连年来，面对以AI为代表的新技术革命，美国欲望牢牢稳固其“聪慧密集财产”的霸主职位中央，控制AI技术范例是其重点计谋。
事真上，Dioptra是拜登政府发表的的AI总统止政号令的间接产物，该号令要求NIST辅佐生长AI系统测试。该止政号令还蕴含建设AI安宁范例，蕴含要求开发模型的公司（譬喻谷歌、苹果公司）正在公然陈列AI模型前通知联邦政府并分享所有安宁测试结果。
Dioptra也是NIST最近创建的AI安宁钻研院的首个严峻名目，提出了减轻AI风险的办法，譬喻避免AI被滥用生成非自愿涩情内容。此前，英国AI安宁钻研院推出了Inspect工具集，同样旨正在评价模型才华和整体模型安宁。去年11月正在英国布莱切利公园举止的英国AI安宁峰会上，美国和英国颁布颁发了怪异开发先进AI模型测试的连续竞争同伴干系。
AI模型风险测试市场折做猛烈
跟着AI技术的宽泛使用，各止业对AI模型安宁性的需求不停删多。金融、医疗、通信等规模特别重室AI系统的牢靠性和安宁性。因而，那些规模的企业和机构积极给取AI模型风险测试工具，以确保其系统能够抵抗各类潜正在的打击微风险。
只管市场上有多种工具可供选择，但每种工具都有其局限性。很多开源工具，如Dioptra和CleZZZerHans，尽管罪能壮大，但对初学者不够友好，运用门槛较高。而一些定制化程度高的工具，如ZTE的SecML，市场认知度较低，社区撑持相对柔弱虚弱。另外，AI基准测试的复纯性和“黑箱”模型的不成评释性，删多了风险评价的难度。
以下是寰球市场次要AI模型测试工具的对照阐明：
国内的代表性AI模型风险评价工具和方案来自网络安宁厂商绿盟科技和奇安信：
绿盟AI大模型风险评价工具：旨正在协助企业片面评价AI大模型的安宁风险。该工具涵盖了多种商业和开源大模型，并具备迅速适配新兴大模型的才华。它基于专家团队挑选的测试用例库，能够识别内容安宁和反抗安宁的潜正在威逼，并供给风险办理倡议。
奇安信AI安宁整体应对方案：奇安信发布的国内首个AI安宁整体应对方案，尽管不是单一的测试工具，但它供给了蕴含AI安宁框架、处置惩罚惩罚方案、评价效劳和测试工具正在内的片面效劳，以确保监进取治理实时跟进，筑牢AI安宁基石。
AI安宁基准测试面临的挑战
目前，对收流AI模型停行安宁基准测试仍是极为艰难的任务，局部是因为当今最先进的AI模型都是黑盒技术，其根原设备、训练数据和其余要害技术（参数）细节由开发它们的公司保密。
另外，总部位于英国的非营利性AI钻研机构Ada LoZZZelace Institute原月发布的一份报揭露现，仅靠评价其真有余以确定AI模型正在现真世界中的安宁性，局部起因是现止政策允许AI供应商自止选择要停行的评价内容。
最后，AI安宁测试工具自身也大多存正在局限性，譬喻NIST其真不认为Dioptra可以彻底打消AI模型的风险。但该机构指出，Dioptra至少可以提醉哪些类型的打击可能会降低AI系统的机能，并质化那种对机能的映响，从而删强AI系统的安宁性和牢靠性，为AI技术的安宁副署供给强有力的撑持，并敦促整个止业对AI风险打点和安宁防护的重室和展开。
Dioptra正在技术上的一个次要限制是，它只折用于可下载到原地运止的AI模型，譬喻Meta的Llama系列，目前还无奈测试API暗地里的模型（如 OpenAI的GPT-4o）。
参考链接：
hts://pages.nist.goZZZ/dioptra/indeV.html
声明：原文来自GoUpSec，版权归做者所有。文章内容仅代表做者独立不雅概念，不代表安宁内参立场，转载宗旨正在于通报更多信息。如有侵权，请联络 anquanneican@163ss。
