数智时代的安全风险
在安防行业，谈起安全，人们自然会想到数据安全、传输安全、网络安全等话题，但其实随着安防行业进入智能化时代，人工智能安全已经是行业目前必须面对的新挑战。
近年来，在大算力和海量大数据的驱动下，以深度学习为代表的AI技术飞速发展，以计算机视觉技术为例，依托广阔的应用场景从理论研究走向大规模的应用落地，人脸识别、目标检测等技术被广泛应用于公共安全、城市交通等领域，推动城市治理的智能化升级。
但在数据驱动智能化发展的背后，安全隐患也不容忽视。瑞莱智慧副总裁唐家渝指出，数据驱动的深度学习算法存在不可靠、不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这就导致系统可能遭受到难以被察觉的恶意攻击。
McAfee曾做过一个实验，针对护照的人脸识别系统进行攻击，结合禁飞人员与正常飞行人员的特征，生成对抗样本图案，禁飞人员可凭包含这张生成的虚假照片的护照，顺利通过人脸识别护照系统的检测，顺利登机。这种潜在漏洞在国内安防门禁、考勤系统和手机解锁应用中同样存在。
唐家渝表示，这是深度学习范式下AI应用存在的结构性缺陷，贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。
通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势，随着AI技术尤其是计算机视觉技术的广泛应用，这一安全风险的真实威胁开始显现。例如，公共安全领域，视频监控、安检闸机等智能安防设备被不法分子攻击，用于躲避追踪、冒充他人等；交通领域，自动驾驶汽车被干扰“致盲”，引发安全事故等；在金融领域，线上银行的人脸认证被破解，用于非法转账等诈骗行为。
唐家渝介绍，除了算法漏洞，“数据驱动”衍生的安全风险还远不止于此。海量人脸数据被恶意采集、滥用，导致用户隐私泄漏；泄露的人脸照片在表情驱动算法下生成伪造视频，用于攻破人脸核验系统等……如何有效应对人工智能安全风险，保障人工智能安全可控的应用落地成为行业未来发展的一项重要课题。
图：AI版“隐身衣”演示
AI安全风险如何应对
随着智能化场景的深入，人工智能的风险问题将更加的严峻。目前围绕AI的核心要素与环节来看，算法的漏洞、数据的滥用、隐私的泄露，以及技术滥用等问题都日渐严峻。如此，围绕算法、数据、应用等环节的AI治理问题也亟待解决。
针对以上问题，瑞莱智慧围绕“算法可靠、数据安全、应用可控”三大方向展开布局，在算法方面，其推出了业内首个业务级人工智能安全平台“RealSafe”，提供模型安全性测评及防御加固的端到端解决方案；在数据方面，其基于安全多方计算、联邦学习、匿踪查询等技术打造了数据安全共享基础平台隐私保护计算平台“RealSecure”；在应用治理领域，针对“AI换脸”等深度伪造技术滥用现象，瑞莱智慧推出深度伪造内容检测平台“DeepReal”，目前，该公司商业化产品已在政务、金融、能源、互联网等领域落地。
唐家渝认为，人工智能应用是集业务、算法、数据于一体的有机整体，涉及训练、检验、运行等生命周期阶段，所以应面向所有关键流程，布局全面且有针对性地安全防御措施。同时他强调，人工智能安全攻防技术在快速演变过程中，新的攻击手段不断出现，除了要解决“近忧”，更要着眼于“远虑”，对于未知威胁进行研判和防范，因此需打造动态升级、科学前瞻的防御理论及技术体系。
基于此，瑞莱智慧提出了兼顾“被动”和“主动”的防御机制。唐家渝解释道，被动防御为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。
AI市场新赛道
AI安全是新兴领域，虽然Google、Open
AI、BAT等科技巨头都有布局人工智能安全领域技术研究，但实际聚焦并将其商业化落地的企业寥寥无几。
作为市场的先行者，唐家渝认为这个领域除了部署技术体系外，更需要框架指导、标准规范、法律合规等多个维度协同推进。据悉目前瑞莱智慧已经与国家工信安全中心、中国信通院、国家互联网应急中心、公安部第三研究所等单位开展合作，联合落地标准制定、测试评估等工作，推动AI安全从“试点示范”走向“推广应用”。
唐家渝表示，目前整个AI产业已经从之前粗放式的高速发展进入到高质量发展的阶段，随着公众对于AI安全性的关注度提升，以及监管政策的出台和引导，未来AI行业将是发展与治理协同的阶段，如何保证AI应用的安全性是一个重要命题。安全AI这一新兴领域，比如AI安全防火墙、基于隐私计算的人脸识别方案等会很快迎来爆发。
安博会期间，安防知识网等媒体与唐家渝进行了一次深度对话。本次访谈中，唐家渝谈到AI安全的落地以及对AI产业的思考。
Q：整个展会看下来，瑞莱智慧非常的特殊，能否为我们简单介绍下企业？
唐家渝：瑞莱智慧孵化自清华大学人工智能研究院，致力于提供基于第三代人工智能技术的AI基础设施，加速安全、可靠、可信的产业智能化升级。核心聚焦安全AI领域，比如数据安全治理、算法可靠性提升，以及保障AI技术应用的安全可控。
Q：人工智能安全的最大挑战是什么？
唐家渝：安全问题的本质是攻防较量，是对抗升级的过程，我们需要永远比对手“快一步”。例如我们的AI防火墙能够检测到现有的一些新型攻击，但是攻击方也在不断更新算法，一旦他们比我们更快找到了新的漏洞，如果不能及时防御，后果可能会比较严重。这个对抗博弈的过程非常艰辛，背后的技术投入与技术难度是非常大的，但也只有这样才能制衡住对方。
Q：用户如何评估瑞莱智慧安全解决方案的效果？
唐家渝：安全的评估难以完全量化，主要通过两类场景来体现：一是用户已经遭受攻击产生损失，利用我们的系统能够将漏洞具体检测出来，同时基于我们的方案避免类似的损失发生；二是如果有更加新型的攻击方式出现，已经部署我们系统的用户通常能够更早地发现风险以及抵御风险，降低损失。
Q：目前哪些用户比较关心人工智能安全？
唐家渝：主要有三类，一是行业属性对场景及业务安全性关注度较高的群体，例如银行等金融机构，与财产安全直接挂钩；二是国家重大基础设施服务群体，例如电网，一旦有被攻击的风险将造成国家重大财产损失和社会安全问题；最后是监管类国家政府机构，因为部门职能要求，需要利用相应的技术工具对市面上的人工智能产品的安全性进行监管与评测。这是目前比较典型的客户群体，我们觉得，类似于互联网时代网络安全的出现，未来人工智能会像互联网一样，普及是未来趋势，相应的人工智能安全应对也将成为必需。
Q：与互联网安全厂商如360、奇安信等会有合作吗，还是业务是各自分开的？
唐家渝：我们之间属于合作的关系，人工智能安全与网络安全相比，两者针对的目标对象和风险类型是完全不同的，网络安全主要是针对计算机网络系统的安全防护，人工智能安全主要关注的是人工智能系统模型、数据、框架等方面的安全，两者技术点与场景点是不一样的。因此通过开展合作，各自发挥所长，推动全方位的安全服务落地。
Q：安防行业强调的安全是数据存储与数据传输的安全，但瑞莱智慧强调的是用算法去推进安全的应用，对于传统用户而言，目前的接受程度如何？
唐家渝：现阶段看，市场仍需要一个培育的过程，但部分领域的客户已经有这方面的意识。比如我们与公安客户交流，他们对于人工智能安全必要性的认知还是非常高的。当前捕捉在逃嫌疑人的人脸识别系统、视频结构化系统的识别算法会被一些不法分子绕过，因此针对这些安全系统的升级也迫在眉睫。同样的，金融行业的用户接受度也更高，虽然针对AI系统的攻击仍是比较新的，但在利益的驱使下，已经有不少黑产分子在利用这些技术手段实施攻击，头部的银行客户也正在我们的帮助下加速建立完善的人工智能安全体系。另外，我们除了布局算法安全外，也涉及数据安全领域，比如基于隐私计算的数据治理方案，为用户提供全面的安全保障。
Q：瑞莱智慧这类型的企业出现，也意味着AI产业的野蛮生长已经结束，开始进入理性化的阶段，站在您的角度，如何看待AI企业未来的发展？
唐家渝：之前的安防展，AI企业展现的内容还大多聚焦在人脸识别与视频结构化等应用，企业拼到最后也是在数据收集以及场景深耕上竞争。但今年来看的话，AI安全治理开始受到重视，随着数据安全法、算法治理规范等相关条例的出台，以及公众舆论的讨论，使用人脸识别产品的企业对安全问题的关注度越来越高，业界开始出现探索安全可信的AI方案，比如后端治理上，数据采集后的脱敏存储、结合隐私计算的人脸识别方案等。从大环境来看，AI企业的算法效果的差异化已经没那么明显了，未来市场的趋势一定是在追求算法落地效果的基础上要保障算法与数据的安全可控，这有助于整个AI产业的健康发展，同时对我们而言也是个利好的趋势。
Q：除了公安，未来瑞莱智慧会切入其他安防场景，如交通、社区等场景吗？
唐家渝：这些场景我们都有在布局，因为AI安全性问题属于底层的通用问题，当前安全问题的产生源自于深度学习算法的结构性缺陷，我们首先切入公安的人脸识别场景是因为其应用最为广泛，面临的风险也最为严峻。但像智能交通的车牌识别、社区安防的人脸识别和ReID跟踪等场景，同样存在安全风险，我们也在跟这些领域的厂商与主管部门展开合作，共同推进相关场景的AI系统安全性升级。
Q：所有的智能化应用落地都会有困难，那么人工智能安全方案在落地之前会遇到挑战吗？
唐家渝：会的，核心是安全与效果之间的平衡，因为安全方案的引入，或多或少都会对系统的效果产生影响。举一个例子，一些视频结构化系统具有较好的识别效果，但同时容易被攻击误导，这种情况下，我们核心要突破的挑战便是如何最大程度降低被恶意攻击的概率，同时保证系统的识别效果尽可能不受影响，这需要我们对识别算法、攻防算法的技术理论以及实际的业务逻辑都要有深入的理解。
