主页 > 要闻 > 正文

换脸攻击、破解验证码、数据投毒……“刷脸”时代如何防范风险?

点评

安徽省道路运输协会 2020-01-19 21:12

原标题:换脸攻击、破解验证码、数据投毒……“刷脸”时代如何防范风险?

经济观察网记者 陈伊凡12月5日,在南方都市报大数据研究院·南都个人信息保护研究中心主办的“2019啄木鸟数据治理论坛”上, 中国电子技术标准化研究院信息安全研究中心数据安全部胡影进行了题为“人工智能安全现状与风险挑战”的演讲。胡影说,人工智能从最初的算法设计,生成模型,再到最后的场景应用,每个环节都面临被攻击的风险,而与此同时,人工智能技术也会带来负面后果,例如人工智能技术可以模仿人脸,换脸攻击非常的容易,利用AI技术基本上大部分的验证码都可以破解等等。

此前,AI换脸在国外曾风靡过一段时间,不过后来,因为有人将该技术应用于色情视频,诸多公众人物成为受害者,随后国外掀起了“反AI换脸”的行动。而国内的AI换脸,最广为人知的应该是杨幂版的神雕侠侣,当时的视频已经能够以假乱真。

因此,AI换脸这个技术也饱受争议,如何规避其被滥用的风险也成为大家关注的焦点。

【以下为胡影现场演讲内容整理】

目前人工智能进入第三次发展浪潮。1956年诞生以来几经波折,有发展比较好的时候,也有低谷的时候,近年来主要是大数据技术和硬件平台的发展,在算法、算力、数据三大因素驱动下,进入到第三次发展浪潮。

第三波人工智能发展浪潮

人工智能产业已经初步形成一定的产业结构,不过整体发展还处于起步阶段。

我们现在所说的人工智能大家更多说是专用、狭义的智能。专用是偏弱缺乏自主意识,不能实现真正像人一样把事情进行概念抽象,并且推理决策最后解决问题。通用的人工智能未来能达到类人水平的,从这个角度讲,通用的人工智能还任重道远。

从技术应用角度来讲,在专业领域和问题解决单一领域取得了不错的效果,但是现在还有一些受限。尤其深度学习依赖于大量的数据,更适合处理一些丰富数据的知识和完全的信息,确定性、静态,单领域、单任务的场景问题解决效果非常好,甚至有些超出人的解决水平。对于复杂的场景,尤其像自动驾驶,还是有一些技术难点在。人工智能目前的技术是属于一个技术拐点,从不能使用到可以使用的技术拐点,距离很好用还有一些距离。包括可解释性、泛化、可靠性的问题。

业界实践来看,人工智能产业投资自2018年第二季度以来,全球投资力度在下降,也是考虑到在解决复杂问题方面还不能满足动态和不确定性的需求,复杂场景上来说还是需要时间的。

展开全文

人工智能目标的几个阶段

从风险角度,大家知道从安全角度分析这个事情。我的保护目标是什么?会面临什么样的攻击威胁?本身存在什么样的安全隐患?一般从三个维度分析。

对于人工智能来说,它的目标可以分成几个阶段。

首先,需要有大量的数据进行采集。这里会有信息感知的芯片和设备,会采取大量的数据,进行加工分析,形成所谓的数据集,给到算法,用这些数据训练出所需要的算法模型,要做训练的话也要有算力,算力就来自于计算设施包括计算芯片,通用的计算平台。

计算设施是提供算力的,在这之上也有软件框架。像Tensorflow都是属于成熟的算法框架,它被这些通用算法关键技术分装实现,变成成熟的软件框架。基于它进行开发,再把这些数据进行训练测试形成要解决问题场景所需要的算法模型。算法模型训练出来之后还要上线、部署、运行,它会形成在线上的系统或者产品服务,系统产品服务又赋能到AI+各个行业领域的应用。

从这里来看,AI从通用保护对象来说分成数据、算法模型、算力计算的基础设施和后面的产品服务甚至应用。

人工智能会带来哪些攻击威胁

具体要看人工智能出现以后会带来哪些新的攻击威胁?

人工智能只不过是利用人工智能技术的信息系统。对于信息系统来说,除了传统的网络安全常见的攻击威胁之外,也会引入新的攻击威胁。

数据投毒,在训练数据里面加入一些精心构造的异常数据,破坏原有数据的分布,最后使得模型训练出来错误的结果。尤其现在有很多模型都是在线部署,需要一些数据在线输入到模型中,进行在线调整、优化,这个时候就会有数据投毒攻击的场景在。

还有模型窃取,模型窃取也是向目标模型发送大量的查询数据来判断它的输出,这样就可以分析出模型的规律,甚至可以把模型还原出来。

还有一种是人工智能系统的攻击,除了传统之外会加入一些计算的芯片,它会有硬件加速器的设备欺骗,包括改变机器学习系统的控制流的攻击,这些传统的系统攻击也有。

人工智能技术存在哪些挑战

刚才是对于新的攻击威胁,下面再看看对于人工智能几个对象。

首先是算法模型,自己有没有安全脆弱性的隐患,算法模型有一个鲁棒性平衡和数据依赖的缺陷。模型的准确性和鲁棒性难以权衡的问题?什么叫鲁棒性?模型在不同的场景或者极端的情况下,输入和输出的效果不会变,比较稳定。像信息系统所说的深层次稳定的概念。有研究表明,模型的准确性和鲁棒性是一对矛盾,如果想适应很多的场景,训练出来的模型能精准判别的程度精确度难以保证,它是一对矛盾。

第三,在复杂应用场景下,会有可靠性的挑战。

模型算法会有潜藏偏见和歧视的问题,对于工程角度来说算法、数据会存在和自然世界偏差的问题,在实际应用中造成结果不公的问题。什么叫偏见歧视?算法设计者和开发人员本身对问题场景的认知上就存在某种偏见,或者不经意使用带有偏差的数据集进行训练。如果模型的准确度存在偏差,尤其应用跟个人相关的时候,可能会带有隐私歧视的问题。

还有可解释性问题,尤其是深度学习,深度的神经网络多层次的神经网络,几百个神经元都是非常多的,怎么样解释输入和输出结果之间的关系?因果关系是非常难解释的,这是基于神经网络自己有的特点造成的算法黑箱。对于医疗领域、金融领域,对新技术的应用可能就有一个可信赖的问题,如果它能够解释的话,我觉得可信性更高一点,所以重要行业领域面临可解释性的挑战。

还有数据安全的隐患,虽然对于人工智能来说主要是在训练数据,包括模型,从模型整个的过程,对应的数据生命周期。从数据采集来说,场景更加复杂,因为需要的数据样本非常大,会从多个渠道来采集,远比现在想到的APP采集场景更复杂。APP使用的时候,很多场景部署在云端做训练和预测。

从数据采集角度来说,有一个过度采集问题。尤其是深度学习需要大量的数据,怎么样判断采集范围是否合理?拿自动驾驶来说。我为了判断是不是一个行人,可能要采集周围环境所有的数据才好判断,它有一个过度采集,需要大量数据帮助模型做判断。采集范围问题比现在的场景要复杂,所以怎么判断它的合理性是否超范围。

还有数据采集与用户授权不一致。尤其是训练阶段,那个时候很多模型数据采集是从互联网上来的,互联网上公开的数据只让你用于科学研究的目的,国外就有这样的案例,互联网上来的数据训练出一些模型,最后用于商业的产品,这个时候改变了它的使用目的,包括改变了它的授权范围,这个时候会出现不一致的问题。

过程中会有数据标注,因为里面牵扯到大量的机构和众包方式,里面有很多的安全隐患和合规问题。还有自动化决策,自动化决策也是隐私保护的点,对于人工智能来说谈自动化决策尤其GDPR需要更多展现的透明性,这些在可解释性上有很多的缺陷。

除此之外,还有人工智能滥用的问题,第一是不当和恶意利用,利用之后,新技术造成不可控的结果。AI的技术也可以用来攻击和欺诈,违法不良信息的传播和密码破解,比如说验证码破解技术,利用AI技术基本上大部分的验证码都可以破解。

人工智能技术可以模仿人脸,换脸攻击非常的容易。虽然换脸也有很多检测手段,包括人工智能在支付的时候有多重风控手段进行保障,现在的技术发展合成照片尤其在视频流当中替换人脸的技术发展非常快,所以会造成灰色地带的应用。返回搜狐,查看更多

责任编辑:

本文链接:
http://www.ahsdx.com/p/20191211346.html

阅读延展
相关智库科技新闻阅读

京东2019年度账单开启,看看你今年花了多少钱

IT之家 12月31日消息 2019年的京东年度账单开启了,京东App首页搜索框上面就有查询入口,快去看一下今年花了多少钱吧。

华夏银行科技兴行的专有密码

2019年8月,中国人民银行发布金融科技发展规划(2019-2021)提出:人工智能、大数据、云计算、物联网等信息技术与金融业务深度融合,为金融发展提供源源不断的创新动力。

科技传媒网每日精选阅读

苹果获得iPhone侧面显示屏虚拟按键专利

IT之家12月31日消息 据patentlyapple报道,今天,美国专利商标局正式发布了苹果具有侧面触摸显示屏的iPhone专利,证明了苹果在研究侧面显示屏的技术。

联想推出小新/拯救者春节表情包:“非你莫鼠”与“鼠你会玩”
微信
微博
RSS