AI信息安全攻防技术分析

AI信息安全攻防技术分析以子之矛攻子之盾，AI攻防的那些事以子之矛攻子之盾，AI攻防的那些事天穹安全实验室IoT安全研究、AI攻防研究以子之矛攻子之盾，AI攻防的那些事隐身术的秘密物理世界的差异白、灰、黑未来趋势以子之矛攻子之盾，AI攻防的那些事隐身术Imgsrc:https://www.chainnews.com/zh-hant/articles/738212612109.htmImgsrc:https://arxiv.org/abs/1904.08653以子之矛攻子之盾，AI攻防的那些事ObjectDetectionhttps://pjreddie.com/darknet/yolo/BoundingBoxesObjectProbabilityClassProbabilityImgsrc:https://medium.com/@jonathan_hui/real-time-object-detection-with-yolo-yolov2-28b1b93e2088以子之矛攻子之盾，AI攻防的那些事简化后的ObjectDetectionProb.=0.9Threshold=0.5Prob.=0.4攻击目标BoundingboxesYOLOObjectprobabilities减小Objectprob.Classprobabilities减小Classprob.同时减小Object/Class模型是不能改变的！probabilities以子之矛攻子之盾，AI攻防的那些事问：如何减小Probabilities?先补一些基础知识：1.梯度与优化求解2.神经网络以子之矛攻子之盾，AI攻防的那些事梯度与优化求解L(휃)휃一维线性回归问题的损失函数曲线损失函数与参数之间存在一个未知的对应关系以子之矛攻子之盾，AI攻防的那些事梯度与优化求解L(휃)휃一维线性回归问题的损失函数曲线푑퐿(휃)휃=휃−휀梯度下降是求解损失函数（局部）最优解的一种方法梯度下降푑휃*+(,)*+(,)*+(,)0휃=휃−휀∇퐿(휃)其中，∇퐿(휃)=[,,…,]푥的变化影响到푦，则梯度为∇3푦*,-*,.*,/以子之矛攻子之盾，AI攻防的那些事神经网络0.001A图像可以理解为高维向量输出是属于各种类型的概率B0.915Weights不是天生的Weights是需要训练的Z0.012Imgsrc:https://uzshare.com/view/790941以子之矛攻子之盾，AI攻防的那些事神经网络训练过程푥的变化影响到푦，则梯度为∇3푦^푦4损失函数：MSE，CrossEntropy，…^푦5使用反向传播算法计算梯度梯度下降这里,W的变化会影响LImgsrc:https://www.zybuluo.com/hanbingtao/note/476663以子之矛攻子之盾，AI攻防的那些事푥的变化会影响푦，则梯度为∇3푦模型训练过程对抗样本训练过程y6=푓(푥;휃)푓指网络结构，휃是参数푓(푥;휃)푓指网络结构，휃是固定的参数퐿(푓푥;휃,푦)定义损失函数퐿(푓푥;휃,푦)定义损失函数计算损失函数对参数的梯度计算损失函数对输入的梯度휕퐿(푓푥;휃,푦)휕퐿(푓푥;휃,푦)∇퐿=∇퐿=휕휃L(휃)휕푥FGSM通过梯度下降，修改参数通过梯度上升，修改输入BIM휃=휃−휀∇퐿푥=푥+휀sgn(∇퐿)PGD采用梯度上升，还是梯度下降，依赖损失函数的定义휃以子之矛攻子之盾，AI攻防的那些事攻击方法和工具FGSM,BIM,PGD,JSMA,C&W,DeepFool,etcSupportTensorFlow,Keras,PyTorch,MxNetGradient-based,Decision-based,Score-basedAndDefensehttps://github.com/IBM/adversarial-robustness-toolboxhttps://github.com/tensorflow/cleverhansSupportsJAX,PyTorch,andTensorflowFoolboxhttps://github.com/bethgelab/foolboxhttps://github.com/advboxes/AdvBoxSupportsTensorFlow,PyTorch,Keras,JAX,SupportsPaddlePaddle、PyTorch、Caffe2、MxNet、MXNet,Theano,LasagneKeras、TensorFlowGradient-based,Decision-based,Score-basedWhitebox,Blackbox,Defense以子之矛攻子之盾，AI攻防的那些事物理世界与数字世界•物理世界的场景•数字世界的场景•自动驾驶-stopsign•黄赌毒等违规内容检测•目标检测-tracking特点：a)可以做到轻微扰动，让目标模型识别错误特点：a)可以修改图像的一部分，而不是全部b)可以扰动全幅图像上任意像素点b)摄像头采集图像，会产生损失近年的对抗样本比赛集中于此c)受到光线、patch位置、视角变化，甚至打印机等因素的影响以子之矛攻子之盾，AI攻防的那些事增强鲁棒性푟푝푎푡푐ℎ旋转变形푠푝푎푡푐ℎ缩放变形•影响因素•旋转与扭曲变形푓(푥+푝푎푡푐ℎ;휃)模型휃预测x+patch的分值•尺寸缩放•光照和对比度定义变形的MSE损失：•颜色（打印机）1퐿=D(푓(푥+푝푎푡푐ℎ;휃)−푓푥+푠(푟(푝푎푡푐ℎ);휃))5•随机噪声@Am•…퐿NOP不可打印的颜色的损失函数퐿@R颜色变化平滑度的损失函数•变形也是函数퐿=훼퐿@A+훽퐿NOP+훾퐿@R+퐿STU以子之矛攻子之盾，AI攻防的那些事白盒、灰盒、黑盒白盒灰盒黑盒不能访问到模型不能访问到模型可以访问到模型也不能得到预测分值暴露程度但是可以得到预测分值仅有预测值攻击方法梯度下降构造代理模型迁移攻击利用预测分值进行优化求解无梯度优化BoundaryCheck,Zero-OrderOpt.,HopSkipJump,etc以子之矛攻子之盾，AI攻防的那些事白盒、黑盒、灰盒*将ResNet50版本的ImageNet模型当成灰盒模型，仅提供预测概率93.06%12.29%1.迭代200次左右，就可以达到较好的效果2.Patch的位置影响效果在猪鼻子上贴上一个patch，3.思路可用于其他领域预测的概率降低至12.29%以子之矛攻子之盾，AI攻防的那些事未来的趋势增强鲁棒性增强隐蔽性增强迁移性防守对抗谢谢聆听！