报告预览

鲁棒声纹识别的对抗防御-张晓雷.pdf

编号：161187

PDF 25页 1.90MB 下载积分：VIP专享

下载报告请您先登录！

鲁棒声纹识别的对抗防御-张晓雷.pdf

1、第四届声纹识别产业发展与创新研讨会第四届声纹识别产业发展与创新研讨会鲁棒声纹识别的对抗防御鲁棒声纹识别的对抗防御Robust speaker recognition against adversarial attacks张晓雷Robust speaker recognition against adversarial attacks张晓雷西北工业大学2024年3月29日目录目录一、研究背景及研究意义一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结二、声纹对抗样本攻击三、声纹对抗样本防御四、总结2 23 3Z.Baietal.,“SpeakerRecognitionBa

2、sedonDeepLearning:AnOverview,”NeuralNetworks,2021.一、研究背景及研究意义一、研究背景及研究意义声纹验证声纹认证声纹日志声纹识别系统在遭受攻击时表现出一定的脆弱性声纹识别系统在遭受攻击时表现出一定的脆弱性4 4一、研究背景及研究意义一、研究背景及研究意义声纹识别有广泛的应用空间身份认证与安全会议日志与纪要国安与司法5 5一、研究背景及研究意义一、研究背景及研究意义声纹识别系统在遭受攻击时表现出一定的脆弱性利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性6 6一、研究背景及研究意义一、研究背景及研究意

3、义Hi,Siri.Voice Assistantse.g.Siri声纹对抗样本攻击不改变声纹统计特性目录目录一、研究背景及研究意义一、研究背景及研究意义二、声纹对抗样本攻击二、声纹对抗样本攻击三、声纹对抗样本防御四、总结三、声纹对抗样本防御四、总结7 78 8二、声纹对抗样本攻击-研究现状二、声纹对抗样本攻击-研究现状缺点优点方法缺点优点方法需要访问模型结构，迭代计算对抗扰动，生成对抗样本的时间长攻击成功率高、信噪比高基于梯度/优化（白盒）攻击成功率较低；查询过多时容易被检测到不需访问梯度，仅靠置信度或决策就可以实现攻击基于查询（黑盒）攻击成功率和信噪比难以平衡测试阶段不需访问梯度；生成对

4、抗样本的时间短基于生成网络（白盒）对抗样本迁移性弱，黑盒攻击成功率低不需要访问目标模型结构，具有现实意义基于迁移性（黑盒）注：白盒：攻击者了解被攻击的系统的细节黑盒：攻击者不了解被攻击的系统9 9二、声纹对抗样本攻击-关键科学问题与技术路线二、声纹对抗样本攻击-关键科学问题与技术路线提高攻击性：改进白盒模型提高迁移性：迁移学习+集成学习提高模型透明度：剖析模型决策过程1010Symmetric Saliency-based Encoder-Decoder(SSED)Saliency map loss:Angular loss:Final loss:(Here,is the speaker em

5、bedding of voice )Jiadi Yaoetal.SymmetricSaliencybasedAdversarialAttackToSpeakerIdentification,IEEESignalProcessingLetters2023.二、声纹对抗样本攻击-白盒攻击二、声纹对抗样本攻击-白盒攻击提高白盒攻击的攻击能力提高白盒攻击的攻击能力同时提高了对抗样本的信噪比和攻击成功率，且具有高时效性同时提高了对抗样本的信噪比和攻击成功率，且具有高时效性1111Jiadi Yaoetal.SymmetricSaliencybasedAdversarialAttackToSpeakerI

6、dentification,IEEESignalProcessingLetters2023.二、声纹对抗样本攻击-白盒攻击二、声纹对抗样本攻击-白盒攻击1212Jiadi Yaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023.二、声纹对抗样本攻击-黑盒迁移攻击二、声纹对抗样本攻击-黑盒迁移攻击通过通过MDCT变换提高白盒攻击的黑盒迁移能力变换提高白盒攻击的黑盒迁移能力1313Jiadi Yaoetal.InterpretableSpectrumTransformationAtt

7、ackstoSpeakerRecognition,IEEETASLP,2023.单模型攻击二、声纹对抗样本攻击-黑盒迁移攻击二、声纹对抗样本攻击-黑盒迁移攻击单模型攻击造成声纹识别系统的错误率（单模型攻击造成声纹识别系统的错误率（EER）达到）达到44%1414Jiadi Yaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023.多模型组合攻击二、声纹对抗样本攻击-黑盒迁移攻击二、声纹对抗样本攻击-黑盒迁移攻击多模型组合攻击造成声纹识别系统的错误率（多模型组合攻击造成声纹识别系统的

8、错误率（EER）达到）达到65%目录目录一、研究背景及研究意义二、声纹对抗样本攻击一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御三、声纹对抗样本防御四、总结四、总结15151616三、声纹对抗样本防御-研究现状三、声纹对抗样本防御-研究现状研究方向缺点优点方法研究方向缺点优点方法改进训练数据的合成方法模型训练规模大，对抗样本造成声纹识别模型精度下降、泛化能力依赖于所使用的对抗攻击种类声纹识别模型自带防御功能混合训练提高语音纯化质量对任意样本都进行语音纯化（增强），可能造成声纹识别系统性能下降，泛化能力依赖于所使用的对抗攻击种类对任何样本都可以进行有效声纹判定纯化改进检测模型

9、被误判的纯净样本会被丢弃不改变样本检测注1：混合训练和纯化本质相同，但是混合训练需要修改声纹识别模型1717Diffusion模型纯化Y.Bai,etal.DiffusionBasedAdversarialPurificationforSpeakerVerification,submittedtoIEEESPL2023.三、声纹对抗样本防御-纯化防御1三、声纹对抗样本防御-纯化防御11818Y.Bai,etal.AdversarialPurificationforSpeakerVerificationbyTwoStageDiffusionModels,submittedtoInterspeec

10、h 2024.三、声纹对抗样本防御-纯化防御2三、声纹对抗样本防御-纯化防御2两阶段 diffusion模型纯化白盒攻击结果黑盒攻击结果纯净语音1919S.Chen,etal.TextualDrivenAdversarialPurificationforSpeakerVerification,submittedtoInterspeech 2024.三、声纹对抗样本防御-纯化防御3三、声纹对抗样本防御-纯化防御3大语言模型驱动的diffusion模型纯化提高纯化防御的泛化能力是未来亟待解决的关键问题提高纯化防御的泛化能力是未来亟待解决的关键问题2020基于规则Mask的对样样本检测X.Chen

11、,etal.MaskingSpeechFeaturetoDetectAdversarialExamplesforSpeakerVerification,APSIPAASC2022.掩模方法基于规则的掩模1基于规则的掩模2三、声纹对抗样本攻防-对抗样本检测1三、声纹对抗样本攻防-对抗样本检测12121基于可学习Mask的对样样本检测方法实验X.Chen,etal.LMD:Alearnablemasknetworktodetectadversarialexamplesforspeakerverification,IEEE/ACMTASLP2023.训练方法：无需知道对抗样本，对攻击方法具有通用性三

12、、声纹对抗样本防御-对抗样本检测2三、声纹对抗样本防御-对抗样本检测22222实验条件：12种attacker（包括白盒和黑盒攻击）2种声纹识别系统5种比较方法三、声纹对抗样本防御-对抗样本检测2三、声纹对抗样本防御-对抗样本检测2防御能力相对提高超过防御能力相对提高超过30%目录目录一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御四、总结四、总结2323五、总结五、总结2424声纹对抗攻击白盒攻击基于显著性检测的对抗样本生成黑盒迁移攻击基于MDCT变换的对抗样本迁移性增强法声纹对抗防御对抗样本纯化基于Diffusion模型的三种纯化方法对抗样本检测基于规则的通用对抗样本检测基于可学习掩模的通用对抗样本检测谢谢！谢谢！张晓雷张晓雷第四届声纹识别产业发展与创新研讨会第四届声纹识别产业发展与创新研讨会西北工业大学2024年3月29日

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（鲁棒声纹识别的对抗防御-张晓雷.pdf）为本站（张5G）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

鲁棒声纹识别的对抗防御-张晓雷.pdf

鲁棒声纹识别的对抗防御-张晓雷.pdf