1、华为云深度学习在文本分类中的实践华为 Cloud&AI32314分类算法简史深度学习架构难点应用案例目录4文本分类介绍内容：买没几天就降价一点都不开心，闪存跑分就五百多点点-外观漂亮音质不错，现在电子产品基本上都是华为的了-汽车不错，省油，性价比高-这个政策好啊，利国利民-电子税务局无法登陆，提示404。-税务局相关个人所得税APP，注册的时候操作错误，怎么办？-个税app相关f(text)=label词句子篇章对话5文本分类方法简史-机器学习特征提取特征选择输入文本模型训练模型部署评测label预测标签词袋TFIDFNgram词典卡方PCA互信息RFE分类器SVMLRXGBoost随机森林6

2、文本分类方法简史-深度学习输入文本模型训练模型部署评测label预测标签RNNCNNLSTMDCNNAttentionHANTransformerElmoBERTMT-DNN7文本分类方法简史-深度学习神经网络语言模型2003 神经网络NLP里程碑：Word2vec2013CNN RNN2014左右Attention2014Elmo,Bert 2018解决维度灾难预训练+微调注意力机制端到端训练符号-向量8预训练+微调大规模语料训练通用语言模型在目标语料上微调语言模型在目标语料上训练分类器BERTECE1T1E2T2EnTn模型：数据：目标：预测mask词和下一句BERTECE1T1E2T2E

3、nTn分类器模型：数据：手机不错，高大上手机不错，高大上正面正面手机太差劲了，又贵又卡负面续航给力，价格实在正面91324分类算法简史深度学习架构难点应用案例目录10深度学习框架Standard raw textTokenizationIndexingPre embeddingClassificationMatchingWordpieceKeras tokenizerJiebaHanlpModel SavingDeploymentTestingVocabSequence labelingHuawei tokenizerword2vecElmopbckptH5(Keras)RESTful API

4、RPC APIFunction testConcurrence testSecurity testMulti classMulti labelpreprocessorTraditional-simpleChar replacementSynonym replacementChar filterFeaturizerClassification/Matching/Sequence labelingTF modelSklearn model featureCountvectorizerSentence encoderchar.Stop word removalsklearn model.手機不錯，高

5、大上手机不错，高大上手 机 不 错，高 大 上1,22,32,46,876,55,98,20111234分类算法简史深度学习架构难点应用案例目录12数据不均衡13数据不均衡预处理方法预处理方法 上采样 下采样 SMOTE 数据增广集成方法集成方法 SMOTEbagging改损失函数改损失函数 Focal loss“An Insight into Classification with Imbalanced Data:Empirical Results andCurrent Trends on Using Data Intrinsic Characteristics.”Information S

6、ciences 250(November 20,2013):11341.-特斯拉人工智能主管Andrej Karpathy14数据标注成本高 主动学习框架：选择策略：基于置信度4000000600080001000012000人工标注系统标注样本数目0.840.930.750.80.850.90.95人工标注系统标注效果：F1未标注集合种子语料机器学习模型人工标注15华为云主动学习平台16华为云主动学习平台171243分类算法简史深度学习架构难点应用案例目录18情感分析0.00%20.00%40.00%60.00%80.00%100.00%AccuracyPrecisio

7、nRecallF1 score和友商效果对比-汽车领域华为1华为2友商1友商2友商3友商40.00%20.00%40.00%60.00%80.00%100.00%AccuracyPrecisionRecallF1 score和友商效果对比-电商领域华为1华为2友商1友商2友商3友商40.00%20.00%40.00%60.00%80.00%100.00%AccuracyPrecisionRecallF1 score和友商效果对比-社交领域华为1华为2友商1友商2友商3友商4 内容：内容：买没几天就降价一点都不开心，闪存跑分就五百多点点-外观漂亮音质不错，现在电子产品基本上都是华为的了-汽车不错

8、，省油，性价比高-这个政策好啊，利国利民-19细粒度情感分析0.750.80.850.90.951动力外观内饰空间操控油耗舒适性性价比汽车细粒度情感分析各属性结果AccuracyF 定制化定制化LossLoss，单模型多输出，单模型多输出 数据标注灵活数据标注灵活 结合数据增强，针对结合数据增强，针对不均衡数据做优化不均衡数据做优化评论评论动力动力外观外观空间空间油耗油耗2.0T涡轮增压发动机动力强，高速120超车没压力；外观是我和老婆都比较喜欢的款；后排空间有点小；有点费油啊。20其他分类案例客服话题分类识别客户对话过程用用户反馈的话题类型，并进行热点话题分析等。准确率：96%税务问题分类识

9、别用户在税务局中咨询的问题类型，并进行热点问题分析。准确率：99%广告检测识别文本是否是广告。如“去屑洗发水，全国包邮”。准确率：92%案件描述分类对案件描述进行分类，并进行可视化展示。准确率：93%政务问题分类识别用户所问问题类型并进行热点问题分析。准确率：98%Copyright2018 Huawei Technologies Co.,Ltd.All Rights Reserved.The information in this document may contain predictive statements including,without limitation,statement

10、s regarding the future financial and operating results,future product portfolio,new technology,etc.There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements.Therefore,such information is provided for reference purpose only and constitutes neither an offer nor an acceptance.Huawei may change the information at any time without notice.Thank You.