1、有关预测性建模实际应用的进一步思考上文中我们对预测性建模的理论进行了简单的介绍，而在实际建模过程中，只简单应用上述理论是远远不够的，我们需要根据具体问题做多方面的考虑和分析。数据科学家们需要根据具体的业务问题和场景来定义所要预测的目标(即定义数据标签)。以预测性核保为例，可以综合考虑核保标签和理赔标签两类信息为数据打标签。对于寿险、重疾等长险，可以定义保单生效两年内发生理赔的数据为高风险，其目的是为了重点筛选逆选择倾向(未必一定是逆选择)的保单;也可以根据保单年逐年打标签，其目的是为了挖掘风险模式，为定价调整提供思路和方向。对于短期健康险、车险等一年期产品来说，标签的定义相对直接，例如在完整保
2、单年内有无发生(重度)理赔。当然，标签定义中也可以考虑核保结论，比如利用机器学习技术进行数据聚类，然后请核保专家进行二次打标签。预测性模型能够成功用来预测某一目标的前提是模型的输入和输出是高度相关的。如果输入和输出完全不相关(即相互独立)，那模型的预测就像是掷色子完全随机，起不到预测分析的目的。在建模之前，可以对输入和输出变量进行相关性分析，对数据集的可预测性进行定性分析。此外还需要对各数据维度进行其他分析和预处理，例如规范整理数据字典、分析和补齐缺失值、发现和处理异常点等。很多数据科学家都被问过这个问题，想要准确回答这个问题并不容易。需要考虑数据标签的分布是否平衡、数据集质量的好坏、前端业务
3、对模型准确率的期望高低等不同方面。相较于数据标签分布平衡的数据集来说(例如车险产品的理赔率可能会达到30%)，当数据标签分布高度不平衡的时候(例如长险产品的理赔率很低，从而导致标签阳性率16 也很低)，一般就需要更多的训练数据去捕捉稀有的标签类别(针对不平衡数据集可以利用数据增强等相关技术处理)。此外，如果对模型准确率要求较高，就需要扩大数据集的规模，并尝试使用更复杂的模型对数据进行更好的拟合。一般来说，广义线性模型是利用多个自变量的线性叠加进行预测，根据不同的链接函数可以分别预测布尔值、连续值、频率值等不同类型的因变量，进而可以应用到解决二分类、预测理赔金额、预测理赔频率等具体问题中。而树模
4、(决策树、随机森林、GBDT、LightGBM等)在工业界的应用非常广泛，其优势包括但不限于：不需要对数据进行复杂的预处理、支持多种数据类型、模型解释性较强、高鲁棒性、现有开源包支持大规模并行建模、调参过程相对容易可控、可以快速拟合非线性关系等。随着数据的大规模收集，深度神经网络在各大机器学习竞赛中高居榜首，其优势是叠加几十、上百个神经层，利用各种定制化的网络结构、激活函数、损失函数等能更好地拟合逼近复杂的非线性关系。为了得到更高的模型准确率，人们尝试不断增加网络层数，然而副作用是对数据量的需求也显著增多。此外，深度神经网络的输出结果非常难以解释，从而影响结果可信度和可接受度。随着机器学习模型
5、在银行、医学、保险等领域的广泛应用，如何直观、准确地理解模型决策(结果)的原因对满足监管需求和指导前端业务有着重要意义。不同模型类型的可解释性不同，例如广义线性模型、决策树这类模型本身即可解释其决策原因;而深度神经网络、集成模型这类黑盒模型则需要利用一些方法对训练好的模型进行事后解释。此外，针对单一数据进行解释的行为称为局部解释，针对全量数据集的解释称为全局解释。常用的模型解释方法有特征排列重要性(feature permutation importance)、部份依赖图(partial dependency plot)、LIME、SHAP等。伴随模型解释而来的另外一个话题是模型的公平性，尤其考虑到性别、种族等信息。这里就不展开讨论了。
sgpjbg002
工作日 8:30 - 17:30
报告分类
