《e成科技:AI+HR黑科技秘笈-AI赋能人力资本智能化变革(2023)(98页).pdf》由会员分享,可在线阅读,更多相关《e成科技:AI+HR黑科技秘笈-AI赋能人力资本智能化变革(2023)(98页).pdf(98页珍藏版)》请在三个皮匠报告上搜索。
1、AI+HR黑科技秘笈A I 赋 能 人 力 资 本 智 能 化 变 革e 成 科 技 H R 图 灵 学 院 出 品a i.i f c h a n g e.c o mAI黑科技揭秘顶尖科学家团队力作AI+HR创新应用前言前言献给走在数字化浪潮前沿的 HR 们,数字经济时代已全面开启,大数据、人工智能、云计算等新科技推动经济、社会、企业发生翻天覆地的变化,也将赋予人力资本巨大的变革力量。企业纷纷在寻求智慧变革,人力资源部门是推动企业变革的重要动力之一,HR 也要时刻随着时代和科技的变化而 变化,找到并驾驭合适、高效的智能化工具。在这场浪潮中,思变的企业和 HR 们已经开始寻求变革新路径。作为人力
2、资本数字化平台和数字化人才战略的先行者,e 成科技将始终与您同在,携手开启人力资本数字化新时代!”本专栏内容由 HR 图灵学院出品,HR 图灵学院是 e 成科技打造的 HR 领域第一 AI 专栏,希望以此为窗口,向 HR 传达专业的 AI 知识与信息,赋予人力资本领域变革力量,以 AI 为钥,携手 HR 开启数字化变革之门!在这里,HR们可以得到前沿技术思考、行业技术干货、全球 AI 好物、HR+AI 创新应用等。目录第一部分 人岗匹配让 AI 技术提升人岗匹配效果,我们做了这些探索解锁这项 AI 黑科技,马上实现人岗匹配自由第二部分 人才画像人才画像画得好,数字化 HR 有妙招第三部分 音视
3、频面试AI 面试官来袭,HR 你准备好了吗?第四部分 RPA一文读懂 RPA、AI 与 HR 的关系真技术还是伪 AI,HR 如何选择合适的智能工具?第五部分 智能聊天机器人请回答 BERT:HR 聊天机器人强大聊天技能背后的秘密第六部分 人工智能历史人工智能演义第一回:阿兰图灵开山鼻祖,达特茅斯豪杰聚义人工智能演义第二回:遇险阻创始人早逝,敢坚持三剑客逆袭人工智能演义第三回:一脉相承得失公论,两度寒冬冷暖自知第七部分 智能职业发展规划叮,您的智能职业发展规划师已上线第八部分 人才盘点看过那么多大厂经验,依然做不好人才盘点?你需要这款 AI 利器!02-0910-17 18-23 24-29
4、30-36 37-42 43-51 52-6061-68 69-75 76-84 85-941目录|2第一部分|场景:人岗匹配内容:让 AI 技术提升人岗匹配效果,我们做了这些探索解锁这项 AI 黑科技,马上实现人岗匹配自由AI 黑科技:Embedding、知识图谱(KG)方法、自然语言处理(NLP)、非线性树模型、deep 模型、BERT、Word2Vec 模型等本期和大家讨论下“人岗匹配排序的探索与实践”。从人力资源管理的发展来看,人岗匹配大致经历了三个阶段,“三历对照法”、“冰山挖掘法”、“全人匹配法”,而 AI 技术的引用将为企业迎来第四个“数据解剖法”。AI 技术实现人岗匹配,离不开
5、数据的处理和模型的选择与训练,看似高深、复杂的人岗匹配算法模型背后,这一切是怎么实现的呢?本期院长就和大家探讨下不同模型在人岗匹配实践中的创新应用。“人岗匹配”是企业人力资源管理的核心问题,更是所有 HR 追求的目标。毫不夸张地说,“人岗匹配”是人力资源的起点,也是人力资源的核心目标之一。本质上,企业和个人是利益共同体,只有使得组织利益和个体价值得到统一,做到“岗得其人”、“人适其岗”,根据人不同的素质和个性将其安排在最合适的岗位上,做到“人尽其才,物尽其用”,才能使人才发挥最大价值,同时激活组织。那么,HR 如何做好人岗匹配呢?以前,在千百万份简历中筛选人才,是 HR 工作中“解不开的劫”,
6、每天花费大量的时间和精力对优秀简历和职位信息人工做匹配,不仅消耗着 HR 的积极性,往往结果也不尽如人意,筛不到合适的人才,难以满足业务部门的需求。现在,数字经济时代的新技术给 HR 带来了更多可能,AI 技术将助力 HR 实现智能人岗匹配、大大提升人岗匹配效率与准确率,将 HR 从机械、琐碎的招聘工作中解放出来。第一部分让AI技术提升人岗匹配效果,我们做了这些探索3第一部分|那么,实现 AI 人岗匹配背后的依据和逻辑又是什么呢?e 成科技基于前沿的自然语言处理技术和深度学习模型,并结合大量数据和知识图谱,通过不断探索和反复实践,形成一套高效的人岗匹配推荐算法系统,下面院长将详细为大家介绍这套
7、系统及其背后的逻辑。在人岗匹配的任务中存在 HR、职位(JD)、简历(CV)三种实体,人岗推荐系统中由 HR 发布职位,根据发布职位来推荐简历,该场景中需要优化推荐的准确率、召回率,提升 HR 更高的工作效率,提升岗位和简历的匹配度来减少招聘人才的成本。在经典的机器学习排序模型中通常分为两种:复杂的人工特征工程+简单的模型,简单的人工特征+复杂的模型。本着该原则我们对以文本为主的职位和简历对进行了匹配排序实践。以 JD 和 CV 对为背景,该场景为经典的机器学习排序问题,目标在于预测 JD 和 CV 是否匹配,数据集的采集则是来自我司产品 ATS 平台,HR 从系统根据 JD 推荐的 CV 来
8、进行选择,符合要求将要走面试程序的则标为 1,否则标为 0。2.1 特征介绍常见的 JD 如下图 1 所示,其中包含格式化离散数据和整段文本数据,从整段文本数据获取招聘意图是提取 JD 特征的重点难点。为了更好的解决该问题,我们分别引入知识图谱(KG)方法和自然语言处理(NLP)方法,其中 KG 负责去充分提取文本中实体的关系和联系,NLP 则更好的获取 JD 本文和 CV 文本相似性信息。因涉及个人隐私此处不展示 CV 信息。01特征为王4第一部分|图 1 JD 示例在以 JD 和 CV 对是否匹配的背景下,我们将特征主要分为以下几类:JD 特征:包含地点,学历硬性要求和利用知识图谱中提取的
9、实体特征如(职能,公司,技能,专业,行业)等;CV 特征:包含性别,年龄,学历等基础信息和从工作经历描述文本中提取的实体信息,以及文本类特征等。2.2 特征处理 在获取 JD 和 CV 的基础特征之后我们主要将特征主要分为四种类型:ID 离散特征:比如 UID,职能 ID,公司 ID,行业 ID,技能 ID,专业 ID 等。硬性离散类特征:除了性别,年龄,工作地点等基础类型特征,还包含有知识图谱提取的实体之间的关系特征比如学校是否匹配,职能(工作职位对应能力)是否匹配等,此处成为 match特征。连续性特征:除薪资等,还包含有知识图谱提取的实体之间的 graph embedding 的 vec
10、tor 相似性值,此处成为 IDsim 特征。Emdedding 特征:包括了 ID 离散特征的 vector,该 vector 有知识图谱的 graph embedding 方法产生(如 DeepWalk,LINE 等)。文本 embedding 特征,该特征以 JD 和CV 对的方式输入 DSSM 模型产生 vector。在此基础上我们还加入了相应统计特征,统计特征主要有强特征的共现特征以及强特征之间的多样性统计。特征之间的应用以及组合根据模型不同而展开讨论,不同模型对不同特征的表征能力不同。在模型方面主要可以分为两个总方向,分别是非线性树和 deep 模型的探索,在探索上主要是根据不同模
11、型的性质进行特征工程。3.1 非线性树模型 我们主要以 gbdt 为主的树模型展开特征工程的探索,gbdt 的实现以xgboost 和 lgb 为主。gbdt 模型结构如图 2 所示,gbdt 为一个 boosting 模型,通过叠加多个弱模型来提升拟合能力,根据 xgboost 模型的优缺点我们可以充分挖掘可用特征。我们再次整理上一节可用特征,主要有 ID 类特征(职能、行业、公司、技能、专业等);基本信息匹配特征(年龄,工作经验,学校等)该特征为二分类特征,以 JD 和 CV 的 ID 类特征是否匹配来构建二分类特征(如职能是否匹配等称为 match 特征),将这两类统称为硬性离散类特征;
12、JD 和 CV 类的 graph embedding 产生 vector 对计算余弦值作为连续特征(称为IDsim 特征),加上文本相似性特征(称为 textsim 特征)和薪资组成连续特征。值得注意的是文 本 特 征 主 要 根 据 JD 和 CV 的 格 式 分 为 title 和 description 两 个 部 分 来 挖 掘。考 虑 到xgboost 处理连续值的缺点我们将连续值进行分桶,桶数可由某维特征的分布来确定。将 ID 类特征也一同加入到树模型中,这是考虑到组合特征的业务意义。分析特征重要性之后,我们根据特征现象去做统计特征,比如出现频率统计,特征共现统计,多维特征多样性统
13、计等操作。相对应的 title 和 description 文本特征也可通过简单的加权命中率来构成特征加入到树模型中。总之实验证明 ID 类特征,二分类特征,连续特征离散化,统计类特征,以及 embedding 产生的 vector 的交叉特征都会给模型带来正向收益。图 25第一部分|02模型演变3.2 深度模型的探索 深度模型对比树模型更加突出了非线性的拟合能力,以及高阶特征的交叉融合功能。但是带来的弊端就是模型的可解释性变差,根据结果反向特征工程变得困难起来。我们在 JD 和 CV 匹配场景下分别使用了 DNN,Wide&Deep,DeepFM,等模型尝试。同时并借鉴了 PNN、DCN、D
14、LRM 和 DKN 网络原理正在适配适合现有数据类型的模型。本节主要简要介绍 DNN 和 Wide&Deep,DeepFM 的使用,再阐述对现有数据的思考。以 YouTube 的经典 NN 为开端(如图 3,引用自相应论文),现有的数据下如何去使用 DNN 达到收益正是我们所考虑的。在现有的特征中除了上文提到的二分类特征,embedding 相似性等特征之外我们包含知识图谱抽取的实体 embedding 和文本 embedding。文本 embedding 主要有 DSSM 模型产生,双塔模型的输入分别为 JD 的 title、description,CV 工作经验的title、descrip
15、tion,双塔输出为 JD 和 CV 是否匹配。我们以双塔的每坐塔的最后输出 vector作为 JD 和 CV 的表征。本着论文中提到的原理我们去除了树模型中 ID 类特征,换成了 ID 对应的 vector,保留原有的二分类和连续特征,另外在加入了文本 embedding 特征,最后的结果不是很乐观。因此分析原因可能是某些特征缺失 ID(比如 CV 职能等)初始化为 0 导致,还存在的原因可能是由于 ID vector 的知识结构和文本 embedding 知识结构不同导致,此处知识结构可以理解为不同训练任务下的 embedding 空间结构。6第一部分|图 3经历了 DNN 尝试没带来正向
16、收益我们偏向于以线性和深度非线性结合的 Wide&Deep 结构(如图 4)进行适配,此时我们考虑到 DNN 的实验产生的问题。7第一部分|图 4图 5我 们 并 未 直 接 加 入 由 知 识 图 谱 产 生 的 ID embedding 和 由 文 本 DSSM 模 型 产 生 的 文 本embedding 的结果,我们采用 ID 类特征进行随机初始化的 embedding 在连接 match,IDsim和 textsim 等特征作为 deep 的输入,将 match,IDsim,textsim 连接作为 wide 的输入。以输入 ID 类特征,match 类特征,IDsim 特征,tex
17、tsim 的 xgboost 模型作为 wide&deep 的比较模型,实验证明 wide&deep 模型略优于 xgboost 模型,但是如果对此基础上 xgboost 做统计特征则可超过 wide&deep 模型。以上可得 deep 模型非线性表征能力还是略微的比 xgboost能力强。经 过 wide&deep 模 型 的 实 验 基 础 上 我 们 想 更 加 利 用 交 叉 特 征 的 功 能,因 此 我 们 尝 试 了deepFM 模型,deepFM 模型结构图如图 5 所示(引用自 deepFM 相应论文),deepFM 将wide&deep 的 wide 部分替换成了 FM 机
18、制提升了模型对特征的交叉组合能力。根据此模型特征我们将 UID,图谱产生的 ID 类特征等稀疏特征输入 FM 部分,match 特征、IDsim 特征以及textsim 特征为 dense 特征输入。结果很是令人欢喜,达到了以上实验的最优值,可能这就是深度学习带来的魅力吧。8第一部分|在喜悦的同时,我们想现有的 ID 初始化 embedding 都能产生如此大的魅力,利用 graph embedding 岂不更加喜人。在 DeepFM 模型输入基础上我们将 ID 的 graph embedding 也加入到模型的 dense feature 部分,然而实验证明并没有想当然的好,甚至产生了负作用
19、。但至少证明了特征交叉能带来收益,至于 graph embedding 的加入为啥效果不好却是值得思考和探索的问题。经过上面的探索我们获取了一些经验,例如交叉特征有用,用 embedding 产生的向量两两相似性计算对树模型有用,因此我们本着上面积累的经验进行了人工构建交叉特征作为 xgboost 模型的输入。在此基础上加入统计特征,这波操作再次给我们带来了 0.5%的收益。最后总结下模型方面的探索结果,以上实验说明我们还没有充分利用 graph embedding 和由DSSM 产出的文本 embedding,也证明了 embedding 内涵的巨大作用,后期我们将加大力度去挖掘该部分的内容
20、。4.1 现阶段成果 经过上文特征和模型的探索在此我们分方案来展示我们的实验结果,分别包含以下方案:方案 1:ID 类特征+match 特征+IDsim 特征+textsim 特征+gbdt方案 2:ID vector 特征+match 特征+IDsim 特征+text vector 特征+dnn方 案 3:ID 类 特 征(随 机 初 始 化 embedding)+match 特 征+IDsim 特 征+textsim 特 征+deepFM方案 4:ID 类特征+match 特征+IDsim 特征+ID vector inner(交叉)特征+textsim 特征+统计特征+gbdt主要以这四
21、种有效的递进关系来展示,其中多种的组合尝试就不一一列举了。效果如表格 1 中,我们的评价指标主要为正例的准确率,召回率,F1 值和总的 AUC 值作为评价指标。03现阶段成果和未来展望表 1以上结果都为数据清洗特征工程后结果,本次数据量 JD 和 CV 对大致为 86 万,其中负例和正例比大致为 7:1,我们将其随机分成 8:1:1 其中 8 成训练集、1 成训练集和 1 成测试集。4.2 未来展望 特征为王说法不无道理,在加入深度学习探索时应该思考数据质量与数据量是否能支持,在数据质量和量的保证下我们相信深度学习带来的魅力是巨大的。最近由 Facebook 出品的 DLRM处理异构 embe
22、dding 的能力使我们跃跃欲试。另外由微软出品的 DKN 网络也证明了 graph embedding 所隐藏的信息量对推荐效果有很大帮助。文献 5 中结合知识图谱在电商环境下的推荐也使得我们相信充分挖掘 embedding 信息可以带来不错的收益。作为以技术为驱动的企业,e 成科技在 AI 技术的基础上,创新性地提出基于人才画像和岗位画像的匹配,为人岗匹配带来革命性变革。e 成科技作为 HR+AI 赛道的领跑者,一直专注于 AI 技术在人力资本领域创新应用,开创性地将AI 技术与人力资本场景深度结合。基于 6 年的 AI 能力和行业经验积累,e 成科技打造了 AI 开放平台,将 AI 能力
23、和产品整合至 AI 开放平台,并通过开放平台将 AI 能力开放给所有企业和友商。e 成科技 AI 开放平台是 HR 赛道首个企业自主研发的聚焦人力资本场景的一站式 AI 能力服务平台,覆盖简历解析、人岗匹配、HR 机器人等诸多场景,通过 OpenAPI 及需求定制等形式,面向所有自研系统大型企业、垂直招聘平台、传统 HR 行业厂商等企业用户提供智能化服务。未来,我们将一直保持高效的创新与研发能力,将前沿的 AI 技术深度融合至人力资本场景,为所有企业赋能。文献引用:1 Chen T,Guestrin C.XGBoost:A Scalable Tree BoostingSystemJ.2016.
24、2 Covington P,AdamsJ,Sargin E,et al.Deep Neural Networks for YouTube RecommendationsC.-conference on recommender systems,2016:191-198.3 Cheng H,Koc L,Harmsen J,et al.Wide&Deep Learning for Recommender SystemsC.conference on recommendersystems,2016:7-10.4 Guo H,Tang R,Ye Y,et al.DeepFM:AFactorization
25、-Machine based Neural Network for CTR Pre-dictionJ.arXiv:Information Retrieval,2017.5 Wang J,Huang P,Zhao H,et al.Billion-scale Commodity Embedding for E-commerce Recommen-dation in AlibabaC.knowledge discovery and data mining,2018:839-848.作者:e 成科技人岗匹配团队汪序明(扫描二维码查看文章)9第一部分|10第一部分|解锁这项AI黑科技,马上实现人岗匹配自
26、由人岗匹配,是企业人力资源管理的核心之一,更是 HR 招聘工作的精髓。传统工作方式下,简历搜索和人岗匹配往往消耗 HR 大量时间和精力,结果却往往不精准,随着人工智能和 NLP 技术的发展,一些招聘网站纷纷推出自动化推荐功能,但却同质化严重,准确率不高。现在“graph embedding”给 人 岗 匹 配 带 来 新 突 破!在 e 成 科 技 AI 团 队 的 实 践 和 研 究 下,“graph embedding”在人力资本领域落地且取得不俗效果,助力人岗匹配更加高效,这样的 AI 技术,作为 HR 的你值得拥有!在 NLP(自然语言处理)中,自然语言无法直接应用到数学模型的建立中,
27、需要将其映射到欧式空间。Embedding 就是解决如何将自然语言表示为向量的,Google 推出了 Word2Vec 模型,可以将语义相近的词映射到向量空间中相近的位置,之后 Google 又提出了 BERT,BERT 可以考虑到相同词在不同位置有不同含义等信息,利用这个新的语言模型刷新了问答、文本情感分析等多个语言任务的表现。同时,Embedding 也可以作为深度学习模型的隐藏层,可以极大提高模型的表现。自从 word2vec 横空出世,似乎各行各业的一切东西都在被 Embedding,Embedding 在数学上表示一个映射 F:X-Y,也就是一个函数,其中该函数是一一对应的而且保持空
28、间同构性(即在 X 空间是近邻的,则被映射到 Y 空间也是近邻的)。Embedding 技术被应用在了多种业务场景中:1)在 Airbnb 中实现实时个性化搜索,利用用户近几周或者近几个月点击过的房源行为数据实时对用户的搜索目标房源进行相似度比较和排序,这样既极大的提高了效率而且也保证的搜索房源的准确性提高了用户体验。2)在电子商务领域,根据用户的浏览和购买行为数据,通过深度学习模型可以将用户和物品同时嵌入(embedding)到相同的低维空间,然后利用 Embedding 计算用户和物品之间的相似度(匹配度)直接给用户推荐感兴趣的物品。01一切皆可Embedding在人力资本领域,求职者、公
29、司、职位、专业、技能等不同的实体间存在着多种类型的关系,构成了一个知识图谱(Knowledge Graph)。这里,我们主要关注的是 Graph Embedding(其实也可以称为 Network Embedding)。我们利用 Graph Embedding 技术,把这些实体嵌入到低维的向量空间,可以直接比较他们的相似性,并能大大的提高简历和岗位的匹配效果。对于具有较多类型节点且各类型节点的数量巨大来说这是比较好的尝试,而且取得了一些效果。由于 graph embedding 的广泛应用,同时衍生出了很多计算 embedding 的方法,下面我们介绍几种商业上比较常用的几种方法:1)Deep
30、WalkDeepWalk 3 是 KDD 2014 的一篇文章,我们常用的 word2vec 是根据词的共现关系利用skip gram 和 COBW 将词映射到低维向量。DeepWalk 算法思路其实是利用了 word2vec 生成 embedding 的一种方法 skipgram,对于已经建立的 Graph 来说每个节点可以是不同的实体且实体时间可以有不同的关系,从图上的一个节点开始随机游走(random walk),如果节点之间有 weight 可以根据 weight 的不同进行 walk 来生成类似文本的序列数据,实体 id 作为一个个词使用 skip gram 训练得到词向量。算法的大
31、体思路就是:根据图中节点随机游走-生成一定长度的序列-利用 skip-gram 进行训练。02生成Graph Embedding常用方法及其原理11第一部分|2)LINELINE(Large-scale Information Network Embedding)是 2015 年文章 4 中微软亚洲研究院提出来的一种算法,LINE 定义了两种度量节点相似度的方法:一阶相似度(First-order proximity)和二阶相似度(Second-orderproximity)。一阶相似度其中一阶相似度就是两个点直接相连的边的权重,且边权重越大说明两个点越相似,如果两个节点之间无连接,则一阶相似
32、度为 0;对每个无向边,定义顶点和的联合概率分布为:是顶点的低维向量表示,我们的目的就是使得经验分布和概率分布尽可能的接近,于是我们定义以下一阶相似度的目标函数:其中为两种分布之间的距离,为空间上的一个分布,=是它的经验分布,其中 W 为两点间边权重总和。我们选择 KL 散度来计算(2)式子。KL 散度的计算公式其实是熵计算公式的简单变形,在原有概率分布 p 上,加入我们的近似概率分布 q,比较两个概率分布的相似性:将,带入 KL 散度的公式我们得到其中 C 为一个常数,需要注意的是,一阶相似度仅适用于无向图,而不适用于有向图。12第一部分|二阶相似度二度相似性则是两个点之间共享多少相同的节点
33、,共享的相同节点越多,而且共享的边的权重越高则它们的相似性就越高。二阶相似性假定与其他顶点共享邻居顶点的两个点彼此相似(无向有向均可),一个向量和分别表示顶点本身和其他顶点的特定“上下文”,意为二阶相似。对于每个有向边,我们首先定义由顶点生成“上下文”的概率:式子(5)是一个条件分布,对于顶点,我们的目的就是要拟合与其经验分布。为边的权重,为相邻边的权重的和,因此最小化以下目标函数:d(,)上文已经说明,来表示顶点的度数。这里我们令利用 KL 散度同一阶相似性的推导类似我们可以得到二阶相似性的计算公式(去掉常数项)为:具体应用时,我们可以将一阶和二阶的得出的 embedding 进行拼接这样可
34、以得到更多的语义信息。3)Node2vecNode2vec5 算法是在 DeepWalk 基础上进行了改进,主要的创新点在于改进了随机游走的策略,DeepWalk 中根据边的权重进行随机游走,而 Node2vec 加了一个权重调整参数,同时考虑到局部和宏观的信息,并且具有很高的适应性。除了以上提到的常用的生成 embedding 方法,学术界和工业界还提出了很多方法,像 SDNE6、Struc2vec、Starspace7(Facebook 用的技术)、EGES(阿里巴巴推荐使用的技术之一)等。13第一部分|03Graph Embedding为人岗匹配带来新突破在人力资本行业最主要的两大核心要
35、素就是简历 CV 和工作岗位 JD,如何让 CV 和 JD 有效的匹配是人力资本行业一直非常重视的问题也是一个难题。我们在人力资本行业领域对 graph embedding 的尝试和应用,并且取得了一定的效果。1)原始文本处理想要有效的进行人岗匹配(即 CV 和 JD 的合理匹配),需要综合考虑包括职能、行业、技能、专业等维度在内的多维度匹配。首先应该提取 CV、JD 中的文本特征,可以利用深度学习模型提取出 CV、JD 的文本特征,我们这里称为实体。抽取出实体之后,我们就可以进行 CV 和 JD的匹配,对于自由文本来说除了 CV 和 JD 的实体完全匹配上,可以算他们的相似度,词的语义相似度
36、无法完全的诠释。举个例子:CV 的特征:技能实体(JAVA),职能实体(JAVA 开发工程师)、专业实体(计算机)JD 的特征:技能实体(Spring),职能实体(JAVA 后端开发)、专业实体(信息技术)从词的表面是无法区分他们的相似度的。下面就用到了 embedding,embedding 可以将这些实体嵌入到同一低维的向量空间,在空间中实体之间的距离可以通过数学公式计算从而表示他们的相似性。2)生成实体 embedding第一步:数据的生成,我们首先利用 CV、JD 中不同实体的共现,以及不同工作经历之间的跳转来抽取简历中的实体跳转,这些不同的实体之间可以构成 network 如图 1
37、所示。不同的实体就是不同的节点,实线就是节点之间的边也可以称为关系。图 114第一部分|第二步:使用 Deepwalk、LINE 生成 embedding。对于 Deepwalk 可以直接根据 network 生成不同的文本序列,利用 skip-gram 进行模型的训练。而对于 LINE 可以直接利用不同实体的共现次数作为模型的输入。第三步:优化训练数据。我们发现不同的实体出现次数的量级是不同的,比如专业在 JD 中就很少出现,这样就导致了数据的不平衡。我们解决的方式是,统计了不同实体之间的 tfidf、npmi(Normal Pointwise Mutual Information)作为实体
38、之间的权重,即表示了不同实体之间关系的强弱程度,之后再进行模型的训练。第四步:以上都是利用无监督的方式去训练 embedding,由于 e 成科技有自己独立的人力资源ATS 系统,包含了用户大量的真实行为数据。把其中匹配上的 CV、JD 作为正例,未匹配上的作为负例,构造出有监督的训练数据。将 JD 作为 query,CV 作为 title,利用 DSSM 模型(如图 2)进行有监督的模型训练。需要注意的是这里的 embedding 层并不是随机初始化的,而是利用第三步已经训练过的 embedding 作为预训练的权重。这样有监督训练的目的就是利用真实的行为数据更新 embedding 层的数
39、据,使得每个实体的 embedding 更能好的表达在招聘这个业务场景中的语义。图 1我们使用内部标注的评估数据对不同模型进行了评估,比较结果如下:15第一部分|以下是 fasttext 和 graph embedding 模型输出的 top 相关公司实体的一些例子。可以看到FastText 单单只从字面意思进行了相似度匹配;而 graph embedding 模型输出结果能够更好地包含了具有相似业务、相似规模的公司,具有更好的语义相关性。以下是 fasttext 和 graph embedding 模型输出的 top 相关公司实体的一些例子。可以看到FastText 单单只从字面意思进行了相
40、似度匹配;而 graph embedding 模型输出结果能够更好地包含了具有相似业务、相似规模的公司,具有更好的语义相关性。本文主要阐述了 Embedding 的原理以及一些应用,具体的阐述了 Graph mbedding 在人力资本领域的落地应用。Embedding 既可以作为计算各个实体的工具也可以作为深度学习中的 embedding 嵌入层增加模型的准确性。不夸张的说一切可以 embedding,而且 embedding 在很多领域都取得了不俗的成就,尤其是 NLP 领域。e 成科技作为 HR+AI 赛道的领跑者,一直专注于人力资本领域的 AI 创新升级,开创性地将 AI技术与人才战略
41、升级场景深度结合,我们已经将 embedding 技术应用到人岗匹配、面试 Bot等多实际场景,接下来我们将继续优化 embedding,助力 AI 技术在人力资源领域的更多应用。同时,基于积累多年的 AI 能力和行业经验,e 成科技重磅打造了 AI 开放平台,并将 AI 能力开放给所有企业和友商。e 成科技 AI 开放平台是 HR 赛道首个企业自主研发的聚焦人力资本场景的一站式 AI 能力服务平台,覆盖简历解析、人岗匹配、HR 机器人等诸多场景,通过 OpenAPI及需求定制等形式,面向所有自研系统大型企业、垂直招聘平台、传统 HR 行业厂商等企业用户提供智能化服务。04HR+AI领跑者,助
42、力每一个HR实现AI赋能16第一部分|17第一部分|参考文献:1 Banana,神奇的 Embedding,https:/ Ethan,Embedding 的理解,https:/ B,Al-Rfou R,Skiena S.DeepWalk:Online Learning of SocialRepresentationsJ.arXiv pre-print arXiv:1403.6652,2014.4Tang J,Qu M,Wang M,et al.Line:Large-scale information networkembeddingC/Proceedings of the 24th inte
43、rnational conference on world wideweb.International World Wide Web Conferences Steer-ing Committee,2015:1067-1077.5Grover A,Leskovec J.node2vec:Scalable feature learning fornetworksC/Proceedings of the 22nd ACM SIGKDD international conference onKnowledge discovery and data mining.ACM,2016:855-864.6W
44、ang D,Cui P,Zhu W,et al.Structural Deep Network EmbeddingC.knowledgediscovery and data mining,2016:1225-1234.7Wu,L.,Fisch,A.,Chopra,S.,Adams,K.,Bordes,A.,&Weston,J.(2017).StarSpace:Embed All The Things!arXiv preprint arXiv:1709.03856作者:e 成科技知识图谱团队白永斌(扫描二维码查看文章)18第二部分|场景:人才画像内容:人才画像画得好,数字化 HR 有妙招AI 黑
45、科技:Bert ELMo(Embedding from Language Models)模型 Embedding attention俗话说“人才画像画得好,HR 招聘快不少”。人才画像是现在企业人才招聘和人才管理的核心,并应用在人岗匹配、薪酬预测、人才盘点等诸多场景。数字化时代,画像成为人才招聘和人才管理的入口,通过上百个维度进行提炼、总结进行人才全方位刻画。但如何刻画画像,画像准不准,还得这背后默默运行的 AI 算法和知识图谱说了算。第二部分人才画像画得好,数字化HR有妙招01画像是什么?“画 像”的 出 现,得 益 于 大 数 据、云 计 算、人 工 智 能 等 新 技 术 的 飞 速 发
46、 展。用 户 画 像(persona)的 概 念 最 早 由 交 互 设 计 之 父 Alan Cooper 提 出:“Personas are a concrete representation of target users.”是指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型。如今,为了提高客户体验和运营效率,画像早已被应用在各行各业。金融企业是最早开始使用用户画像的行业,在人力资本领域,人才/岗位画像的应用大大提升了 HR 的工作效率和质量,是人力资本数字化的重要入口和核心要素。所谓人才/岗位画像,即是基于企业招聘的显性的职位描述和隐形的内在潜质共同组成的用户画像(以下简
47、称“画像”)。一张画像,没有读不懂的人才构建画像的核心工作,主要是利用存储在服务器上的海量日志和数据库里的大量数据进行分析和挖掘,给用户贴“标签”,而“标签”是能表示用户某一维度特征的标识。业界有一套较为成熟的画像构建方法,为了让画像成为可普遍使用的基础服务,需要对画像的字段进行数值化处理。其中结构化数据比较容易进行数值编码(例如:性别/年龄/工作年限等),而非结构化数据(例如工作经历/职能/技能等)多数为文本类型处理难度较高。对于非结构化数据,生成具备语义含义的 Embedding 是业界较为广泛使用的方案。职 能/技 能 可 以 统 称 为 用 户 的 知 识 体 系,即 使 每 一 个
48、职 能/技 能 生 成 了 具 备 语 义 含 义 的Embedding,如何通过聚合生成用户整个知识体系的数值表达并尽可能保留文本自身的信息,依旧是亟待解决的问题。在画像构建过程中,对于结构化数据业界已经积累了大量的成熟有效的方案。然而非结构化数据(例如文本类型)包含了更全面和深度的用户潜在信息,目前通过词向量加权平均依旧是主流使用的处理方法。此类方法存在一些缺陷:1.生成的 Embedding 完全基于语义表达,缺失了其内在业务含义;2.直接加权平均的方法,容易掩盖掉重要的信息,且权重不好定义。基于此,我们针对人力资本场景,借鉴 Bert 的思想提出了一个新方法,能够更好地用数学的方法对人
49、才/岗位画像进行表示。为了让 AI+数据驱动的数字化招聘更为精准智能,我们以 e 成科技独有的 HR 行业职能/技能知识图谱作为先验的业务知识,并基于海量简历和岗位描述数据(千万级),借鉴 Bert 的模型架构,专门对画像中的知识体系相关字段(职能/技能)进行了深度优化。该方法提供的知识表征,首先包含了技能/职能的内在关系,其次通过 attention 的方式聚合能保证重要业务信息的不丢失。经过优化的人才/岗位画像,在数字化招聘、人岗匹配、人才盘点、薪酬预测等多个下游业务场景中均取得显著的优化提升。部分场景举例人才选拔:通过人才画像分析,使人才供给与业务发展速度高度匹配,优化人才队伍配置效率,
50、降低人才流失率;人才任用:通过岗位画像和人才画像的分析与匹配度分析,实现人才和岗位最优配置,使优秀人才能充分发挥能力与主观能动性,提高人力资本效率;19第二部分|02ELMoVS Word2Vec,更优的特征提取器 薪酬预测:根据人才画像和岗位画像,结合行业岗位知识,分析人才/候选人技能及发展水平,预测候选人及企业未来薪酬水平;接下来,院长就将为大家介绍 e 成科技在有关领域的最新方案以及应用成果。Word2Vec 是近几年非常流行的 Word Eembedding 提取模型。模型通过预先构建的词表将输入语句中某单词前、后所有词语编码为多个 one-hot 向量传入模型,随后通过一个共享的参数
51、矩阵将这些向量映射到隐藏层,最后使用 softmax 将隐藏层的输出转化为词表中每个单词的概率作为输出,其中概率最高的单词即为最终预测结果。经过充分训练后,词表中每个单词的语义 信 息 已 经 充 分“嵌 入”了 用 于 映 射 输 入 层 和 隐 藏 层 的 参 数 矩 阵 中。使 用 时 只 需 用 单 词 的one-hot 向量和参数矩阵相乘就可以得到对应的 Word Embedding。这样的网络结构为 Word2Vec 带来了一个严重的问题,它无法为语言中常见的多义词提取Embedding。由于同一个单词在参数矩阵中只占据一个向量,网络只能将多义词的不同语义信息全部编码到相同的向量中
52、,反而降低了这些词向量的表达能力。此外,Word2Vec 只采用了一个线性隐藏层,特征提取能力较弱,对 Embedding 的表现也有很大的影响。ELMo(Embedding from Language Models)模型使用与 Word2Vec 截然不同的方式提取Embedding,并采用更优的特征提取器,很好地解决了多义词问题,同时增强了词向量的表达能力。模型使用两层双向 LSTM(Long Short Term Memory)单元作为模型中间层,其中正向LSTM 顺序接受输入语句中给定单词的上文,逆向 LSTM 倒序接受语句中给定单词的下文。训练完成后将输入层 Embedding 和两层
53、 LSTM 产生的 Embedding 加权结合后作为句中每个单词的 Embedding 使用。与 Word2Vec 查表式获取静态的 Embedding 不同,ELMo 可以根据上下文信息动态调整词语的 Embedding。多层 LSTM 特征提取器可以从文本中分别提取句法、语义等不同层次的信息,大大提升了词语特征的丰富程度。Attention 机制是近几年提出的新型特征提取器,在 NLP 领域的表现效果远超以往使用的卷积神 经 网 络 和 LSTM 等 技 术。Bert 的 优 异 表 现 正 是 建 立 在 这 一 机 制 的 基 础 上,多 层Self-Attention 单元构成的大
54、型网络和巧妙设计的无监督训练方式使模型可以利用丰富的自由文本进行训练,从中提取多层次的语言特征。20第二部分|03e成科技的应用:知识表征模型我们的知识表征模型(以下简称“模型”)同样使用了多层 Self-Attention 单元作为基本的特征提取器,尝试从 e 成科技丰富的数据中挖掘出可描述职能和技能各自特征及其相关关系的Embedding。为了训练这样的模型,我们借鉴并调整了 Bert 的设计思路,建立一套符合我们诉求的模型结构。模型将 e 成科技知识图谱中职能和技能的实体名称作为 Embedding 提取粒度,端到端地进行特征提取,避免字粒度模型提取特征后还需将其重新组合成词语的麻烦,也
55、减少了模型的信息损失。模型训练时,我们使用职能、技能前后拼接的数据结构,其中来自相同 CV 数据的职能、技能作为正样本,来自相似行业中不同 CV 数据的职能、技能作为负样本。正负样本数量比例为 1:1。为了防止模型仅抽取职能对技能的依赖关系,我们在将职能和技能调换顺序后的数据加入样本中同时训练,以提取双向的依赖关系。经过充分训练后,模型可以提供多样化的使用方式。模型最后一层输出和输入序列等长的Embedding 序列,其中第一个 Embedding 包含整条数据的特征,之后每个 Embedding 与输入序列的词语一一对应,分别是每个词语的动态特征。将序列头 Embedding 接入下游任务网
56、络中可以对模型进行 fine-tune,可进一步用于不同的细分领域任务。同时,其余 Embedding 也可以直接作为词语特征使用。考虑到模型结构复杂,运算时间较长,针对某些性能要求较高的业务场景,可以将模型输入层对应的 Embedding 作为静态词向量使用,通过查表方式大大简化运算流程。我们使用内部标注的薪酬预测、人岗匹配数据对不同模型进行了评估,结果如下:21第二部分|22第二部分|薪酬预测任务中,每个模型需要提取候选人的技能 Embedding 作为下游任务的参数,辅助判断候选人的薪酬水平。实验中模型之间互不影响,且使用相同的下游薪酬预测模型。结果中可以看到,我们的知识技能表达模型对下
57、游任务各项指标均有 5%左右的提升。而人岗匹配任务中,我们将岗位和候选人各自技能 Embedding 之和作为它们的特征向量,通过特征向量相似度判断候选人和岗位是否匹配。评估结果显示,我们的模型表现非常出众,提升效果明显。测试过程中,模型可以将大部分被覆盖的词语还原为正确结果,下面是从测试样例中抽取的部分未正确还原的情况。可以看到即使还原失败,模型也能够预测到行业内与正确结果相似的答案。数字化时代,HR 作为推动企业数字化升级的核心力量之一,通过数字化工具助力人才管理和人才引进数字化,已经成为必然趋势。e 成科技创新研发的画像+Bot 两大引擎,助力人才知己、企业知人、社会知命。利用大数据和人
58、工智能技术构建的画像,将对人才的素质、性格、职业动力都进行全方位描述,帮助人才认识自己,进行自我反思,同时帮助企业和 HR 更全面、更立体、更准确识别候选人,实现选、融、育、激各个环节高效的人才管理。(扫描二维码查看文章)23第二部分|作为 HR+AI 赛道的领跑者,e 成科技从创立伊始就将 AI 基因根植于业务,并开创性地将 AI 技术与人才战略升级场景深度结合。同时,基于积累多年的 AI 能力和 HR 行业经验,e 成科技重磅打造了 AI 开放平台,通过 OpenAPI 及需求定制等形式将 AI 能力开放给所有企业和友商。e成科技 AI 开放平台是 HR 赛道首个企业自主研发的聚焦人力资本
59、场景的一站式 AI 能力服务平台,覆盖简历解析、人岗匹配、HR 机器人等诸多场景,这些 HR+AI 的创新应用和智能产品背后,都是 e 成科技领先的 AI 能力和默默潜心研发的科学家及算法工程师们作为支撑。未来,e 成科技将持续打造更多创新智能产品,全面加速人力资本数字化升级!作者:e 成科技 AI 算法团队陈嘉钦场景:音视频面试内容:AI 面试官来袭,HR 你准备好了吗?AI 黑科技:机器学习、语音识别、面部识别、排名算法、计算机视觉技术、语义理解能力、跨媒体协同推理技术这回院长为大家带来一个神秘炸弹:猎豹(Leopard)项目!听起来是不是很炫酷?你一定想不到,这个猎豹(Leopard)项
60、目是做什么的吧?没错!就是众多候选人“闻风丧胆”的 AI 面试!这是 e 成科技 AI 算法团队研究的新成果,之所以起这个名字是希望我们的 AI 面试像草原上狩猎的猎豹一样敏捷高效!下面就随院长一起看看“这只猎豹”背后的黑科技吧!第三部分AI面试官来袭,HR你准备好了吗?01AI技术正在改变招聘说到 AI 面试,相信很多参加过校招的候选人都不陌生,被 HireVue 支配的恐惧还历历在目,不少小伙伴面完忍不住把一首“凉凉”送给自己对于很多企业和 HR 来说,AI 面试更是应用广泛。招聘是企业和 HR 亘古不变的主题,尤其是众多大厂每年要面临千百万量级的候选人,面对如此庞大的应聘者数量,AI 技
61、术无疑是简化招聘的利器。24第三部分|高速发展的智能科技结合视频面试,给企业面试带来巨大便利,于是越来越多的企业开始借助AI 的力量。过去几年,使用 AI 视频面试的公司从 14%上升至 60%,联合利华、欧莱雅、可口可乐、达能、高盛、瑞士银行、摩根大通等全球 600 多家企业陆续开始使用 AI 面试的形式进行首轮面试。在提供 AI 面试的企业中,以视频面试公司 HireVue 开发的服务最为著名。在一个典型的 AI 视频面试场景中,面试者需要面对摄像头回答虚拟面试官提出的一组问题,系统会根据面试者的回答情况,结合面试者声音及面部表情的信息,判断其能否通过这一场面试。图片来自 HireVue
62、官网之所以越来越接受的企业愿意类似的 AI 面试,院长觉得有如下几个原因:1.相比于传统的人工面试,基于音视频的 AI 面试可以在前期大大减少 HR 的工作量,降低企业成本;2.在简历筛选和初面阶段,由于不同面试官的专业水平和个人喜好不同,会使得面试存在着很大的偶然性。而基于 AI 的音视频面试的面试评价标准相对统一,对每个面试者也更加公平;3.基于音视频的 AI 面试除了能够对面试者的回答进行分析外,还可以对面试者的表情及回答内容给出实时的分析与反馈,既能提升面试者体验,也有助于提升公司的品牌形象。不过,要做到体验级的音视频面试能力,对于产品和技术的要求都是非常高的。不同的行业与招聘场景,对
63、于音视频面试的要求都是不同的,想要产品既契合场景且体验出色,少不了大量的细致考量与技术打磨。至于需要哪些技术?接下来院长就为大家揭示下充满科技感且看起来高大上的 AI 面试背后的黑科技。25第三部分|02黑科技揭秘:AI面试为何那么神2004 年 HireVue 成立之初,只是为了记录面试者视频数据,供 HR 参考。10 年后,HireVue 融入了 AI 技术,重新定义了“面试”。这些 AI 技术是基于机器学习的复杂算法,并结合语音识别以及面部识别,协同排名算法,通过 15000+个不同的维度(包括肢体语言、语音模式、眼神活动、做题速度、声音大小等)来对候选者进行评分。AI 面试可以通过 1
64、5000+个不同维度对候选者评分,图片来自 BusinessInsider之前有同学跟院长说,现在我们的语音识别和人脸识别技术都已经非常成熟,做基于 AI 的音视频频面试只是把这些能力进行一下组合,难度并不大。这种说法确实有一些道理,AI 面试产品的出现确实是得益于近年来人工智能飞速的发展,特别是深度学习在计算机视觉和语音识别等领域的广泛应用。但是,面试场景又对 AI 能力有很多特殊的要求,需要有针对性做大量工作,下面院长结合 e 成科技在这方面的研究成果和创新研发进行介绍:语义理解能力要对求职者的能力有好的判断,面试官必须对求职者所说的内容做到充分的理解,AI 面试官也不例外。除了够理解面试
65、者的意图,并且判断面试者的通用表达能力、语言逻辑性的通用语义理解外,AI 面试官还需要具备更加专业的知识。借助于六年来积累的大量人力资源行业专家知识及知识图谱,e 成科技开发的 AI 面试产品不但可以基于不同岗位的需求进行技能追问和熟练度判断,并且研发行业内首个 BEI 机器人,通过分析候选人提供的故事来判断其在不同岗位要求素质项上的评分。26第三部分|对话能力为了保证求职者拥有更好的面试体验,AI 面试官也得像普通面试官一样跟候选人流畅地对话,这除了依赖前面所说的语义理解能力外,也需要强大的对话能力作为支持。e 成科技近年来开发多款 HR 场景聊天机器人,并沉淀出统一对话框架 Snowbal
66、l。基于该对话框架,AI 面试机器人可以进行统一的意图识别和对话策略管理,并同时支持知识库问答和闲聊(Chitchat),带给候选人更好的面试体验。语音与视觉能力进行音视频面试非常核心的工作是对语音和视频内容的理解。其中语音识别是整个 AI 面试对候选人回答内容进行语义理解的基础。虽然业界语音识别技术已经相对成熟,但是针对面试场景尚存在大量识别错误的情况,需要借助专业领域数据及模型进行后续纠错。而除了基础的语音识别外,e 成科技的科学家和算法工程师们还在探索基于一些基础的语音信息对面试者的面试状态(比如,面试者是否紧张)、基础表达能力和普通话能力进行分析。在视觉方面,视频面试相比基于文字或者语
67、音的面试,最大的优势在于可以了解面试者的行为与状态,对于一些顶替、偷看资料等面试作假的情况,可以利用人脸识别和动作场景识别的计算机视觉算法进行识别。更进一步地,与 HireVue 等 AI 面试产品类似,e 成科技也在开发利用计算机视觉技术对面试者进行更细致的分析,比如借助微表情和情绪识别技术判断面试者在回答问题过程中的心理状态,甚至捕捉到一些候选人可信度不够高的回答。跨媒体有了音视频的处理能力,AI 面试官可以从视觉、语音、语义等不同维度获取候选人的信息,虽然每个维度都能够获取大量候选人信息,但要真正想把 AI 面试做好,必须对这些不同维度的信息进行统一分析。举个例子,当候选人在提到某个关键
68、概念时,说话的语气和眼神可能会有一些变化,那么可能候选人对该概念的理解是不到位的,这样的结论可以给面试官会带来非常大的参考和帮助。想要实现这样的功能,除了各个本身的内容理解外,还需要引入“跨媒体协同推理”技术。这一技术是新一代人工智能的重要组成部分,通过视听感知、机器学习和语言计算等理论和方法,构建出实体世界的统一语义表达,从而跨媒体的分析和推理。e 成科技在自己的音视频面试产品中大量采用了跨媒体技术,对不同的媒体信息来源进行整合分析,从而大大提升了对候选人判断的准确性。27第三部分|02黑科技揭秘:AI面试为何那么神AI 技术似乎具有与生俱来的争议性。虽然基于音视频的 AI 面试已经在很多场
69、合得到广泛应用,但是也有不少人对其产生质疑。一方面,到底 AI 面试官的信效度如何,能否达到专业面试官的水平?院长觉得机器和人类各有优劣,机器并不是要替代人类,而是要辅助人类,和人类更好地合作。在具体形式上,AI 面试官和专业面试官可以有很多协同方式,比如由 AI 面试官进行候选人的初筛,并且给后续专业面试官提供面试评价与建议。也有人会觉得 AI 面试可能产生一些伦理问题,如是否会产生一些对相貌和言语的歧视?其实这样的担心大可不必,任何新生事物出现总是会带来新的问题,但是凭人类的智慧一定可以处理好这些问题,让自己成为 AI 时代的受益者。简而言之,AI 面试的初衷是帮助优秀的候选人脱颖而出,从
70、而让招聘者重点关注优秀候选人;同时,可以大大帮助 HR 节省时间,把更多精力放在关注人才质量、选拔多样性上。人工智能是应对这些挑战的最佳方式。而从创立之初就将 AI 基因深植于业务的 e 成科技,一直在潜心研发和积累,致力于将 AI 技术深度应用于人力资本全场景中,推动人力资本智能变革。凭借自身在 AI 能力和行业经验的独特优势,以及来自全球顶尖跨媒体技术实验室的 AI 核心团队,拥有顶尖的跨媒体 AI 技术,结合多年积累的知识图谱与对话技术,e 成科技推出的 AI 面试机器人更是如虎添翼。e 成科技 AI 开放平台四大算法中台28第三部分|目前,e 成的音视频面试技术已经在一线员工自动化招聘
71、和候选人 Bot 等场景中落地,为大量的用户赋能,助力企业降本增效。未来,随着科技飞速发展,AI 技术正在根据大数据和深度学习不断优化和升级,AI 在行业的应用也会越来越广泛和深入,我们也必须拥抱变化,适应人机交互新模式,通过驾驭智能工具,实现数字化升级。e 成科技愿意借助于自身在 AI 开放平台、技术、产品、行业经验等优势,助您实现人力资本数字化新升级!作者:e 成科技 AI 算法团队刘洋(扫描二维码查看文章)29第三部分|场景:RPA内容:真技术还是伪 AI,HR 如何选择合适的智能工具?HR 图灵学院|一文读懂 RPA、AI 与 HR 的关系AI 黑科技:语音识别(ASR)、自然语言理解
72、(NLU)、对话管理(DM)、文本生成(NLG)、语音合成(TTS)、文本检索、情感分析、光学文字识别(OCR)近两年,科技行业热词里突然多了一个简写RPA,有人把 RPA 当作解放劳动力的救星,认为任何大规模、重复性工作都能用 RPA 机器人代替,大大节省了人力、时间和金钱。比如在人力资本领域,研究表明,HR 们大约 93时间花费在重复性工作上,但 65的工作流程其实可以实现自动化,RPA 可以将 HR 从大量、繁琐、重复的任务中解放出来,如简历筛选、面试邀约、员工入职、员工数据管理、考勤管理、离职管理从而将时间和资源聚焦在更高价值和战略性任务上。Gartner 研究表明,到 2022 年底
73、 85的大型和超大型组织将部署某种形式的 RPA。一时间,RPA 风头无两,被认为未来市场前景广阔,引得各路投资人争先恐后。但也存在不同声音,有人说 RPA 是开数字化历史的倒车,认为 RPA 只不过是在重复执行脚本,不过是不断执行命令的“手脚”,AI 才是发布命令的“大脑”。面对众说纷纭、信息纷繁,我们似乎只能管中窥豹难得全貌,那么到底该如何看待 RPA?RPA和 AI 有哪些联系?RPA 和 HR 又有哪些关系呢?本期,院长就聊一聊关于 RPA 你想知道的那些事儿。第四部分一文读懂RPA、AI与HR的关系30第四部分|31第四部分|32第四部分|33第四部分|34第四部分|35第四部分|(
74、扫描二维码查看文章)36第四部分|真技术还是伪AI,HR如何选择合适的智能工具?01RPA能满足HR需求吗2019 年,RPA 突然火了,成为新兴风口、资本的宠儿,甚至有些媒体宣称人力资源部门一定要部署 RPA,但这种火热到底是资本炒作,还是 RPA 真的有用,相信很多人都心存疑惑RPA(Robotic Process Automation),是指用软件流程自动化方式实现在各个行业中本来是人工操作计算机完成的业务。事实上,第一期院长和大家探讨了 RPA 与 AI 的关系,传统 RPA 并没有用到特别前沿的人工智能技术,RPA 也并不等同于人工智能。但随着近些年来,软件流程自动化技术与 AI 这
75、两个互补概念结合在一起,RPA 很多环节上用到了越来越多的人工智能技术,使得工具更加智慧,也提升了效率减少了人工,于是 RPA 在金融、财务和工业自动化等领域应用越来越广泛。对于企业人力资源部门来讲,HR 每天都需面对大量事务性工作,这些事务性工作大都可以通过自动化的方式由机器人来替代。而借助语音识别、OCR 等 AI 能力,也的确能够进一步提升RPA 的灵活性与智能性,替代人工将繁琐的业务操作流程自动化,解放 HR 们的双手,提升 HR的工作效率。可见,RPA 的真正价值在于,其可以将 HR 从以往大量、繁琐、重复的事务性工作(如筛选简历、入离职办理、社保、福利、开具证明等)中解放出来,将时
76、间和资源集中在高价值的、战略性任务上(比如支持组织转型、引入职业发展规划、寻找最新培训材料、理解业务特点和实操场景、为企业战略提供决策依据等),提高人资效率。37第四部分|但 RPA 真的能满足 HR 的所有工作需求吗?院长曾经和一些在互联网公司的 HR 小伙伴们探讨这个问题,他们纷纷表示人资软件操作并非他们工作的主要内容,单纯的软件流程自动化对他们帮助非常有限。首先,我们知道不同于金融、财务等工作,HR 每天更多时间花在了与候选人、员工的面试与沟通上。这些沟通需要 HR 与员工协同进行,时间与方式都非常灵活,很难通过传统软件进行自动化。其次,优秀的 HR 进行的沟通应该是有温度的,这样的温度
77、很难在软件自动化中体现和传递出来。最后,很多重要的决策也需要基于沟通的结果,结合大量的专业知识来进行,这也并非简单RPA 可以实现的。可见,即使有了 AI 的助力,RPA 也不能完全满足 HR 需求,还需要有更强大的工具来帮助 HR 提升相关的工作效率。事实上,人力资源部门不缺自动化技术及系统。市场上种类繁多的自动化工具和系统,都能或多或少解决 HR 们的一部分需求,通过自动化大大降低 HR 处理事务性工作的时间和精力。但 HR 需要的仅仅是一个代替自己双手的自动化工具吗?一个 RPA 机器人就够了吗?数字经济时代的来临,对企业管理者和人力资源工作者提出了更高的要求,按部就班的事务性工作已经不
78、能满足企业发展的需求,如何充分利用人与技术的合作,全面提升组织与人才管理、员工体验和组织数字化升级变革成为重中之重。相比于 RPA,我们相信智能对话机器人(ChatBot)更能实现人与人之间更好地相互连接,更适合帮助 HR 完成日常琐碎的沟通工作,提升 HR 的工作效率与员工体验。02实现人与人更好地连接:画像+Bot这里的机器人既可以是基于文字交互的聊天机器人,也可以是基于电话线路的外呼机器人。HR只需要简单配置,就可以将这些机器人应用在各种场景中,比如与候选人进行面试邀约,进行电话面试并 7*24 小时回答候选人各种问题,还可以和在职员工进行实时交流,了解他们对于自己和公司的各种想法。38
79、第四部分|当画像与 Bot 结合在一起时,还会发生更加奇妙的化学反应。如果把画像比作大脑,Bot 就相当于耳朵和眼睛,为大脑提供源源不断的感知数据,使大脑不断思考进化。而有画像加持的Bot 也具备了更强的专业性和个性化能力,更能像一个专业 HR 一样与候选人或者员工进行交流。那么,在人力资源领域,“画像+Bot”与“RPA+AI”究竟是什么关系呢,院长在这里总结一下:首先,“画像+Bot”与“RPA+AI”本身的动机是类似的,都是致力于通过自动化、数字化、智能化提升 HR 工作效率,降低人资部门的流程负担;其次,仅仅靠 RPA 实现流程自动化提升 HR 工作效率是远远不够的,注重体验性和智能性
80、的对话机器人对 HR 的效率提升更为关键;最后,AI 这个概念过于庞大,对人力资源领域而言,画像是 AI 最为重要的体现,大量智能化工作都需要围绕着画像进行体现;所以,相比于 RPA+AI,画像+Bot 的提法更贴近人力资源的实际场景需求,也更有利于真正将HR 从事务性工作中解放出来,给候选人及员工更好的体验。罗马不是一天建成的,构建好 Bot 与画像能力也一样,一方面需要长期的数据与技术积累,另一方面也需要有大量的实际业务经验。反观行业内一些公司,在 RPA 与 AI 的热潮下,短时间内摇身一变就成了一家 RPA+AI 的公司,这其中究竟有多少 AI 能力,而这些 AI 能力有真正能对业务产
81、生多大帮助,恐怕要打上一个大大的问号。能做出 HR 真正满意的产品,靠的不是蹭热点,而是对业务的深入理解和对技术的不断追求。e 成科技从成立伊始就秉持“科技助力人才升级”的公司使命,并以“画像”和“Bot”作为两大核心驱动力。经过多年的技术积累,e 成科技在智能对话机器人领域沉淀出自主研发的 Snowball 对话框架,具备意图识别、槽位提取、实体识别、对话管理、问答对话、闲聊对话等诸多对话能力。尤其针对人力资源领域特点,Snowball 有针对性的搜集语料进行模型训练,并且增加了许多定制化功能以保证对话系统的专业性及良好体验。而在用户画像方面,基于多年的丰富行业经验,e 成科技形成了包含百万
82、级实体和千万级关系的知识图谱作为画像的知识储备,同时加入专业咨询团队的理论编写大量专家规则,并结合业界前沿的机器学习、神经网络模型,构建了覆盖广、精度高的用户画像体系,带动相关业务的发展。基于以上对话与画像能力,e 成科技研发了大量覆盖人力资本全场景的智能应用,将 AI 技术与HR 场景深度融合,更加贴合数字化时代下 HR 的业务需求。03RPA能满足HR需求吗39第四部分|部分应用小 e 外呼:基于人工智能意图识别及对话管理,利用电话外呼技术实现的高潜候选人自动意向沟通最佳解决方案,突破性提高人才复用率;员工机器人:将 e 成科技多年积累的 HR 领域业务知识与智能对话机器人结合,减少 HR
83、 重复工作,提升员工工作体验;面试机器人:基于岗位画像和专家知识对候选人进行智能化面试,通过刻画人才画像帮助 HR 全面了解候选人;HR 机器人:通过 Bot 构建交互信息的采集和分析系统,打造面向 HR、员工、候选人的全场景高效对话体验;人岗匹配:基于人才及岗位画像,结合专家知识与前沿深度学习模型个性化推荐人才,提升 HR工作效率;在人工智能发展热潮下,不少企业纷纷乘借新技术的东风,在原有业务基础上搭载或者嫁接外部 AI 技术,于是一时间市场上涌现众多“HR+AI”、“RPA+AI”的人力资本产品或服务,可谓乱花渐欲迷人眼。但通用 AI 技术往往与业务场景有着巨大的鸿沟,AI 技术与垂直行业
84、的融合,绝非一朝一夕之事。诚然,目前的“AI 热”或者“RPA 热”反映了市场的焦虑和人力资本领域数字化转型的迫切需求,但如果只是跟随“资本热”或者满足“尝鲜性”的需求,未切实关注 HR 的深层需求,只会在“伪AI”的道路上越走越远。AI 技术成功应用到人力资本场景,是不断试错,不断创新和优化的过程,需要长时间的研发和打磨。作为 HR+AI 赛道领跑者,e 成科技的 AI 能力从创立起就深植于基因,并伴随着人力资本业务发展不断学习和进化,融合了深厚的 HR 行业经验积累、顶尖专家团队提供专业知识,突破技术边界,才在 HR SaaS 领域形成独一无二的“护城河”。从 Bot 集群到超级 Bot,
85、科技助力人才升级04HR行业首个AI开放平台,赋能行业变革40第四部分|e 成科技 AI 核心优势AI 技术优势:6 年的 AI 能力积累,掌握深度学习、数据挖掘与分析、自然语言处理、知识图谱、智能推荐、人才素质模型、情感分析、实体识别等核心 AI 技术,引领 AI 技术与人力资本场景深度融合;顶尖团队优势:3 位顶尖 AI 科学家,超过 50 人的来自 BAT 等互联网巨头的优秀算法团队,超过 30 人的来自全球知名咨询企业的 HRTech 行业咨询团队阵容;行业知识优势:超大规模全行业人力资源知识图谱,历时 6 年,10,000+家企业使用验证,成功构建 50,000,000+实体关系;A
86、I 行业认可:HR 赛道唯一入选上海人工智能发展联盟(SAIA)和中国人工智能产业发展联盟(AIIA)的会员单位,多次斩获人工智能技术应用十强、AI 商业落地百强等诸多荣誉;基于以上优势和能力,经过多年积累和孵化,e 成科技打造了 HR 赛道首个 AI 开放平台,并将多年 AI 能力积累开放给所有 HR 友商,助力实现人力资本智能化升级与变革。e 成科技 AI 开放平台是 HR 赛道首个企业自主研发的聚焦人力资本场景的一站式 AI 能力服务平台,覆盖简历解析、人岗匹配、HR 机器人等诸多场景,通过 OpenAPI 及需求定制等形式,面向所有自研系统大型企业、垂直招聘平台、传统 HR 行业厂商等
87、企业用户提供智能化服务。e 成科技 AI 开放平台提供的服务主要集中在这三种形式:标准化 AI 能力:将 NLP、NLU 等前沿的 AI 技术全面应用于 HR 各类核心业务场景,为用户直接输出单个或多个 AI 技术能力,如简历解析、职位解析、人岗匹配等;41第四部分|组件化 AI 产品:基于业务深度理解,实现 AI 产品组件化、平台化,用户通过标准 API 接入,实现快速调用 AI 产品,无需企业再次开发;个性化场景解决方案:根据用户的个性化场景需求提供定制化的 AI 能力和服务,打造企业专属AI 应用;目前,e 成科技 AI 开放平台已助力多家企业合作伙伴智能应用落地,赋能行业智能化变革。后
88、续,我们将为大家分享一些精彩案例,盘点下 AI 赋能企业变革的那些事儿。院长结语:数字化时代,企业纷纷在寻求智慧变革,人力资源部门是推动企业变革的重要动力之一,HR 也要时刻随着时代和科技的变化而变化,找到并驾驭合适、高效的智能化工具,将助力人力资源工作者和企业领先同行,实现数字化升级弯道超车。“RPA+AI”也好,“Bot+画像”也好,核心是真正能够给客户带来价值,提升 HR 的工作效率。为客户服务的道路上没有终点,为了实现这一目标,未来,e 成科技将持续努力把技术能力与人力资本业务更好地结合,推出更多满足 HR 场景需求的智能化产品与服务,与合作伙伴们一起携手开启人力资本数字化新时代!作者
89、:e 成科技 AI 算法团队刘洋42第四部分|(扫描二维码查看文章)场景:智能聊天机器人内容:请回答 BERT:HR 聊天机器人强大聊天技能背后的秘密AI 黑科技:BERT(Bidirectional Encoder Representations from Transformers)BERT-baseBERT_wwmernie 模型自然语言处理(NLP)聊天机器人等智能应用的出现,无疑在人力资本领域掀起了一场声势浩大的革命,它的即时性、全天候、智能化回应,不仅提升了候选人/员工的体验,也大大地提升了 HR 效率,降低企业成本。不难想象,未来这些智能化应用将会给我们带来更多惊喜。在这里,院长不
90、禁要问,你知道这么好用的聊天机器人背后,是什么 AI 技术在支撑吗?很多人都说当然是 NLP,没错,但 NLP背后呢?还有一个利器就是:BERT!2018 年 底 到 2019 年,NLP 领 域 从 学 术 界 到 工 业 界 最 火 热 最 强 大 的 模 型 是 什 么?那 就 是BERT!BERT 已然成为 NLP 技术历史上最重大转折点之一,是 NLP 技术向加速产业落地迈进的一大步。e 成科技作为 HR+AI 赛道领跑者,从 BERT 一经发布就敏锐察觉到了机遇,积极布局相关研究,不断跟进最近进展、探索相关应用,取得不错的积累和成果。在这篇文章里,院长将简单向大家阐述 BERT 的
91、相关背景、原理、升级,以及 e 成科技在人力资本领域的一些应用、探索和思考。BERT(Bidirectional Encoder Representations from Transformers),是 google 于2018 年底提出的一个预训练语言模型,它通过无监督的方法对大规模的自然语言的语料进行学习,从中提取出人类语言的内在基本规律,辅助后续的自然语言理解的相关任务。例如,对于一段文本:e 成科技是 HR+AI 赛道的领跑者,在 NLP 领域有很多的技术积累。01背景:什么是BERT第五部分请回答BERT:HR 聊天机器人强大聊天技能背后的秘密43第五部分|用通俗的语言理解,BERT
92、 在学习的是以下两方面的能力:1.当输入了“e 成科技是一家 HR+AI_ 的领跑者”的时候,模型要学习到填入“赛道”是最佳答案,而不是其他的任何的无关词。2.当输入了“e 成科技是 HR+AI 赛道的领跑者”的时候,模型要学习到“在 NLP 领域有很多的技术积累”是最佳的下一句,而不是其他的任何句子。以上两方面的能力,可以理解为是人类语言的基本规律,那么当模型学习到这种规律之后,有什么用呢?BERT 的强大能力以 BERT 模型为基础,通过 fine tune 的方式,可以在 BERT 已经习得的语言知识的基础上,快速构建对其他自然语言任务的学习和理解,相比于普通的模型,其中的增益主要体现在
93、两个方面:1.理解更深入。由于已经在大量的自然语言中习得了基本的语言规律,当模型面临一个新的自然语言任务的时候,模型可以利用的知识就包含了已经习得的海量语言规律+新任务里的知识,使得模型能够更加深入新任务所表达的规律。2.更少的样本依赖。在 BERT 以前,凡是涉及自然语言理解的任务,需要少则数万,多则数十万的训练样本,才能达到一个基本的效果,而训练样本不是自然就有的,大多需要人工标注。BERT 出现之后,BERT 可以基于已经习得的语言规律,更好的利用样本,使依赖的标注数量降低至少一个量级,极大加快模型的理解速度。02BERT原理和BERT升级BERT 自 2018 年底诞生后,在业界和学术
94、界迅速激起一层研究热潮,不断的出现以 BERT 为基础的改良模型,这其中典型的中文模型代表包括来自哈工大的 bert_wwm 以及来自百度的 ernie 模型。下面我们将简单介绍 BERT-baseBERT_wwmernie 模型的基本原理。BERT-baseBERT 综合考虑了以往语言模型(例如 ELMoGPT)的缺点,基本组件使用 Transformer 模块,并将单向的语言模型改进成双向模型,其结构如图 1 所示。44第五部分|图 1 BERT:Bidirectional EncoderRepresentations from TransformersBERT 所提出的双向预训练模型提出
95、了两个预训练目标,分别是 Masked Language Model(MLM)和 Next Sentence Prediction(NSP)。MLM 随机选取 15%的词进行掩码,被选中的词中,80%的词用 MASK 标记替代,10%的情况用随机挑选的词替代,另外 10%的情况维持不变。由于在使用预训练模型时,输入的文本不会有 MASK 标记,因此采用这种掩码机制可以有效避免模型误以为目标词预测是针对 MASK 标记的,从而在下游任务中也能有效预测目标词。因此,BERT 相关的模型又被称为掩码语言模型(MLM)。下一句预测(NSP)任务在预训练过程中,按 50%的概率选择实际输入中当前句子的下
96、一个句子,并标为 IsNext 标签,另外 50%的情况随机从语料中选择一个句子拼接在当前句子后,并标为 NotNext 标签。预训练模型同时优化 MASK 目标词预测及下一句预测的目标。在下游任务的改造方面,类似于 GPT,BERT 也针对不同任务提出了不同构造输入的方式,包括句子关系分类、文本分类、阅读理解及序列标注,构造方法如图所示。对输入只有一个句子的情况,直接添加 CLS 字符,对有两个句子的情况,将句子通过分隔符拼接再添加 CLS 字符。每种任务的输入都由三个部分组成,每个单词的向量表示(Token Embedding),句子的向量表 示(Segment Embedding,用 于
97、 区 分 输 入 的 不 同 句 子)及 位 置 向 量 表 示(Position Embedding)。BERT 提供了基于字符 mask 机制的中文预训练模型 BERT-Base,Chinese。而对于中文来说,一个词由不同的字符组成,而 BERT 提供的字符级的 mask 机制对中文来说会有一些限制,因此 对 中 文 的 预 训 练 模 型 的 改 进 则 体 现 在 对 整 个 单 词 进 行 mask(即 全 词 mask,whole-word-mask)。BERT_wwm哈工大讯飞联合实验室开放的中文预训练模型 BERT-wwm17,与下文介绍的百度的 ERNIE类似,是采用了全词
98、 mask 策略(Whole Word Masking,wwm),对同属一个词的所有子词进行 mask、保留或替换操作。数据预处理的分词过程采用了哈工大 LTP 分词工具。第一版本的 BERT-wwm 采用了中文维基百科数据进行预训练,第二版本 BERT-wwm-ext 提供了在更大通用语料(5.4B 词数,包括维基百科和通用数据)上预训练的模型。45第五部分|ERNIE比于 BERT 的字符级 mask,ERNIE 提出了基于先验知识的 mask 策略。即每次 mask 连续的短语或实体。如对句子“哈尔滨是黑龙江的省会,国际冰雪文化名城”进行 mask,依据 BERT的字符级 mask 策略
99、得到“哈 mask 滨是 mask 龙江的省会,mask 际冰 mask 文化名城”,而 ERNIE 的 mask 方式为“maskmask mask 是黑龙江的省会,国际 mask mask 文化名城”。在训练数据方便,ERNIE 使用了中文维基百科,百度百科,百度新闻及百度 贴 吧 的 论 坛 对 话 数 据,并 采 用 类 似 于 BERT 下 一 句 预 测 的 对 话 语 言 模 型(Dialogue Language Model,DLM)来建模对话句对结构。e 成科技作为 HR+AI 赛道的领跑者,以先进的 NLP 能力不断引领 HR 领域内的 AI 升级。我们从 BERT 一经问
100、世就密切关注其研究进展,在将近一年的时间内,我们积累了大量的探索和应用的经验,下文从 BERT 直接应用、专有 BERT 研发、合理性判定三个方面阐述了我们的一些探索。BERT 的直接应用(1)基于 BERT 的情感分析模型情感分析是语义理解里的核心模型之一,其解决的主要问题是一句具有主观情感的话语进行理解,识别出其中蕴含的正面、负面或者中性的情绪。举例如下:1.该面试者的沟通能力非常强,2.该面试者沟通方面有一些不足,3.该同学来自上海。模型对以上 1 2 3 句进行情感分析,1 表达积极情绪,2 表达消极情绪,3 表达中性情绪。在人力资本领域,情感分析模型的应用随处可见,在 e 成内部,我
101、们使用情感分析模型进行上海品茶舆情、公司评价、面试官评价、绩效文本分析、对话情绪识别等基础的分析工作,助力人力资本领域内的洞见形成。在 BERT 到来之前,e 成就自研了基于 lstm+softmax 的情感分析模型,用于对公司的评价信息进行情感分析,取得相对不错的效果。但是仍然存在主要两点问题:1.训练出一个有效模型需要的数据量庞大。我们使用了 15w 的训练数据,才训练出了一个准确率在 90%的模型,15w 的数据量不仅意味了更大的收集和标注数据难度,而且意味了更长的训练时常和资源消耗。03人力资本领域应用46第五部分|2.迁移能力差。我们尝试使用基于公司评价数据的模型直接对面试官评价数据
102、进行分类,发现效果下降明显,大概降低了近 15 个百分点,自然语言处理有天然的领域属性,而一般的模型领域迁移能力有明显的局限。2018 年底,我们尝试了基于 BERT 的情感分析模型,新训练的模型准确率达到了 93%,更重要的是,在以上两方面问题上,基于 BERT 的模型有质的提升:1.训练模型需要的数据下降了至少一个量级。我们基于 BERT 尝试进行少量样本的学习,发现,训练到同样的效果,BERT 需要的数据降低了一个量级。2.强大的迁移能力。当我们把在公司评价数据集上训练的模型迁移到面试官评价数据集的时候,模型的效果几乎没有下降,这证明了 BERT 强大的领域迁移能力。(2)基于 BERT
103、 的实体识别模型实体识别任务是指从一段文本中识别出特殊的名词,是 NLP 领域语言理解的核心任务之一。在人力资本领域,我们需要识别的实体,主要包括(但不限于)公司、专业、职能、技能、学历、证书、学校等,从一段文本中识别出这些实体,是理解这段文本内容的基础,而基于识别结果并链接到知识图谱,更是下一步进行人岗匹配工作的核心要素。举一个实体识别的例子如下:我毕业于北京大学,是一名算法工程师,现在在阿里巴巴就职。从上面这句话,我们的识别结果是,学校-北京大学,职能-算法工程师,公司-阿里巴巴。我们使用 BERT 进行实体识别模型的训练,取得很好的效果。整体识别的 f1 值达到了 0.79,相比于传统的
104、模型提升了 5-10 个百分点。(3)基于 BERT 的名词短语识别模型众所周知,对文本进行理解的第一步就是要进行分词,而人力资本领域充满了各种专有名词,在分词的时候确保一个名词短语不被错误的切分开,是正确的理解人力资本领域内的各种文本的重要前提。为此,e 成在很久以前就尝试了各种名词短语识别的算法,我们将名词短语识别直接建模成为序列标注任务,同时基于 cv 语料上的识别结果进行相关统计过滤,识别出了大量的名词短语列表。例如下面的句子:e 成科技是是一家 AI 创新的公司,利用自然语言理解技术,提升人力资本领域内各个任务的智能化程度。47第五部分|2.迁典型的切词会把上文中的自然语言理解技术切
105、分为 自然/语言/理解/技术,这种切分方法会对理解文本和进行人岗匹配等过程产生很多不利的影响。我们使用基于 BERT 的模型识别出上文中自然语言理解是一个名词短语,进而辅助在切词的时候保留其完整性。人力资本领域的专有 BERT业界和学术界的经验表明,当基于某个领域内的大量自然语言的进行继续无监督训练之后,BERT 的效果会得到进一步的提升,基于此,我们打造了人力资本领域内的专有 BERT,使得领域内的各种模型可以继续提升。继续无监督训练需要两个关键因素,一是大量的数据,二是充足的算力。得益于 e 成在人力资本领域内多年的数据积累,以及公司作为 AI 公司充足的算力,我们的无监督训练得以实现。同
106、时,我们选择近期效果更好的 BERT 的升级模型-ERNIE,作为我们继续训练的基础。以下,我们称这个模型为 cv 预训练模型。数据方面,我们基于简历中的工作经历字段的数据进行全词 mask 预训练。考虑到通过 10 次随机 mask 之后的数据会大幅扩增,因此此处采用了大约 5G 的 CV 数据进行预训练。算力方面,我们使用 8 块 v100GPU(目前业界算力最强 GPU)进行训练,总共训练约一周的时间。CV 预训练方法预训练过程包括预处理和预训练两个阶段。数据预处理旨在对原始数据进行掩码并进行句子拼接。在预处理之前,首先需要将原始数据分词,并将数据按行分句,按空行分段。这里我们加入由 e
107、 成多年积累的各个实体的词典库作为分词的用户字典。预处理时,对属于一个词的字符之间添加“#”标识来区分词和单字。如“幼儿园”经过 tokenizer 之后会变成“幼#儿#园”,若 mask 策 略 随 机 选 择 了“幼”这 个 词 替 换 成 MASK,也 会 同 时 将“儿”和“园”一 起mask。构造下一句预测数据时,若当前文档只有一个句子,或者以 50%的随机概率从其他文档随机抽取一个句子拼接到当前句子来作为下一句预测的负样本,另外 50%的情况是选择当前文档的下一个句子拼接,作为下一句预测任务的正样本。处理完一组数据后,注意需要将中文连续词前面的#符号去掉防止影响后续的预训练过程。C
108、V 预训练模型评估我们选择之前提及实体识别任务,验证我们的 cv 预训练模型的效果。我们分别对同一组数据进行了四组实验验证。包括:基于 BERT 模型直接 fine-tune,基于 CV 数据预训练 BERT 之后的模型进行 fine-tune,基于 ERNIE 模型直接 fine-tune,和基于 CV 数据预训练 ERNIE 之后的模型进行 fine-tune。48第五部分|为评估实体识别的效果,分别从标签数量和实体范围角度进行了评估。例如“拥有高中教师资格证”对应的标签为“O O B-Certificate I-CertificateI-Certificate I-Certificate
109、 I-Certificate I-Certificate E-Certificate”,按标签数目评估即判断标签是否正确,而按实体范围评估则要求标签能正确区分实体的起始和终止边界,若预测标签为“O O B-Certifi-cateI-Certificate I-Certificate I-Certificate E-Certificate O O”,则按标签数目评估时正确标签有 6/9,但按实体范围评估准确率为 0/1。表 3 和表 4 展示了基于 BERT 原始模型及用 CV 数据预训练后的模型在实体识别任务上的对比,其中 P、R、F 分别代表准确率、召回率和 F1-score。可以看出,根
110、据标签数量评估时,CV 数据预训练后的模型相比原始 BERT 在准确率、召回率和 F1-score 上分别提升了 1.35%,1.35%和 1.68%。按 实 体 范 围 评 估 时,CV 预 训 练 后 的 模 型 比 原 始 BERT 在 准 确 率 和F1-score 上分别提升了 1.69%和 2.03%.基于 ERNIE 的 CV 数据预处理后相比于基于 BERT 的 CV 数据预处理后在标签数目上分别提升了 10.29%,2.61%,5.71%,在实体范围评估上提升了 3.12%,0.64%和 1.13%。由此可以看出,采用领域数据对预训练模型进行进一步的预训练,有助于提升领域下游
111、任务的表现效果。表 3 BERT 原模型及 CV 数据预训练后模型在实体识别任务上按标签数量评估的对比表 4 BERT 原模型及 CV 数据预训练后模型在实体识别任务上按实体范围评估的对比基于 BERT 的合理性判别(1)对话中句子的合理性识别49第五部分|为了识别 Bot(聊天机器人)对话过程中,用户输入的一句话是否是一个合理的句子,我们应用了 BERT 对用户输入的 query 进行合理性的判定,对于识别出用户随意输入的句子,我们在Bot 进行了特殊的回复设定,有效的增加了 Bot 对话过程对用户输入的理解能力。例如以下两句话:1.请问公司的地址是什么2.阿萨尔塔尔哇嘎时高时低BERT 模
112、型会基于语言模型的预测结果,对 1 和 2 进行困惑度打分,过高的困惑度意味着这不是一个自然语句,进而触发特定的对话逻辑。(2)公司名称的合理性判定从自由文本中准确的识别公司名,是一项难度很大的任务,这其中一个很重要的点就是如何判定某一段文本在句子中是一个公司名,还是碰巧是其他词语,例如如下两句话:我本科毕业后,一直在京东从事算法开发工作。我们公司位于北京东边的一个商业中心。从这两句话中,我们都可以提取词语 京东,而且京东确实一个公司,但是很明显在语句 2 中,京东所表达的并不是一个公司。此时,我们就可以使用基于 BERT 的语言模型进行相关的判定,我们将两句话中的京东都替换成百度,发现对第二
113、句话模型预测句子的合理性出现了大幅的降低,可以判定在第二句中提取的京东不是一个真正的公司。我们正在探索使用此类方法,来进一步提升我们实体识别的准确率。本文主要阐述了 BERT 的背景、原理、模型升级和人力资源领域的落地应用,作为一种预训练语言模型,BERT 在 NLP 领域取得了极大的成功,e 成作为 HR+AI 赛道的领跑者,紧跟业界最新的研究前沿,积极探索落地应用并取得了一定的成果。接下来,我们会从模型加速、蒸馏、小规模语言模型等方面,持续的进行相关的探索。不管是在文本分类、文本相似度、情感分析、通用实体识别、语言模型、阅读理解等 NLP 能力方面,还是在语音分析、视频面试等音视频能力、人
114、力资源知识图谱、简历解析、画像推理、BEI 访谈等应用能力方面,e 成科技将 BERT 技术应用其中,并基于具体场景做了很多技术优化,如样本优化、性能优化等,并基于人力资源场景语料专门训练了 Bert 模型。同时,我们把它平台化,把很多其他 NLP 工具集中在平台里,未来可以做到更强的模型,更加贴合业务。基于以上领先的 AI 技术和深厚 AI 能力的积累,e 成科技推出 HR 行业首个 AI 开放平台,并已实现 AI 能力中台化,即用即取,高效连接算法能力和业务诉求;同时对外开放 AI 能力,将多年AI 能力积累开放给所有 HR 行业友商,助力人力资本智能化升级。04总结50第五部分|参考文献
115、:1 ACL 主席周明:一起拥抱 ACL 和 NLP 的光明未来,https:/www.ms- 张 俊 林,从 Word Embedding 到 Bert 模 型自 然 语 言 处 理 中 的 预 训 练 技 术 发 展 史,https:/ Vaswani A,ShazeerN,Parmar N,et al.Attention is all you needC,Advances in neuralinformation processing systems.2017:5998-6008.6 Devlin J,Chang MW,Lee K,et al.BERT:Pre-training of D
116、eep Bidirectional Transformers forLanguage UnderstandingC,NAACL,2019:4171-4186.16 Sun Y,Wang S,LiY,et al.ERNIE:Enhanced Representation through Knowl-edge IntegrationJ.arXiv preprint arXiv:1904.09223,2019.17 Cui Y,Che W,LiuT,et al.Pre-Training with Whole Word Masking for Chinese BERTJ.arXivpreprint a
117、rXiv:1906.08101,2019.作者:e 成科技 AI 算法团队刘洋(扫描二维码查看文章)51第五部分|场景:人工智能历史内容:人工智能演义第三回:一脉相承得失公论,两度寒冬冷暖自知人工智能演义第二回:遇险阻创始人早逝,敢坚持三剑客逆袭人工智能演义第一回:阿兰图灵开山鼻祖,达特茅斯豪杰聚义AI 黑科技深度学习、符号主义、神经网络、机器学习从远古时代起,我们的祖先就一直畅想着创造出像人一样智慧的工具,来辅助生产生活。塔罗斯与木牛流马硬币上的人物叫做塔罗斯(Talos),在希腊神话中,他是由工匠之神赫菲斯托斯打造的机器人,奉宙斯之命保护克里特岛不受入侵者侵犯。他每天绕着小岛走三圈,向靠近
118、的敌舰投掷石块,这可能是人类最早关于 AI 的描述之一。时光穿梭到中国,三国时期诸葛亮也曾经专门制造 木牛流马 来运送军粮物资军粮。三国演义里还描述了蜀军利用木牛流马的机关大败魏军的故事。另一方面,关于人类如何获取知识又如何进行思考,也是千百年来中外哲学家们争论不休的话题。可受限于当时的科技水平,这些想法离真正付诸实施还有非常遥远的距离。01关于AI的想象:塔罗斯与木牛流马第六部分人工智能演义第一回:阿兰图灵开山鼻祖,达特茅斯豪杰聚义52第六部分|“让苹果浸满这汤,渗入沉睡与死亡。”白雪公主和七个小矮人“有时候,正是那些意想不到之人,成就了意想不到之事。”艾伦 图灵显赫家世和留守儿童和几乎所有
119、科学发现一样,图灵的成就也是站在巨人肩膀上。20 世纪,电子与通讯技术快速发展,数理逻辑领域不断突破,加之各国为了军备纷纷增加对科技资金和人才投入,可谓天时、地利、人和都已备齐,只等本回的主人公出场。1912 年 6 月 23 日,一个男孩出生于英国伦敦,他就是艾伦 麦席森 图灵(Alan Mathison Turing)。图灵出生在一个半贵族半资产阶级的家族。在他的祖先中,有上流社会的商人、军人和牧师,其祖父更是获得剑桥大学数学荣誉学位。然而父母长期在印度任职,图灵不得不作为留守儿童,寄居在父母朋友家,因不善交流只痴迷于科学,被人们认为是怪人,也因此饱受同学欺凌。百代皆行图灵机1931 年,
120、图灵顺利考上了剑桥大学国王学院。1936 年,图灵发表了一篇论文论可计算数及其在判定性问题上的应用,这篇论文最大的贡献就是提出了今天被称为“图灵机(Turning Machine)”的概念模型。有句诗叫做百代皆行秦政制,说的是中国历朝历代的国家形态与典当制度大体上没有脱离秦始皇当年的设定。02天才陨落:从恩尼格码到毒苹果 幼年精灵古怪的图灵53第六部分|无独有偶,图灵机作为一个抽象模型,为计算机与人工智能未来几十年发展确定了方向。我们如今使用的计算机也好,各种 AI 程序也好,也都仍然是依循这图灵机的架构设计,可以看作是图灵机的某些具体实现。从这个角度来看,我们说百代皆行图灵机也不算过分。如果
121、说图灵给了现代电子计算机灵魂,另一位与图灵同时代的天才冯 诺依曼(John von Neumann)则给与了现代电子计算机躯壳。基于图灵机的理论,冯 诺依曼进一步提出了程序存储的思想,并基于该思想研制了人类第一台电子计算机。著名的图灵测试图灵对人工智能的另一大贡献是他提出的图灵测试。当时学界正在为如何定义智能这一问题争论不休,而图灵另辟蹊径,先假定智能可以被机器所模拟,然后在对机器是否拥有智能给出一个侧面的判定途径,这一途径就是图灵测试。判断的标准也很简单:人类通过一些装置和一台机器进行对话,如果人类由于无法分辨这台机器是否具备与人类相似的智能,导致无法分辨与之对话的到底是人类还是机器,那即可
122、认定机器存在智能。图灵测试的一个标准模式,就是 C 使用问题来判断 A 或 B 是人类还是机器。如果让你判断,以上左右两组对话的回答者,哪个是人类,哪个是机器,相信你马上就能有答案。1950 年,图灵发表了题为机器能思考吗的论文,在论文里提出了著名的“图灵测试”。在这篇著名的论文中,图灵提到让拥有像人类一样的思考能力并非完全不合理,从而继图灵机后又在人工智能领域挖下一个大坑,也引领一代又一代学者去攻破图灵测试这一人工智能领域的皇冠。“图解”图灵测试54第六部分|第二次世界大战与图灵炸弹1939 年,第二次世界大战爆发。图灵运用高超的数学知识,协助英国军方破译德国著名的密码系统“谜机”Enigm
123、a(恩尼格码)。彼时,破译密码依赖人工测试,耗费大量人力物力,效率低下。图灵改换思路,用机器代替人工,模拟迷机工作模式,穷举法再现加密前的明文内容,将之命名为“图灵炸弹”。“图灵炸弹”效率极高,几乎在获得情报的同时即可破译密码。电影模仿游戏剧照:图灵在破译密码55第六部分|密码的破译为盟军胜利作出巨大贡献,使二战足足提前 2 年结束,拯救了至少 1400 万人的性命。我们不能想象,如果没有图灵破译恩尼格码密码,整个英国和自由世界将发生什么,现在的世界又是什么样子。可是,没有如果。迟来的赦免你说我是个谜,其实我们都是谜,在苦痛中开始,在折磨中结束。被卑微的事物拖向死亡,把崇高的理想,背负到诸天之
124、上。诺贝尔也许你不知道,吃掉毒苹果的除了白雪公主,还有人工智能之父艾伦 麦席森 图灵。1952 年,图灵公开自己同性恋者身份,并因此遭到当时英国政府的迫害。1954 年,图灵因食用浸过氰化物溶液的苹果而死亡,一代天才就此陨落。天才科学家图灵,配得上世间所有的赞美,却因为背负“罪恶”之名,英年早逝。而他的死,也因为一颗毒苹果,让悲怆染上了一丝浪漫主义色彩。2013 年,英国政府赦免 1952 年因同性恋行为被定罪的图灵,2019 年英格兰银行行长马克 卡尼宣布图灵成为英国 50 英镑新钞人物。而美国计算机协会(ACM)也将自己设立的计算机领域最高奖命名为图灵奖,以纪念他在这一领域的卓越成就,该奖
125、被誉为“计算机界的诺贝尔奖”。然而,无罪之人,何来赦免?56第六部分|Royal Pardon 英国女王颁布皇家赦免03黄金时代:达特茅斯群星闪耀随着图灵提出Thinking Machine的想法,一大波各领域青年才俊开始了在这个领域的探索。1955 年,来自达特茅斯学院(Dartmouth College)数学系的助理教授约翰 麦肯锡(John MacCarthy)决定组织一次会议邀请相关学者就这一新的方向进行讨论,并把这一新学科正式命名为人工智能(Artificial Intelligence)。这次会议有 10 名学者参加,持续了两个月,并由洛克菲勒基金会提供了 7500 美元的资金支持
126、。57第六部分|会 议 讨 论 了 七 个 议 题,包 括 自 动 计 算 机(Automatic Computer)、编 程 语 言(How Can a Computer be Programmed to Use a Language)、神经网络(Neuron Nets)和自我改进(Self-Improvement)等,而这些话题也一直贯穿着人工智能发展的始终。最后让我们来看看这次会议的一些主要参与者。1956 年达特茅斯会议参与者约翰 麦卡锡(John MacCarthy)作为人工智能学科的发起者,推动了麻省理工学院的 MAC项目,后又主导创建了斯坦福大学人工智能实验室。此外,大名鼎鼎的
127、LISP 语言也是由他创造。由于在人工智能领域的突出贡献,1971 年麦卡锡获图灵奖。马文 闵斯基(Marvin Lee Minsky)与麦卡锡一同组织了达特茅斯会议并且参与了麻省理工学院人工智能实验室的筹建。此外,他与 1951 设计并建构了第一部能自我学习的人工神经网络机器 SNARC,关于他与神经网络学派的种种纠葛,我们后面的故事还会提及。1969 年,闵斯基也因在人工智能领域突出贡献获图灵奖。58第六部分|克劳德 香农(Claude Elwood Shannon)的名气就更大了。1948 年,香农发表了通信的数学理论论文,提出了信息熵的概念,并创建了信息论,这一理论同样也是人工智能的重
128、要理论基石。限于篇幅,院长不能逐一介绍每个科学家的生平,但他们对于人工智能的贡献都是非凡而卓越的。无可否认,这是一个星光灿烂的时代,也是人工智能的第一个黄金时代。后续我们会花更多的篇幅介绍人工智能领域下不同流派和应用场景的发展历程。总的来说,作为一门新兴科学,人工智能虽然经历过许多曲折,但一直保持着高速的发展,也在我们的日常生活中扮演者越来越重要的地位。早年的科学家们对 AI 确实过高估计,比如图灵曾说到 2000 年左右就可以制造出接近完成图灵测试水平的计算机,但这一目标至今仍未达成。而对一些具体 AI 任务的难度估计不足,使得很多大型人工智能项目的失败,并直接导致了两次人工智能寒冬的到来。
129、但每一次寒冬过后,新技术与方法不断涌现,使人工智能领域重新焕发生机。无疑,这是一个最好的时代长久的理论积累、海量的数据与算力以及无比丰富的应用场景,给了我们在人工智能领域充分发挥的机会。作为领先的人力资本数字化平台,e 成科技在成立之初,就相信 AI 会对人力资本行业产生深远的影响,近年来持续践行 AI 技术与业务的创新融合,并成为最先强调 AI 技术并率先将 AI 技术成功应用于人力资本领域的 HRTech 公司。相较于对 AI 超前概念的追捧,e 成人更看重 AI 能力在业务中的实际落地,并且创新推动技术与业务的协同发展。04方兴未艾:AI在人力资本领域落地59第六部分|(扫描二维码查看文
130、章)如今,以对话机器人、用户画像、知识图谱和人岗匹配为代表的一大批人工智能技术已经在 e成的业务土壤中生根发芽,并应用于众多企业客户业务场景中。在后面的故事中,院长会结合人工智能的发展历程介绍 e 成科技在相关领域中的一些探索和成果。作者:e 成科技 AI 算法负责人刘洋60第六部分|这回,院长和大家聊聊传说中的“神经网络”,这项技术在智能对话机器人、人岗匹配、音视频面试等场景都起到了非常重要的作用。快来和院长一起看看“图灵奖得主”“深度学习三巨头”,对技术发展起到怎样的作用,他们又有哪些有趣的故事呢?神经网络是人工智能领域目前最热门的一种机器学习方法,是目前最为火热的研究方向之一深度学习的基
131、础。神经网络这个概念听起来无比深奥,很多非技术人士大都不明白它到底是个啥。让我们继续往下看试试是否可以“窥一斑而知全豹”。人工智能演义第二回:遇险阻创始人早逝,敢坚持三剑客逆袭01神经网络是什么?看图猜动物猜一下,以上动物是什么?或者是由哪种动物组合成的?61第六部分|也许答案你不到一秒就可以脱口而出,凭借人类大脑强大的辨识能力,尽管图中的动物经过变形处理或者视觉误差,我们还是能快速猜出这是什么动物。这就归功于我们大脑的 1000 多亿个神经元组成的复杂网络,即使动物们并非我们熟知的模样,我们依然可以轻松识别出。神经网络技术正是受到人类神经元的启发,通过模拟人脑神经网络以实现类人工智能的功能。
132、人脑中的神经元大家初中时就很熟悉了:而人工智能神经网络正是模拟人类大脑:要进一步理解神经网络,我们必须要厘清以下概念:人工智能:人工智能是一个非常大的概念,其最初定义是要让机器的行为看起来就像是人所表现出的智能行为一样。我们经常听到的语音识别、图像识别、自然语言理解等领域都是具体的人工智能方向,而机器学习、神经网络等概念都属于实现人工智能所需要的一些技术。机器学习:机器学习是人工智能的一门分支,指通过学习过往经验来提升机器的智能性的一类方法。根据样本和训练的方式,又可以分为监督学习、无监督学习、半监督学习和强化学习等类型。62第六部分|神经网络:在人工智能领域一般指人工神经网络,是一种模仿动物
133、神经网络行为特征,进行分布式并行信息处理人工智能模型。我们通常使用的神经网络都需要通过训练数据进行参数的学习,所以神经网络也可以被归为一种机器学习方法。深度学习:作为人工智能领域的新兴方向,深度学习目前还没有严格的定义,一般我们把一些具备较多中间隐含层的神经网络称为深度学习模型。2019 年,ACM 决 定 将 2018 年 ACM 图 灵 奖 授 予 YoshuaBengio、Geoffrey Hinton 和YannLeCun 三位深度学习之父,以表彰他们给人工智能带来的重大突破,这些突破使深度神经网络成为计算的关键组成部分。ACM 主席 Cherri M.Pancake 表示,“人工智能
134、如今是整个科学界发展最快的领域之一,也是社会上讨论最广的主题之一。AI 的发展、人们对 AI 的兴趣,很大程度上是因为深度神经网络的近期进展,而 Bengio、Hinton 和 LeCun 为此奠定了重要基础”。神经网络的发展过程遇到了哪些波折?“深度学习三巨头”有哪些有趣的故事?而这些年热门的深度学习又和神经网络有什么样的关系?今天院长为大家一一道来。大家知道,我们现在所说的人工神经网络确实是受生物神经网络启发而设计出来的。在 1890 年,实验心理学先驱 William James 在他的巨著 心理学原理 中第一次详细论述人脑结构及功能。其中提到神经细胞受到刺激激活后可以把刺激传播到另一个
135、神经细胞,并且神经细胞激活是细胞所有输入叠加的结果。这一后来得到验证的假说也成为了人工神经网络设计的生物学基础。基 于 这 一 假 说,一 系 列 模 拟 人 脑 神 经 计 算 的 模 型 被 相 继 提 出,具 有 代 表 性 的 有 Hebbian Learning Rule,Ojas Rule 和 MCP NeuralModel 等,他们与现在通用的神经网络模型已经非常相似,例如在 Hebbian Learning 模型中,已经可以支持神经元之间权重的自动学习。当然,现有的人工神经网络只是对人脑结构的最初级模拟,成人的大脑中估计有 1000 亿个神经元之多,其复杂性远超目前的所有人工神
136、经网络模型。1958 年,就职于 Cornell 航空实验室的 Frank Rosenblatt 将这些最初的神经网络模型假说付诸于实施,利用电子设备构建了真正意义上的第一个神经网络模型:感知机(Perceptron)。Rosenblatt 现场演示了其学习识别简单图像的过程,在当时的社会引起了轰动,并带来了神经网络的第一次大繁荣。许多学者和科研机构纷纷投入到神经网络的研究中,连美国军方大力资助了神经网络的研究,并认为神经网络比“原子弹工程”更重要。02至暗时刻63第六部分|然而好景不长,上回曾经提到的达特茅斯会议的组织者明斯基(HR 图灵学院|阿兰图灵开山鼻祖,达特茅斯豪杰聚义),同时也是
137、Rosenblatt 的同事兼中学同学,在一次会议上和罗森布拉特大吵,认为神经网络不能解决人工智能的问题。随后,明斯基和麻省理工学院的另一位教授佩珀特(Seymour Papert)合作,写出了感知机:计算几何学(Perceptrons:An Introduction to Computational Geometry)一书。该书几乎对处于萌芽中神经网络判处了死刑,书中明斯基和佩珀特证明单层神经网络不能解决 XOR(异或)问题,说明神经网络的计算能力实在有限。但“感知机”的缺陷被明斯基以一种敌意的方式呈现出来,当时对 Rosenblatt 是个致命打击,不久后他因为一次沉船事故离开了人世。原来
138、的政府资助机构也逐渐停止对神经网络研究的支持,神经网络为代表联结主义也随之进入了第一个至暗时刻。整个 70 年代,神经网络的研究都处在寒冬之中。1974 年,哈佛大学的博士生波斯(Paul Werbos)一篇博士论文证明了在神经网络多加一层,并且利用“反向传播”(back-propaga-tion)学习方法,可以解决 XOR 问题。之前明斯基所刚提出的神经网络致命伤就被这增加的一层神经网络所轻松化解,这也为之后深度学习方法的提出埋下了伏笔。但这篇论文发表时正处在神经网络研究的低谷,并没有引起足够的关注。Frank Rosenblatt64第六部分|03深度学习三巨头直到八十年代中期,以 Joh
139、n Hopfield,David Rumelhar 及 Hinton 为代表的一批科学家进一步将反向传播传播方法引入神经网络的训练中,并提出了 Hopfiled Networks 和 Boltzmann Machine 等新的神经网络结构,主导了神经网络的又一次复兴。我们如今耳熟能详的递归神经网络(RNN)、长短期记忆网络(LSTM)和卷积神经网络(CNN)都在这一时期被相继提出。然而,当科学家们在实际训练这些模型时,却又遇到各种各样的问题,一方面当时的神经网络很容易过拟合,另一方面又缺乏足够的数据和计算能力。到90年代,以支持向量机(SVM)为代表的统计机器学习方法逐渐取代神经网络成为了人工
140、智能的主流。相比于神经网络方法,支持向量机有着更扎实的统计理论基础,有着更好问题优化与求解方法。神经网络再一次陷入低谷,大量之前从事相关研究者开始转向其他方向。不过还是有很多科学家一直在默默坚守,坚信神经网络技术终有一天能够再次爆发,其中最为代表性的就是前面提到的深度学习三位创始人Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun。进入新世纪以来,互联网的飞速发展对AI提出了更多需求,一方面可供训练的数据量大大增加,另一方面问题场景越来越复杂,需要有通用和模块化的方法来快速适应不同的问题,而神经网络在这方面相比于当时流行的统计学习方法都更有优势。2006年,H
141、inton在Nature发表了“Reducing the Dimensionality of Data with Neural Networks”一文,提出训练更多层的神经网络来提升神经网络的泛化能力,并给出了具体的解决方案,吹响了神经网络第二次复兴的号角,并引领了深度学习这一AI的新方向。后续深度学习的发展并没有完全按照Hinton这边论文的思路,更多的是依靠算力的增加、数据的增加以及在模型训练里增加的各种技巧。深度学习三巨头65第六部分|近年来,以Resnet和Bert为代表的深度学习算法在计算机视觉和自然语言处理领域继续披荆斩棘,不断创造各项记录。除了模型的创新,这些模型更得益于更大规模
142、的训练样本及更强的算力的支持,很多人也在质疑深度学习这样的发展模式还能持续多久。相比于神经网络,人类在面对新问题时拥有者更好的学习效率和效果,这样说明当前神经网络的实现机制和真正人脑的神经学习机制还存在着很大的差异。如何更好探索好的网络先验结构与参数,以及引入先验知识或者通过迁移学习、多任务学习的方式进行小样本的学习已经成为了近期新的研究热点。特别是在企业服务场景,相对to C场景样本量更少,业务性更强,如何将深度学习方法与这些场景相结合也成为一个重要课题。2010 年 Hinton 和 Deng Li 把 DNN 用于声学模型建模,用于替代传统的隐马尔科夫模型,语音识别的词错误率相对降低了
143、30%,震惊了整个 AI 界。2012 年由 Hinton 和他的学生提出的AlexNet 在图像领域著名的 ImageNet 比赛中,将图像分类错误率由 25.8%下降至 10%,再次让所有人惊叹于深度学习的威力。在之后的几年中,深度学习又被应用到自然语言处理、语音图像合成、自动驾驶、搜索推荐等几乎人工智能的所有领域,并刷新了几乎所有 AI 竞赛的最好成绩。在深度学习带动下,AI 在这几年中再一次赢来爆发。那么深度学习方法和传统的神经网络又有什么样的关系呢?院长在这里在做个技术总结。最早期的神经网络“感知机”只有单层网络结构,被证明无法解决“异或问题”,存在先天的硬伤。后来证明增加神经网络层
144、数并引入反向传播算法之后解决这一问题,这样神经网络的这一短板就被补齐了。然而,神经网络问题从数学上不能保证取得全局最优解(又一硬伤),当训练数据量小的时候容易过拟合,且存在其他一些模型训练的问题,导致再次沉沦。之后 Hinton 提出采用更多层的神经网络加预训练方法可以解决上述问题,这也就是深度学习的起源。再后来大家发现随着数据量和计算能力的提升,即使不采取预训练方法,单纯增加神经网络层数,也可以达到同样效果。随后更多的深度神经网络模型和训练方法被陆续提出,深度学习开始走向快车道。最后在总结一下深度学习三位创始人对领域的贡献。Hinton 的身世显赫,是著名逻辑学家布尔(布尔代数创始人)的后裔
145、,从出身就带着与计算机的不解缘分。他像是深度学习领域的哲学家,不断地思考与反思,为大家指引前行的方向。在最近的一次人工智能会议上,Hinton 表示自己对于反向传播“非常怀疑”,并提出“应该抛弃它并重新开始”。Bengio 为深度学习的发展和推广做出了很多基础的贡献,除了大量重要论文外,他还主导研发了 Theano 深度学习框架,一度成为非常主流的深度学习工具,并带动了后续 tensorflow 与 pytorch 等平台的出现。Lecun是 Hinton 的博士后学生,也是神经网络的坚定信仰者,早在 80 年代他就在贝尔实验室提出了如今大名鼎鼎的卷积神经网络,当时还叫 LeNet,并被广泛应
146、用于支票的数字识别。2013 年Lecun 加盟 Facebook 组建 FAIR 并任职第一任主任,致力于深度学习学术界与工业界的结合。04深度学习在企业场景的应用66第六部分|e成科技打造HR赛道首个AI开放平台深度学习方法在 e 成科技的对话机器人、人岗匹配、音视频面试等场景起到了非常重要的作用,院长在前几期反复提到的 Bert 就是其中的重要代表。但作为一家 to B 企业,e 成科技的很多算法都有自身的特殊场景,同时也面临着数据相对不足的问题。为了能使深度学习方法最大限度地发挥威力,e 成科技的算法工程师们也进行了非常多的尝试与探索,在后续的专栏中,院长将会为各位小伙伴们慢慢介绍。作
147、为 HR+AI 赛道的领跑者,e 成科技从创立起就将 AI 技术基因根植于业务场景,凭自身在 AI能力和人力资本行业经验的独特优势,以及来自全球顶尖跨媒体技术实验室的 AI 核心团队,致力于将 AI 技术深度应用于人力资本全场景中,推动人力资本智能变革。6 年来,e 成科技积累了诸多技术、数据、场景和创新应用,并通过打造 HR 赛道首个 AI 能力开放平台,把技术赋能给整个人力资本领域。e 成科技 AI 开放平台可以根据您的业务需求,灵活调用 OpenAPI 接口或私有云部署,提供NLP 能力、实体识别、归一化知识图谱、人岗匹配、简历解析、HR 机器人等成熟 AI 技术基础能力,AI 产品组件
148、,定制化解决方案等多种智能服务。67第六部分|作者:e 成科技 AI 算法负责人刘洋(扫描二维码查看文章)e 成科技 AI 开放平台提供的 AI 算法能力、AI 产品和 AI 解决方案,将帮助企业轻松、快速、零门槛拥有属于自己的 AI 能力及产品,实现数字化升级弯道超车。自投入使用以后,e 成科技 AI开放平台已助力多家企业合作伙伴应用落地,包括招聘选拔、员工服务、薪酬绩效、培训发展等人力资本全场景的应用,应用中展现出智能化、高准确率、高效率、更便捷等突出优势,高效助力用户 AI 技术在人力资本场景的落地。未来,随着科技飞速发展,AI 技术正在根据大数据和深度学习不断优化和升级。e 成科技愿意
149、借助于自身在 AI 开放平台、技术、产品、行业经验等独特优势,助您实现人力资本数字化新升级!68第六部分|人工智能演义第三回:一脉相承得失公论,两度寒冬冷暖自知上回书说到以神经网络为代表的联结主义学派,这一回说的是人工智能另一大山头符号主义学派。符号主义曾长期领衔诸多学派,为人工智能的发展作出巨大贡献,未来,我们不知道哪个派别能够占据统治地位,但这并不重要,重要的是它能为人工智能乃至人力资本行业数字化带来什么贡献。什么是“符号主义”?先举个栗子。当我们看到一个房间,可以看到门、沙发、柜子、电灯等物品,人类的大脑可以很自然地将这些看到的物体定义成某些符号。正是通过模拟人类思维过程,我们将符号输入
150、到计算机,计算机得出对应的结论,这就是所谓的人工智能符号主义。在人工智能的发展历程中,符号主义和联结主义一直是相互竞争和影响的两大学派,在相当长的一段时间中,符号主义一直占据着人工智能领域的主导地位。相比于联结学派利用人类所难以理解的复杂神经网络模拟大脑的计算与思考,符号主义倾向于认为人工智能源于数理逻辑,认为智能的本质就是符号的操作和运算。虽然这几年来联结主义风头更劲,但符号主义也在以各种的方式影响着当今人工智能领域的发展。当你看一个房间69第六部分|司马贺与纽厄尔还是再让我们回到 1956 年那次著名的达特茅斯会议(补课请点击 阿兰图灵开山鼻祖,达特茅斯豪杰聚义),当时会议的几位组织者 A
151、llen Newell(纽厄尔)、Herbert Simon(他有一个霸气的中文名:司马贺)、John McCarthy(麦卡锡)及 Marvin Minsky(明斯基)都是符号主义的拥趸,会议之后这几位大神便各自招兵买马拉集队伍准备大干一场。司马贺与纽厄尔在兰德公司相识,之后他将纽厄尔带到自己所在的卡耐基理工学院(对,就是计算机领域大名鼎鼎的卡耐基梅隆大学的前身)攻读博士,两人亲密合作几十年。1956 年,司马贺与纽维尔等人一起合写了第一个人工智能程序:逻辑理论家(Logic Theorist),这一程序可以模拟人证明符号逻辑定理的思维活动,并成功证明了数学原理第二章里面的 38 个定理。此
152、外他们还合作了最早的下棋程序之一 MATE,能够自动发现物理化学定律的 BACON 系统,以及第一门面向 AI 的程序语言 IPL(Information Processing Language)。这对好基友的贡献远不止于此,他们提出了著名的物理符号系统,把人的思维过程看成是信息处理的过程,并定义一系列操作,从而将人脑和计算机的思维方式统一在一起。在此基础上,他们又进一步提出了纯认知系统模型,在原来的物理符号系统上面加入情感、认知等因素,成为符号注意学派重要的理论基础。为表彰他们人工智能领域的突出贡献,ACM 将 1975 年的图灵奖授予了司马贺与纽厄尔这对师徒。司马贺的贡献还远不止这些,他一
153、共拿到过 9 个博士学位,除人工智能外,在心理学、经济学和管理学上都颇有建树,并获得了 1974 年的诺贝尔经济学奖,这是多么了不起的成就!花开两朵,各表一枝,达特茅斯会议上的另一对好基友麦卡锡与明斯基于 1958 年先后来到麻省理工学院,开始进行 AI 方向的研究。01神经网络是什么?70第六部分|彼时苏联发射的人造卫星刚刚进入太空,艾森豪威尔总统不甘落后,迅速成立了 DARPA 计划,促进各个高校进行科技成果转移转化。在此期间,麦卡锡发明了著名 LISP 语言并成为人工智能界第一个广泛应用的语言,且仍在被大量程序员使用。60 年 代 初 年,在 DARPA200 万 美 元 的 资 助 下
154、,著 名 的 MAC 项 目(The Project of Mathematics and Computation)项目启动,并逐步发展出了著名的 MIT 人工智能实验室。项目启动不久,麦卡锡决定离开 MIT 回到他曾经工作过的位于美国西海岸的斯坦福大学,在那里,他又组建了大名鼎鼎的斯坦福人工智能实验室(Stanford Artificial Intelligence Laborato-ry,SAIL)。随后的几年中人工智能继续发展,在机器证明、人机对话和机器翻译等领域取得了一些进展,但这些进展远远达不到公众对于人工智能的期待。司马贺曾经在 1958 年预言,再过 10 年机器就能问鼎国际象棋
155、世界冠军,但直到 1997 年才完成;而明斯基在 1968 年2001 太空漫游记者会上说机器智能 30 年内可赶超人类,直到现在也未曾实现。第一批人工智能的开拓者们过于低估了实现人工智能的难度,有点玩过火了。受限于计算机处理性能,当时的符号推理系统能处理规则的数量有限,且只在特定的领域、特定的环境下才能够发挥作用。这使得当时投入巨大的俄语翻译器、战线机器人和语音指挥系统等人工智能项目进展缓慢,始终停留在玩具阶段却无法真正落地。说到此处,院长不由想起那句歌词:“是否对你承诺了太多,还是我原本给的就不够。”1965 年,兰德公司委托哲学家德雷福斯(Hubert Dreyfus)撰写了一篇关于人工
156、智能的报告,名 为“Alchemy and Artificial Intelligence”(炼 金 术 和 人 工 智 能)及 其 后 续“What computers cant do”(计算机不能做什么)。书中将 AI 与历史上的炼金术相提并论,将 AI 研究比作是没有基础的无用之功。德雷福斯研究了当时 AI 领域的主要学术论文,认为在博弈、问题求解、语言翻译和学习、模式识别这四个活跃 AI 领域的研究都遇到较大困难。其根本原因在于许多人类的行为包含特殊形式的人类“信息加工”,并不能通过一套死板的规则进行程序化。比如机器翻译中每个词翻译成目标语言中的哪个词,并不完全由这个词本身决定,还需要
157、考虑这个词的上下文信息,简单的规则显然无法解决这一问题。但引入更多规则意味着需要更多的存储和计算资源以及更为复杂的人工智能模型,这在当时都是不可能实现的。之后美国国家科学院的 ALPAC 报告和英国科学研究理事会的 LightHill 报告进一步向还处在萌芽中的 AI 宣判了死刑,之后 DARPA 等机构纷纷停止对人工智能项目的资助,AI 历史上的第一次寒冬正式来临。71第六部分|02AI第一次寒冬20 世纪 80 年代,对符号主义架构进行了重大修订后的“专家系统”横空出世,并引领了人工智能的第二个春天。What computers cant do(计算机不能做什么)72第六部分|03专家系统
158、的兴衰LISP Machine专家系统对传统符号主义方法的缺陷进行改进,将系统分为知识库(Knowledge Base)和推理引擎(Inference Engine)两部分,分别负责知识的存储和基于知识的逻辑推理。这样一来,知识库可以由业务专家进行编写和维护,更易规模化,而 AI 专家则可以专注以通用推理引擎的研发。此外,针对德雷福斯报告中提到 AI 规则过于死板的问题,专家系统引入了神经网络和粗糙集等当时先进的方法,解决专家系统较难获取完备知识的问题。司马贺的学生费根鲍姆(Edward Feigenbaum)被公认为专家系统之父。1969 年费根鲍姆与领域专家一起研发出了第一例成功专家系统:
159、DENDRAL,这一系统中包含了化学家的知识和质谱仪的知识,可以根据给定的有机化合物的分子式和质谱图,从几千种可能的分子结构中挑选出一个正确的分子结构。DENDRAL 的成功不仅验证了费根鲍姆的知识工程的理论,证明了实现智能行为的主要手段在于知识,在多数实际情况下是特定领域的知识。DENDRAL 的研发成功还为专家系统软件的发展和应用开辟了道路,此后费根鲍姆又主导研发了应用在医疗领域的ACME 及 Mycin 系统,并与 1994 与另一位来自 CMU 的教授 Raj Reddy 教授(对,就是TBBT 中那位 Raj 的原型)于 1994 年被共同授予图灵奖。进入 80 年代后,由卡内基梅隆
160、大学研发的 XCON(eXpert CONfigurer)系统成为专家系统组新的成功案例。XCON 最初被用于 DEC 位于新罕布什尔州萨利姆的工厂,它拥有大约 2500条规则,号称每年为 DEC 节省了两千五百万美元。为了进一步提升计算效率,美国开始有大量公司研制专门为 LISP 优化过的计算机 LISP Machine 来支持更复杂的专家系统。日本经济产业省拨巨款支持第五代计算机项目,其目标是造出能够与人对话、翻译语言、解释图像,能够像人一样推理的机器。不久之后,人们发现专家系统更新迭代和维护成本同样非常高,同时数据缺乏与计算性能的问题也并没有得到根本性的解决。随着计算机硬件性能的提升,更
161、多人倾向于选择成本低廉的个人电脑而非昂贵的 LISP Machine。与此同时,日本人的第五代计算机工程也遭遇滑铁卢,一系列的问题使得刚刚得到复兴以专家系统为代表的人工智能领域再次遭遇寒冬。73第六部分|俗话说“人不能被同一块石头绊倒两次”,可纵观 AI 的两次寒冬所犯错误却如出一辙,都是对于技术能力估计过高而对实际困难估计过低,尤其是系统所需要的数据规模与计算能力。经历过两次寒冬的符号主义学派也并未消沉,随着互联网时代的到来,符号主义也会以一种新的形式重新回到大家的视野。欲知后事如何,且听院长下回分解。最后院长想说,无论“符号主义”这一学派如何发展,其通过程序语言实现 AI 逻辑的基本思想早
162、已经“零落成泥碾作尘”,融入到了所有日常的 AI 开发中。有句俗话说“有多少智能就有多少人工”,一个复杂的 AI 系统必然离不开大量人工规则,这些规则或者作为冷启动的初始方案,或者作为机器学习模型的重要补充,发挥着重要的作用。当今的规则系统从理论创新性上可能不能与前文所说的系统相提并论,但凭借更强大的计算能力、更高级的编程语言及软件工程设计,其效果肯定是青出于蓝,也有点“乱拳打死老师傅”的意思。作为一名美食爱好者,院长经常看到有网友讨论为什么鲁菜作为四大菜系之首,却很难感觉到它的存在。后来很多网友解答,说我们日常生活中的很多常见菜肴都源于鲁菜,各种用料和烹饪方法也多从鲁菜起源,鲁菜已经不知不觉
163、融进每位食客的餐桌。读者仔细琢磨琢磨,“符号主义”是不是也有点 AI 中“鲁菜”的意思。作为一家面向企业服务的 AI 公司,e 成科技也面临着大量业务问题与专家知识。一方面,e 成科技有强大的专家团队提供业务支持;另一方面,e 成科技的 AI 团队也在尝试各种方法将这些专业知识融入 AI,这里既包含前面提到的深度学习方法(补课请点击 人工智能演义第二回:遇险阻创始人早逝,敢坚持三剑客逆袭),也借鉴了很多专家系统的思路,还有下一回院长将会介绍的知识图谱,当然也少不了大量攻城狮们手工写成的代码规则。这一切努力与研究都为了给客户更好的体验。作为 HR+AI 赛道的领跑者,e 成科技凭借在 AI 能力
164、和人力资本行业经验的独特优势,以及来自全球顶尖跨媒体技术实验室的 AI 核心团队,致力于将 AI 技术深度应用于人力资本全场景中,推动人力资本智能变革。6 年来,e 成科技积累了诸多技术、数据、场景和创新应用,并通过打造HR 赛道首个 AI 能力开放平台,把技术赋能给整个人力资本领域。04小结74第六部分|登录 e 成科技 AI 开放平台官网,体验黑科技e 成科技 AI 开放平台通过开放 AI 能力,提供 AI 算法能力、AI 产品和 AI 解决方案,将帮助企业轻松、快速、零门槛拥有属于自己的 AI 能力及产品,高效助力用户 AI 技术在人力资本场景的落地。想要体验黑科技,点击“阅读原文”或扫
165、描下方二维码或直接登录 e 成科技 AI 开放平台官方网站()即刻开启智能之旅!作者:e 成科技 AI 算法负责人刘洋(扫描二维码查看文章)75第六部分|场景:智能职业发展规划内容:叮 您的智能职业发展规划师已上线AI 黑科技:数据挖掘、深度学习、实体识别等不管是对于企业还是个人,职业发展已经变得越来越重要,对于企业来讲员工职业发展作为一种重要的激励手段,对于个人来讲,自我实现是人的最高层次需求,职业发展与规划也将对人产生巨大的激励作用。那么,在数字经济时代,我们如何通过人工智能技术,实现职业发展路径科学规划和精准预测呢?那么接下来就和院长一起看看,e成科技创新研发的“灯塔项目(Lightho
166、use)”系列吧2018年9月,当马云宣布由张勇接任董事局主席,众人才开始注意到这位“成功男人背后的男人”,原来是位出身CFO的CEO。张勇是CFO成功转型的典范,试想一下如果以后财务人的职业规划中有了CEO这样的角色,是不是很激动人心呢?第七部分叮您的智能职业发展规划师已上线76第七部分|对于个人而言,根据马斯洛的需求层次理论,自我实现是人的最高层次需求,个体通过实现自己的理想抱负,实现自己的追求,成为伟大的或具有影响力的人物满足此层次需求。职业发展属于满足人的自我实现需求范畴,对人的发展产生很大的激励作用。对于企业来讲,企业发展与个人成长密不可分。职业发展是企业激励员工的重要手段之一,清晰
167、的职业发展路径和得到成功的能力和技能,能够帮助员工释放最大价值、提高员工敬业度,激活组织、降低人才流失率。作为 HR 或者猎头顾问,如果对候选人职业发展规划了如指掌或者能够帮助候选人进行详细规划/提出规划建议,那么就能在与候选人沟通的过程中抢占先机。职业路径是人才发展领域核心的基础模块,在人才发展领域,e 成科技基于海量职场数据,设计了整套智能化解决方案,并命名为灯塔(Lighthouse),寓意为职场用户提供个人发展的指引与建议。下面,院长将以互联网从业人群为目标,通过 e 成科技的智能化解决方案,进行职业发展路径探索,展示背后的 AI 技术和创新成果。这里,我们主要针对互联网科技行业相关岗
168、位(IT 岗)进行举例探索。想要探索互联网行业职业发展路径,首先我们对 IT 岗人群与全市场的多维度背景进行对比分析。众所周知,互联网行业中男女比例差距明显,而在上表中也显示出了这一特征,并且男性占比较高于全市场水平。而从学校排名及学历角度来看,其两项占比均与全市场接近。IT 岗人群入岗年龄呈右偏态分布,其中有 73.8%的人在 22-26 岁之间开始任职 IT 岗,由此我们可以认为,大多数 IT 岗人员都是大学刚毕业就开始从事 IT 岗的,半路出家转岗进互联网的占少数。77第七部分|01背景大起底:学新闻可以去写代码吗?当然也有例外:不会写代码的超模不是好程序员IT 岗人群专业背景IT岗人群
169、的专业分布情况并不让人意外,其中有近一半的人是计算机科学、电子信息工程、数学等理工科专业背景,而全市场在职人群专业分布相比之下较为均衡,占比最大的是财务与会计(9.2%),其次是计算机科学与技术,但比例仅占8.5%78第七部分|特别地,我们探索了全市场不同职能下从事每份工作的平均时长,i.e.,跳槽周期。我们发现通用管理和生产是最稳定的岗位,平均跳槽周期在两年半左右;相比之下,影视媒体是流动性最大的岗位,周期在1年左右。IT岗也相对流动性较大,平均跳槽周期为21个月,不足2年。更进一步地,我们挖掘了IT岗下各细分职能的平均转岗周期,发现职级最高的首席技术官的转岗周期相对也最长,而运营和软件开发
170、的周期最短,仅为一年半左右。现在,我们对IT岗人群背景有了基本了解,我们接下来深入探索他们的职业发展路径。岗位轮动蕴含的行业转换IT的岗位轮动中,有61%是在互联网行业内发生的;仅有39%涉及行业转换,这其中,工业与互联网行业之间的轮动最为高频(约20%),其次是消费品行业,而医药和生活服务业则与互联网行业属性差异较大,之间的岗位轮动较少见。79第七部分|02互联网行业职业发展路径探索可见上图近似轴对称,其他行业与互联网之间的转入与转出比例十分相近,互联网行业的规模增长主要取决于自身规模的扩展(即第一份工作就入职互联网的人群),而不是从其他行业的转入。第一部分的入岗年龄统计结果也一致印证了这一
171、点。职业发展路径图展示接下来,我们便来看看IT岗人群的职业发展路径具体长什么样吧。我们结合了丰富的数据挖掘算法和业务规则,运用e成科技独特的职能实体识别技术,从每份简历中提取其职业发展路径(e.g.,软件测试-前端开发-移动开发),最终得到各职能下的高频发展路径,下图为部分IT岗的路径示例程序员VS首席技术官(CTO):CTO的差异化特征是什么就像上图所示,很多程序员在其职业生涯当中,一直在技术圈中打转,却很难有质的跨越。那王侯将相宁有种乎?取得突破的程序员都有什么特征呢,为此e成君分析了下CTO的表面信息。80第七部分|带着这个疑问,我们探索了各职能所需的重要技能列表。我们基于成熟的实体识别
172、技术,得到职能实体及其对应的技能实体列表,再结合多样化数据挖掘和统计方法,得到了多种指标下,各个职能所需的重要技能序列。我们在下表中列举了部分IT岗的所需技能之Top5。从表格中我们可以发现,不同技术岗所需的重要技能偏向于细分领域的工具或技术知识,特别地,MySQL在程序员中的使用率是相当高的;而CTO所需的头部技能大都为“冰山下”技能:商业头脑和市场运营。这需要程序员不光有钻研技术的踏实努力,更需要多一份对外界的好奇心,培养广博的视野和格局,去观察和体会市场变化,顺势而行。管理能力和战略规划。CTO作为企业技术部的一把手,搭班子第一、带队伍第二、定战略第三。刘备找来关、张、赵、诸葛亮,拿捏住
173、这四个人的心理诉求,基本不用操心其他了。这点则需要有良好的沟通能力作为支撑,有效的沟通能让你事半功倍。当然,除此之外CTO也需要有较强的架构设计能力。这点也一定程度支持了从“系统架构工程师”到“首席技术官”的职业路径的合理性。81第七部分|以上我们展示了丰富的数据挖掘和大数据统计的结论,e成科技还拥有丰富的算法经验,我们结合了多样化的深度学习算法,实现了个性化职业路径预测功能,可根据不同个人背景和过往经历,为其推荐更适合的职业发展方向。我们的模型数据主要基于简历中的个人基本信息与工作经历,基本信息为学历、专业等静态属性信息,工作经历则包括过往职能、技能、行业等序列信息。为此,我们选择LSTM作
174、为整个模型的主体部分,完整的模型结构见下图。如上图所示,对于每一个工作经历的序列节点,我们用Global Average将节点特征压缩为单个向量,在此也可以使用Attention或者全连接等方式来处理,因为节点信息诸如职业/技能等,并没有前后序列相关的信息,所以使用Attention这种无序的信息抽取方式会比全连接更具鲁棒性。院长的实验结果显示,Attention结构并没有比Global Average取得更佳的结果,因此最终还是选择了更为简单的Global Average结构。工作经历抽象为向量序列后,我们将数据喂给了双层LSTM。一般情形下,循环神经网络都能较好的处理序列数据,但对于RNN
175、结构来说,在序列过长之后很容易出现前期数据遗忘的问题,且易发生梯度爆炸或者梯度消失,所以通常会选择带门控的循环神经网络,如LSTM、GRU等等,这里我们选择了LSTM结构。序列建模经常会用到双向结构,但我们的序列信息属于一种时间序列,如果选择双向结构,则会发生信息泄露的问题,所以最终选择了单向的LSTM模型。03个性化职能预测82第七部分|e 成科技 AI 中台能力建设最后在将整个序列信息转为向量t之后,直接拼接基本信息,经过两层全连接输出预测的职能,此为主任务。为了提高模型鲁棒性,我们将前面每个节点的输出(如上图t1)同样的跟基本信息拼接,并预测下一份职能,此为副任务。只预测最后一个职能,会
176、失去一些职能转换的多样性,而副任务可以很好地解决这个问题,并且能让模型更好地学习到职能等特征之间的关系,也变相地增加了数据量。如上表所示,在得到模型之后,我们对模型效果进行了验证,结果表明:61.5%左右的预测职能与真实职能一致或者高度相似;13.5%左右的预测职能与真实职能相对低阶,容易相互转换;17%左右的预测职能比真实职能看起来更合理;仅8%左右的预测职能与真实职能偏差较大。这么看来,在大部分情况下,模型预测的结果都符合预期或者相对合理,换句话来说,如果当你对下一份工作不是特别清晰的时候,也许我们能帮你指出一个不错的方向哦!本文以互联网行业为例,展示了e成科技在职业路径场景下的智能设计及
177、规划能力。e成科技推出HR赛道首个AI开放平台,并创新研发灯塔(Lighthouse)项目,通过智能化工具及解决方案在个人发展不同场景均规划设计了对应的应用组件。首先评估场景包含全方位的精准人才画像以及丰富的测评工具,职业规划场景主要包含职业生涯规划/待发展技能推荐等组件,在个人提升学习场景中,基于智能推荐的规划及待发展项,课程推荐组件可以精准推送最适合用户的在线培训课程及书籍,最终经过个人发展提升,如用户有新求职意向,薪酬预测,简历结构优化等组件可以助力用户有侧重的展示个人优势并提供专业的薪酬建议。83第七部分|e 成科技 AI 开放平台职业发展路径预测未来,e成科技愿意借助于自身在AI开放
178、平台、AI技术、产品、行业经验等优势,持续深耕人才发展领域,赋能人才发展,为用户探索职业发展的多条道路。作者:e成科技AI算法团队许惠琳、钟海霞(扫描二维码查看文章)84第七部分|场景:人才盘点内容:看过那么多大厂经验,依然做不好人才盘点?你需要这款 AI 利器!AI 黑科技:贝叶斯网络、因果关系等马上就2020年了,当我们满怀欣喜期待着新的一年到来的时候,却是HR们为年末人才盘点项目头痛的时刻。作为人才管理的引擎,人才盘点直接体现并持续提升着人才资源管理的价值,是企业进行人才摸底、推动人才升级换代、保证组织战略落地的有效工具。但传统的人才盘点往往复杂繁重、耗时耗力,如何升级为轻量、动态、高效
179、、精准的数字化人才盘点新模式成为数字经济时代,众多企业面临的重要挑战。基于此,e成科技凭借领先的AI技术能力和顶尖的咨询专家,打造数字化人才盘点创新模式,为您带来人才盘点全流程的升级体验。人才盘点因果模型,是一种对组织的人才进行盘点,全方位挖掘其个性特点,全方位识别各级人才,让高端人才浮出水面的算法模型,其中包括挖掘明确的组织架构、岗位发展变化、员工知识技能水准、员工等级等等。o对于企业来讲,通过人才盘点模型输出结果,我们可以清晰地了解组织中的人力资源情况,能够通过对人力资源状况的审视来确认与组织未来发展的差异度,以便做更清晰有效的人力资源规划。o具体到HR日常工作上,盘点结果能够展现出不同岗
180、位的员工个性特点和岗位所对应的知识技能,可直接用来评估人岗匹配程度,并且可用作于员工培训计划制定、员工职业生涯规划、人才配置等。第八部分看过那么多大厂经验,依然做不好人才盘点?你需要这款AI利器!01人才盘点因果模型构建85第八部分|人才管理因果模型人才盘点因果模型主要利用概率图模型中的贝叶斯网络图模型。这是一种对现实情况进行描述的模型。其核心是条件概率,本质上是利用先验知识,确立一个随机变量之间的关联约束关系,最终达成方便求取条件概率的目的。它模拟了人类推理过程中因果关系的不确定性。贝叶斯网络是概率论与图论结合的产物,一方面用图论的语言直观揭示问题的结构,另一方面按概率论的原则对问题结构加以
181、利用,本质上其网络拓朴结构是一个有向无环图(DAG)。贝叶斯概率图模型反馈出的结果我们可以得知各维度之间的内在因果关系,根据概率图模型结果作为对实际生活中发生的事情进行推理的理论依据。模型构建:贝叶斯网络构建学习分为两部分:o结构学习,发现变量之间的图关系,构建贝叶斯网结构的一般方法是后向构建过程,该过程从我们感兴趣的变量开始,然后尝试找到这个变量的先验因素,将其添加为这个变量的父节点(partents:因),在此网络构建逻辑中体现出了因果性。结构学习的方法分为三个,基于约束的结构学习,基于得分的结构学习。o参数学习,决定变量之间互相关联的量化关系,即估计贝叶斯网络的CPD(条件概率分布)表格
182、中的数值。操作方法很简单,就是计算训练数据中事件发生的次数。贝叶斯网络基于得分的结构学习包括两种方法:o似然得分,得分函数选择的是似然函数,可用它做参数估计,似然函数度量给定模型时数据的概率,寻找一个是数据尽可能地模型。o贝叶斯得分,该得分方式偏向于更简单的结构,随着数据的增多可能会需要更加复杂的机构。无论何时对任何不确定的事物,我们都对其确定一个分布,在网络中对所有的参数使用Dirichlket先验。似然得分:为了获得似然得分更好的直觉认识:(网络构建步骤)我们寻找最大释然得分去寻找到参数sita与数据概率之间最好的拟合值。其中是 中X与Y的互信息,可以看出模型 的似然取决于变量X与Y之间的
183、互信息,互信息越大意味着依赖性越强,似然得分越高,因此依赖性越强意味着更倾向于X与Y相互依赖的模型。对于贝叶斯网络的似然得分公式:86第八部分|令 为一个变量序列,顺序与 中保持一致,于是有:为P中X与Y的依赖强度,如果 (独立)则互信息 为0。其中 为给定的的父节点,与序列中前面变量之间的信息,更小的条件互信息意味着更高的得分。上文提到,互信息越大意味着依赖性越强,条件独立事件户信息为0,因此我们可以将上述公式解释为度量 所隐含的马可夫性质被数据违背的程度。对马可夫属性违背的越小,得分越高。解释了度量在给定概率图模型结构概率的情况下维度 独立于序列中前面变量的程度。02Why贝叶斯网络?贝叶
184、斯网络之父 Judea Pearl87第八部分|在本次项目中,我们需要挖掘人才画像中各维度之间的相关关系,通过算法的方式挖掘人物的知识技能与本身内在品质之间的内在联系和依赖关系。对于各维度之间的相关关系挖掘,一般使用的数学统计方法为相关系数计算(Correlation),统计学独立性检验(Independent Test)和统计相关性模型(ReliefF)等等。o相关系数(Correlation)通常使用的方法为person相关系数,用来衡量两个数据集是否在同一条线上面,用来衡量定距离变量间的线性关系。此方法的原因在于它只是用来衡量两个变量线性相关程度的指标,对于多变量、复杂的关系来说,此方法
185、的参考价值不足以挖掘到各维度之间的依存关系,不能够业务需求。o独立性检验(Independent Test)此方法为统计学的一种检验方式,是根据次数判断两类因子之间彼此相关或者相互独立的检验。此方法仅适用于两类之间的检验与对比返回结果,不适用于更深度的内在关系剖析。o统计相关性模型(ReliefF)ReliefF算法也是一种仅适用于两类样本的问题,通过计算各类别临近样本之间的权重,最后根据权重大小进行排序得到最适合的特征。此方法和上述方法一样,无法深度剖各维度内在的相关和依赖关系。人才管理因果模型理解:因parents果children88第八部分|该网络的联合概率:此图里实际上是一个概率查询
186、和推理过程,例如说我们想知道一个学生从教授那里得到一个好的推荐信的可能性有多大。因果推论:l(1)为好的推荐信,i(0)为该学生不太聪明,d(0)表示为这门课程简单 为我们在对学生和课程情况毫不知情的情况下得知得到一个好的推荐信的概率,为该学生本身不太聪明却获得了一封好的的推荐信的概率,表示学生不太聪明,课程又很简单的情况下学生得到一封好的推荐信的条件概率。对于上述的情况都是我们在不知道该学生学习成绩到底如何的情况下(Grade未知)推测出来的的因果影响,如果我们知道该学生学习成绩(Grade已知),那么课程难度和智商高低之间就没有任何关系(相互独立),互相不影响,可直接通过学习成绩作为依据。
187、但是假设现在我们有一家公司对该学生进行评估决定是否录用,我们知道的信息为,该学生为高智商的可能行为30%,学习成绩为G3。通过以上已知的学生信息来评估这个学生有高智商的概率被降低至7.9%,即 ,如果该课程的困难的概率度从40%上甚至62.9%,那么我们很有理由相信是课程太难而导致该学生没有取得好成绩,而不是智商的问题。下面我们以农牧行业某知名企业人才数字化创新实践项目为例分析,在该项目中,需要打造出较为全面及系统化的人才画像系统,使得团队管理者更了解每一位员工,分岗分职地为其提供科学的理论依据,助力其对员工的管理和培养。为此目的,我们对不同岗位下的每一位员工进行分析,共性化地了解不同岗位员工
188、群体差异,同时个性化地了解各个岗位中的员工个体特点。从整体上,我们要了解整个公司员工的共性特点,对不同的员工类型进行准确定位并挖掘群体特性。从岗位上,我们对不同岗位员工群体特性单独建模,挖掘分析不同岗位对应的不同数据维度的群体差异以及特点,在此基础上进行细化分析。从员工个体而言,通过挖掘了解不同岗位优质特性员工特征特性,针对每一位员工进行对比分析,全面分析员工个人情况,帮助管理者为其确定最快最高效的人员培养路径。以此方式针对不同岗位不同员工做到个性化的解剖。在数据挖掘过程中我们对每个用户进行分析判定,不仅需要知道收集的数据之间的相关关系,还要知道各维度之间的相互依存关系以及不同维度中不同类别之
189、间的相互影响关系,输出贝叶斯网络图谱,利用其结论通过分析推理等方法实际指导业务和辅助商业决策。03在企业中的创新应用89第八部分|o分岗分职:在该项目的实例中我们可以看到总共分类6大岗位,3个员工个性特征维度组合,最下面红色框中为对应岗位和属性针对各个维度输出的贝叶斯网络。仅从这个网络图中我们可对该岗位本身所需技能和员工的有更多的了解。o分职工个人素质以及专业技能:从整体而言,我们可以知道该岗位的员工需要具备哪些重要技能,从图中最顶端为成就动机,可理解为一个员工的成就动机可促使该员工在专业知识技能上的学习与发展,其中包括法律法规、财务、谈判技能、市场拓展能力、营销知识和关系建立的能力。从结果上
190、来看,无论从业务上,我们的常识认知上,还是模型构建上,三方的结果都是相符合的。o人才管理因果模型选择:在模型选择上和最优网络寻找上是一个难题,最大似然得分过拟合十分严重,因为每当网络增加一个边(分支)最大似然得分不会减少,使得网络结构过于复杂(过拟合),这样最终的结果我们会得到十分复杂结构的网络图,为此我们需要注意的是根据业务相结合的剪枝规则。在算法计算过程中,贝叶斯得分计算速度更加缓慢,对于数据量较小的数据结果不会如预期的理想,对于似然得分这种方法适用于各种量级的数据,因此在实际运用中,对数据量进行了限定,对于较少的数据量使用似然得分。90第八部分|贝叶斯得分结果似然得分结果91第八部分|在
191、人才管理因果模型输出中我们可以看到使用不同的网络评分方式,贝叶斯的结果更加细腻,而在业务运用使用中,通过似然得分所构建的结果于实际业务理解相比贝叶斯得分方法而言较弱。但是在实际运中,似然得分方法同样可以挖掘到清晰的因果关系,也很好的将共同业务场景下的对于不同岗位的知识技能内在依赖关系展现了出来。以某管理岗的专业知识技能为例,人才管理因果模型挖掘到该岗位员工所需要的所有知识技能,并且我们可以根据不同公司的具体情况个性化选择各知识技能学习先后顺序,并且通过模型来帮助管理者制定员工培养计划。o人才管理因果模型因果性确定:如图所示,在专业知识技能这一块,此图是销售岗位,通过挖掘个人绩效相关依赖维度的一
192、个结果,我们可以清晰地看到该岗位的在关系维护的能力影响绩效情况,以及因果关系。绩效的好坏可以直接反映该岗位职工的敏锐学习能力和目标导向。因此在我们不知道该员工绩效的时候,可以通过员工关系维护,敏锐学习能力和目标导向结果去推测这个员工绩效好坏。这个网络图虽然十分简单,但给管理者提供了科学的评估依据和参考。人才管理因果模型因果性影响程度92第八部分|根据箭头的颜色确定了维度之间的因果影响程度,其中黄色代表高影响力,蓝色代表中等影响力,绿色代表低影响力。对于维度间的影响力和整个岗位而言,从上到下,当出现分支的时候,我们可以用作主要或者优先培养的员工知识技能。而影响力的确定则是基于贝叶斯模型构建完成后
193、,根据原始数据重新进行概率值计算后得到的CPD条件概率结果。根据条件概率,可以细化到每一个维度中不同分数情况与其他满足模型关系的相关维度中不同分数的条件(或多条件)概率。也就是说,继续挖掘下去,我们可以知道“市场拓展能力高”对“主动行动低”的影响有多大。o人才管理因果模型注意事项:对此模型最大的障碍是计算速度十分缓慢,随着维度的增加,计算量以指数次幂的量级增急剧增加,为提高计算速度,故使用了贪心算法取得的局部最优,由于数据维度总共超过50个,为达到速度最优和结果可用性在此未使用别的搜索方法进行网络构造。以上我们展示了人才管理因果模型构建过程,以及其在企业实际场景中成功应用实践深度解析,展现了e
194、成科技数字化人才盘点中的AI能力创新突破和应用,赋能企业实现动态高效的人才盘点,为企业人才决策提供科学依据。e成科技拥有7年的AI能力积累,打造国内首家HR赛道AI开放平台,并将AI技术与人力资本深度融合,赋能招聘、员工服务、人才咨询等全场景。未来,e成科技将借助自身在AI开放平台、技术、产品、行业经验等独特优势,助力客户数字化升级转型。e成科技AI开放平台是HR赛道首个企业自主研发的,聚焦人力资本场景数字化升级需求,面向所有自研系统大型企业、垂直招聘平台、传统HR行业厂商等用户开放的一站式AI能力服务平台,通过灵活调用OpenAPI接口或云部署,提供NLP能力、实体识别、归一化知识图谱、人岗
195、匹配、简历解析、HR机器人等成熟AI技术基础能力,AI产品组件及定制化解决方案等多种智能服务,赋能人力资本智能化变革。93第八部分|作者:e成科技AI算法团队吴雅婷(扫描二维码查看文章)94第八部分|本册内容由HR图灵学院出品,e成科技AI技术团队提供内容和技术支持。现在,这些AI能力与服务已通过e成科技AI开放平台陆续开放,为所有企业和友商提供智能化解决方案,赋能人力资本智能化变革。AI技术优势:6年的AI能力积累,掌握深度学习、大数据挖掘与分析、自然语言理解、知识图谱、智能推荐、人才素质模型、情感分析、实体识别等核心AI技术,引领AI技术与人力资本场景深度融合;顶尖AI团队优势:3位顶尖A
196、I科学家,超过50位来自BAT等互联网巨头的优秀算法工程师,超过30位来自全球知名咨询企业的HRTech顶尖咨询专家;全行业知识图谱:最大规模全行业人力资源知识图谱,历时6年,10,000+家企业使用验证,成功构建50,000,000+实体关系;AI行业权威机构认可:HR赛道唯一入选中国人工智能产业发展联盟(AIIA)和上海人工智能发展联盟(SAIA)的会员单位,多次斩获人工智能技术应用十强、AI商业落地百强等荣誉;场景化产业落地经验:国内首家设立算法部门并将AI技术深度应用于招聘、员工服务、人才盘点等全场景的HRTech企业,自主研发简历解析、人岗匹配、HR机器人、画像推理等多种智能应用,多
197、年专注积累,5,000多家客户成功落地与验证。e成科技AI开放平台是HR赛道首个企业自主研发的,聚焦人力资本场景数字化升级需求,面向所有自研系统大型企业、垂直招聘平台、传统HR行业厂商等用户开放的一站式AI能力服务平台,通过灵活调用OpenAPI接口或云部署,提供NLP能力、实体识别、归一化知识图谱、人岗匹配、简历解析、HR机器人等成熟AI技术基础能力,AI产品组件及定制化解决方案等多种智能服务,赋能人力资本智能化变革。标准化AI能力:将NLP、NLU等前沿的AI技术全面应用于HR各类核心业务场景,为用户直接输出单个或多个AI技术能力,如简历解析、职位解析、人岗匹配等;组件化AI产品:基于业务
198、深度理解,实现AI产品组件化、平台化,用户通过标准API接入,实现快速调用标准AI产品组件,无需企业再次开发;个性化场景解决方案:根据用户的个性化场景需求提供定制化的AI能力和服务,打造企业专属AI应用,支持公有云/私有云部署;95后记|后记01e成科技AI核心优势02e成科技AI开放平台03e成科技AI开放平台三级火箭服务模式使命科技助力人才升级愿景人才重于战略关于我们客服咨询 商务合作 市场合作 上海总部 深 圳 北 京 南 京 武 汉 重 庆 杭 州 苏 州 e成科技作为国内领先的人力资本数字化平台,是DHR(Digital HR)的践行者与创新者,目前已形成了数字化招聘、数字化员工服务、数字化人才咨询为支柱的三大产品矩阵,赋能多重场景,为企业提供数字化、智能化、信息化、自动化的人力资本服务。e成科技始终秉持Talent Before Strategy(人才重于战略)的愿景,将“科技助力人才升级”作为自身使命不懈奋斗。