《InfoQ:2023年第二季度中国卓越技术团队访谈录(92页).pdf》由会员分享,可在线阅读,更多相关《InfoQ:2023年第二季度中国卓越技术团队访谈录(92页).pdf(92页珍藏版)》请在三个皮匠报告上搜索。
1、 目录 封面故事封面故事 两个多月完成全自研:大模型之争,从GPU卷到了向量数据库.i 重磅访谈重磅访谈 越来越“卷”的文生图模型,如何在中文世界“杀”出一条路?.1 桌面 QQ 重构,探寻跨平台开发挑战与 Electron 内存优化突破.13 中国最大公有云服务商,如何从零开始构建一支云效团队.24 管理与管理与研效研效 MySQL之父:不要把一个优秀的开发者提升为管理者,那会是种资源浪费.40 传统管理秩序消失,数字化下的组织和人才如何重塑.42 第一批因 AIGC 裁掉自家员工的老板该后悔了?.58 如何利用 AIGC 自动化编程提高研发效率?.67 封封 面面 故故 事事 i 中国中国
2、卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 两个多月完成全自研:大模型之争,两个多月完成全自研:大模型之争,从从 GPU 卷到了向量数据库卷到了向量数据库 采访嘉宾:罗云、邹鹏、杨亚洲 作者:冬梅 在大模型爆火之前,国内向量数据库赛道略显荒芜,市场上独立开发向量数据库的厂商只有个位数。这是因为向量数据库的应用场景比较单一,大多用于推荐、图搜图等场景中,因此在AI 技术没有取得突破性进展之前,向量数据库一直不温不火,这种状态直到去年ChatGPT 问世后才有所改变。去年 10 月,OpenAI 发布了智能聊天机器人 ChatGPT,随后短短几天内注册用户就突破上亿人,一时间,与
3、AIGC 等大模型相关的技术成为了 VC 眼中炙手可热的投资项目。从目前VC的投资数据来看,投资者对于AI的关注点主要有三个:第一个是基础大模型 LLM,第二个是具体某个场景的应用(包括小模型),第三个就是基础模型与应用层之间的中间层(开发者工具和数据库等)。随着各种 AI应用诞生,中间层已经成为各大 VC争抢的投资标的,早期默默无闻的向量数据库一跃成为当下最大的一个热门,各数据库厂商摩拳擦掌都想在这一垂直赛道分一杯羹。机构观点认为,AI大模型或催生向量数据库应用骤增,向量数据库或迎重 ii 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 要发展机遇。最近,腾讯云团队也正式
4、发布了专业型向量数据库(Tencent Cloud VectorDB),InfoQ 有幸采访到了腾讯云数据库团队,与他们一同探讨了腾讯云向量数据库背后的故事以及他对于向量数据库现在所面临的挑战和未来发展趋势的思考。定定调数据库,从拥抱开源到发展自研调数据库,从拥抱开源到发展自研“走了不少弯路,也踩过很多坑,但最终还是遇见了星辰大海。”2010 年,腾讯这家千亿巨头还埋头在自家地里辛勤耕耘,QQ 空间等一众应用的爆火,让腾讯的服务器忙得不可开交,为了承接住如此高并发的流量洪潮,腾讯在短短一个月内额外购买了上千台服务器。但流量不会永远停在峰值上,当流量回落后,闲置的服务器就造成了资源的浪费。另一方
5、面,应用的爆火也为腾讯下游的小程序和游戏方们带去了巨大的流量,但他们有限的服务器无法承接住如此庞大的流量洪流。天下苦服务器,久矣,腾讯说,别急,服务器我有。找上门的生意没有不做的道理,就这样,2011 年左右腾讯开始筹备组建一支十几人的云团队,将内部技术能力以产品和服务的形式对外销售,当时他们做了一个产品,叫 Open Cloud(开放云),这就是后来腾讯云的雏形。有了一众明星级应用等加持,腾讯云团队的技术实力很快得到了市场的认可,同年年 iii 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 底,腾讯就已经积累了近 3000 家客户。云计算是一个人力密集型的赛道,需要投入
6、大量人力才能把客户维护好。就这样,为了更好地支持腾讯云业务,腾讯深圳大本营分别在深圳、北京和杭州扎了根,随后扩展到了成都等多个城市。随着 Open Cloud 打磨了云技术的底座,腾讯成立了独立的云计算品牌腾讯云,正式开启了公有云的万里征程。担任腾讯云数据库副总经理的罗云,就是腾讯云业务团队的创始成员之一。据罗云介绍,从 2011 年开始做云业务至今,整个团队经历了多次方向上的调整,直到 2017 年看到国产数据库这个大趋势后,成都团队才定下调来主攻数据库赛道。与很多互联网公司不同的是,腾讯初始的业务发展并未对数据库有过强依赖,腾讯内部没有去 IOE 的过程。一开始,腾讯云数据库建设主要引入了
7、当时业界较为主流的开源数据库,如 MySQL、Redis、MariaDB、PostgreSQL等。随后针对云上客户定制需求,腾讯云在数据库中衍生研发了如数据库并行复制、审计日志、在线加字段等核心功能,并计划逐步将以上功能回馈给 MariaDB 和 MySQL 社区。随着腾讯云数据库积累的客户越来越多,客户的需求越来越定制化且应用场景更加复杂,在业务倒逼之下,从 2012 年开始,腾讯云研发了适配内部业务自研数据库TDSQL,此后又推出多款自研数据库 TDSQL-C、TBase 等产品。在习惯了 Oracle、MySQL 等国外十分成熟的数据库后,客户对新兴数据库产品的要 iv 中国中国卓越技术
8、卓越技术团队访谈录团队访谈录2023 第第二二季季 求很高,既要求高并发、高可用、低延迟等高性能,还要保证数据持久化,因此对团队的技术水平要求极高。罗云举例称,“在数据库每次热升级时,要做到让用户无感是非常困难的。在断开又重连的过程中,我们的团队能做到秒级别的抖动。因为我们在数据库的内核上做了很多工作,比如做了两层架构,软件的第一层叫 proxy(接入层),下面有 cache(存储层),我们通过一些逻辑使这两层叠加后就可以实现做业务替换时让客户毫无感知。”为了应对高性能和数据持久化的要求,腾讯内部还 100%自研了 KeeWiDB 数据库,这是一款完全兼容 Redis 协议的新一代分布式 KV
9、 存储数据库,实现了数据的冷热分级,满足业务高性能、持久化、低成本、大规模的四大诉求,这也为后面腾讯自研向量数据库打下了坚实的技术基础。此外,腾讯云与中科大联合撰写的论文 PLIN:A Persistent Learned Index for Non-Volatile Memory with High Performance and Instant Recovery 已被数据库国际顶会VLDB 收录。两两个多月做完一款自研数据库个多月做完一款自研数据库 在大模型浪潮爆发后,腾讯云在一众大厂中抢先发布了自己的向量数据库产品。据悉,整个产品从立项到最终完成产品化仅用了不到 3 个月的时间。之所以能
10、如此快地推出这款产品,罗云表示,这主要得益于两方面:一个是云团队内部多年的技术积累;另一方面是这个团队中每个人都是能打“硬仗”的好兵。v 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 去年年初,随着 ChatGPT 的爆火,国内“百模大战”趋势日渐明显。腾讯云也在思考从哪个方向找到突破口切入到大模型“军备竞赛”中。随后到了3月份,ChatGPT发布了一个叫“Plugin”的插件功能,Plugin 的标准案例中提到向量数据库是大模型产品中必不可少的一个组件。因为当前的大模型都是预训练大模型,它能够学到的数据只是公开数据,更多的企业私有数据和实时数据大模型是学不了的。既无法学
11、习实时数据,又学不到企业私有数据,这是预训练大模型在时间和空间上的两大限制。基于这个逻辑,大模型一定会需要一个外部的“海马体”,也就是存储组件来存储这些知识。另一方面,市场上很多做大模型的企业也在向腾讯云团队寻求一款企业级的向量数据库产品。就这样,在加深了对大模型的探索和对行业有了更清晰的认知后,腾讯云团队认为向量数据库是一个必须要做并且要赶紧做出来的产品。对齐了需求后,就来到了执行层面。摆在腾讯云面前的第一个选择就是到底要做什么类型的向量数据库类型,究竟是做插件式还是自研?出于市场需求侧的压力,腾讯云想快速推出一款产品,所以刚开始也考虑了用 Redis Search 插件式的方案来做产品。但
12、经过调研发现,这种全内存的方案成本太高,这也腾讯云坚定了要做自研的决心。据腾讯云向量数据库产品负责人邹鹏介绍,腾讯云向量数据库真正立项时间是在 5 月中下旬,随后技术团队就着手调研研发方案了。既然时间如此紧迫,那不如从腾讯的内部项目中考察是否有能够匹配得上的产品,这样是最高效的解决方案。vi 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 邹鹏认为,做一款云数据库最核心的两大要素就是管控和内核:管控是指要给数据库做一些功能,把它产品化,就比如数据库的控制台上一系列可操作的功能;内核就是数据库数据层面的东西。在管控层面,通过多年的技术积累,腾讯云沉淀出了一个比价成熟的云原生管
13、控平台云巢,这是一款 PaaS on IaaS 方案,自 2019 年上线后一直稳定地为所有腾讯云数据库产品服务。在内核层面的选择上就要比管控层复杂一些。因为腾讯集团内部有多款数据库内核可供选择,究竟该选择哪一款就是个问题。经过调研后,腾讯云数据库团队认为,使用规模和体量最大的向量引擎 Olama 是向量数据库内核的最佳选择。QQ、QQ 空间、腾讯视频、腾讯新闻这些业务场景中都会涉及推荐、搜索等向量技术,也从一定程度上验证了 Olama 的技术实力。此外,Olama 采用了比较前沿的分布式的、Raft 架构设计,这种架构设计逻辑也更偏向于数据库的架构逻辑,且易于维护。更重要的是,Raft 架构
14、在弹性上也设计得非常灵活,它甚至能够做到表级别的资源扩展。邹鹏称,在和 PCG 团队沟通后,了解到他们也有非常强烈的上云需求,两个团队一拍即合,管控层和内核层全部尘埃落定,这个项目基本上已经完成了大半。Olama和云巢都是腾讯集团内部非常成熟的产品,如何高效强执行的将两者融合在一起的过程中还是给团队带来了一些挑战。vii 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 整个团队花费时间和精力比较多的工作在接口和协议的处理上。由于 Olama 和云巢此前都是腾讯内部自用的产品,它们接口的一些功能设计无法友好地对外服务,因此需要进行重新设计接口,这是对内核改造最大的一部分工作,
15、也会占用一些新的研发资源并加大在这方面的投入。经过了两个多月的摸爬滚打后,腾讯云向量数据库现已在官网上线。要想做出一款好产品,仅有技术上的积累是不够的,背后团队的技术实力也同样重要。罗云称,“数据库是个比较卷的赛道,没有最卷,只有更卷。在这么短的时间内推出上线一款全新的自研数据库,对团队成员来说是不小的挑战。但我们的工程师都是很能打的。”提提交千行交千行 MongoDB 代码被采用,做数据代码被采用,做数据库没有最卷、只有更卷库没有最卷、只有更卷 2022 年下半年,腾讯云 MongoDB 专家工程师杨亚洲在帮助一家头部金融企业维护数据库时发现,他们单个数据库集群数据量很大,达到几百上千亿条。
16、会不定期出现性能抖动,有时延迟也比较大,抖动高的时候甚至都可以达到秒级别。MongoDB 本身是个分布式、无限量扩容的数据库,但如果硬件资源不足,又数据量过大的情况下,业务访问就会可能会产生抖动。抖动原因是集群大、数据量多了过后,路由信息会很多,路由变更的过程中,如果资源不足,就可能会产生抖动,而这样的抖动和延迟可能会影响客户的业务。viii 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 杨亚洲认为,当时这家头部金融企业用的是腾讯云 MongoDB 数据库,该金融客户遇到的问题在腾讯云线上 MongoDB 中也同样会遇到,腾讯团队从一切为了客户的角度出发,借助自身对 Mo
17、ngoDB 深厚知识迎难而上,决心既要为客户消除这个可能影响业务的抖动,又避免传统单纯扩容增加用户的成本。“为了从根本上解决问题,于是我花了近三个月的时间,分析造成问题的原因和解决问题的技术瓶颈到底是什么,通过底层代码优化调整,然后彻底把问题解决掉了”,杨亚洲表示。解决掉这个问题后,腾讯云数据库团队向 MongoDB官方提交了一个 1000行的 patch,最终该 patch 被他们接受了并收到了 MongoDB 官方的感谢。向向量数据库是风口,更是刚需量数据库是风口,更是刚需“专业的向量数据库需要有长时间的积累和投入才能做得出来,但相应的它的天花板也更高。”AIGC 技术迎来大爆发后,国内外
18、科技公司纷纷推出自家大模型产品,这一波浪潮把向量数据库这一原本没那么火爆的赛道推到了聚光灯下。向量数据库本质有三种形态:第一种是纯单机向量数据库,它不是分布式的;第二种是在传统数据库上加上一个具备向量检索能力的插件;第三种是独立的、专业的企业级向量数据库。目前国内的许多企业并没有采用专门的向量数据库,而是在原来传统数据库上增加了一项向量检索能力,也就是上述提到的第二种形态。从表面上看,独立的、专业的向量数据库看起来并不是那么刚需,但事实的确如此吗?ix 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 这就要从传统数据库和向量数据库的区别来看了。传统数据库和向量数据库的主要区
19、别在于它们的数据存储方式、数据规模、查询方式和计算密集型。数据存储方式:传统数据库存储的是结构化数据,而向量数据库存储的是向量数据,即将非结构化数据(如图片、音频、文章等)转换为向量方式来存储。数据规模:传统关系型数据库的管理数据规模通常为千万级,而向量数据库的需求数据规模则以达到千亿级。查询方式:传统数据库的查询通常是精确查询,即查询结果要么符合条件要么不符合条件。而向量数据库则使用相似性查找,即查找与查询条件最相似的结果,这需要更高的计算能力。计算密集型:传统数据库的查询主要是事务处理,而向量数据库的查询则是计算密集型,需要进行大量的向量计算和比较。总而言之,向量数据库的主要特点是能够高效
20、地存储和查询大规模的向量数据。它通常采用基于向量相似度的查询方式,即根据向量之间的相似度来检索数据。这种查询方式可以用于各种应用场景,例如图像搜索、音乐推荐、文本分类等。维度越高、信息量越大,这些特性都是传统数据库很难做到的。这种专门用于存储、索引和查询嵌入向量的数据库系统,可以让大模型更高效率的存储和读取知识库,并且以更低的成本进行 finetune(模型微调),还将进一步在 AI Native 应用的演进中扮演重要作用。目前,大语言模型(LLM)往往包含数十亿个参数,嵌入则广泛作用于这些模型的训练和微调过程,使其获得执行各种 NLP 任务的能力。在 MaaS 业务的训练、推理等场景,向量数
21、据库都非常重要。x 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 更重要的是,向量数据库可以大幅度拓展大模型的时间边界和空间边界。目前的大模型都是预训练模型,对于训练截止日之后发生的事情一无所知。向量数据库可以通过存储最新信息后给大模型访问来弥补这点不足。此外,通过向量数据的本地存储,向量数据库能够协助解决目前企业界最担忧的大模型泄露隐私的问题。向量数据库还自带多模态功能,能够实现用中文搜索英语图书、用俄文搜索图片内容等操作,向量数据库的近似搜索能力能够给向量数据库带来巨大的商业化潜力。在罗云看来,现在我们无法完全笃定地说最终向量数据库会停留在哪个形态上,但他认为第三种形
22、体是可以向下兼容前面两种形态的,只是这种专业的向量数据库需要有长时间的积累和投入才能做得出来。第一个形态它可能边界就在几十万行的下面,第二个形态它可能做到几百万行到亿可能就搞不定了,如果要做到亿到 10 亿的数据规 xi 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 模,就需要专业的企业级分布式向量数据库了。未未来发展趋势展望来发展趋势展望 虽然去年至今年国内外大模型产品和企业层出不穷,但罗云认为,目前大模型还处于技术发展的初期阶段,相应地,与之相关的技术也处于较早期。以向量数据库技术发展现状来看,向量数据库的发展可以分为三个演进阶段:第一个阶段,是向量数据库概念的定义和
23、规范阶段。也就是一款数据库它要具备向量数据库所有的特征,在向量存储能力、检索能力上达到向量数据库的要求,能够满足客户的基本需求,才可以称之为向量数据库。第二个阶段,是向量数据库核心成本优势的竞争阶段。当我们把向量数据库的概念和特征明确后,就要求数据库厂商们“卷起来”了。他们要去真刀真枪地对比谁家的产品成本更低,比如单 QPS 查询需要客户付多少钱、它节省了多少人力和时间成本等。第三个阶段,是向量数据库的易用性打磨阶段。这个阶段就主要去解决客户“既要又要”的问题了。客户已经不再只要求成本上的降低,还会更加关注数据库性能的极致体验,这也是向量数据库厂商们要大力投入的方向。目前来看,客户的需求还只是
24、停留在需要一款真正的向量数据库上。相比于传统数据库,客户在做向量数据库选型时就容易得多,因为应用场景单一,不会涉及太多混合场景需求。罗云称,“在市场侧,国内客户在做数据库选型时更倾向于选择有持久性保障的厂商,客户们会考虑你的服务的可延续性,这个比较重要。”xii 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 在技术层面,罗云预判向量数据库未来会朝着与云和云的基础设施结合的发向发展,也就是 AI Native 化的向量数据库。他进一步解释道:“在向量里面,决定向量数据库核心性能的指标是它的向量检索算法,而这个算法其实比较成熟了。所以当我们要攻破数据库单 QPS 查询成本的时
25、候,就会考虑如何将整个云服务结合 IaaS、容器的核心竞争力都组合在一起去打磨向量数据库,这也是我认为在向量数据库赛道未来云厂商能够跑出来的第一个点”。此外,随着向量数据库和 AI 的结合更加紧密,客户向量数据库的易用性会有更高要求,这也是刚才罗云提到的第三个发展阶段,有了 AI 和数据库相关技术的积累后,就可以很方便地将这些能力组装进向量数据库里,产生核心竞争力。采访嘉宾简介采访嘉宾简介 罗云,腾讯云数据库副总经理 邹鹏,腾讯云向量数据库产品负责人 杨亚洲,腾讯云 MongoDB 专家工程师 重重 磅磅 访访 谈谈 1 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 越来
26、越“卷”的文生图模型,如何越来越“卷”的文生图模型,如何在中文世界“杀”出一条路?在中文世界“杀”出一条路?嘉宾:赵增博士 作者:凌敏 宋徽宗赵佶曾创作过一幅名为蜡梅山禽图轴的画作,并为该画题了一首诗:“山禽矜逸态,梅粉弄轻柔,已有丹青约,千秋指白头。”讲述的是一对白头翁立于这丹青笔墨的虚空中,没有风,没有阴影,没有俗世喧嚣、红尘侵染,一千年恩爱如初,一千年只不过黯淡些羽毛上的墨色,艺术比生命更长久。以此诗为灵感,网易集团高级副总裁胡志鹏给网易伏羲自研文生图模型取名为“丹青”,依托于该模型之上构建的 AIGC 平台名为“丹青约”。丹青模型基于原生中文语料数据及网易自有高质量图片数据训练,与其他
27、文生图模型相比,丹青模型的差异化优势在于对中文的理解能力更强,对中华传统美食、成语、俗语、诗句的理解和生成更为准确。比如,丹青模型生成的图片中,鱼香肉丝没有鱼,红烧狮子头没有狮子。基于对中文场景的理解,丹青模型生成的图片更具东方美学,能生成“飞流直下三千尺”的水墨画,也能生成符合东方审美的古典美人。2 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 丹青模型生成的图片 近日,InfoQ 采访到了网易伏羲预训练及生成式人工智能平台负责人赵增博士,进一 3 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 步了解丹青模型的构建思路。网易伏羲成立于 2017 年
28、,主要研究方向为强化学习、自然语言、用户画像,视觉计算,虚拟人等,技术应用智能捏脸、反外挂、智能NPC、对战匹配、竞技机器人、人机协作、数字孪生等多个方向,团队已在世界顶级学术会议发表论之 200 余篇,申请发明专利 550 余项。文文生图模型“卷”起来了生图模型“卷”起来了 2022 年被称为 AIGC(生成式人工智能)的元年。这一年,Stable Diffusion 正式开源,并掀起了文生图模型的热潮;这一年,ChatGPT 火遍全球,成为现象级应用。在年末 Science 杂志发布的 2022 年度科学十大突破中,AIGC 作为人工智能领域的重要突破赫然在列。进入 2023 年,AIGC
29、 技术助推出新的人工智能浪潮,AI 大模型的创新应用按下加速键。而其中,文生图仍是大模型最火热的应用领域之一,国内外发布的文生图模型数量不断攀升。越来越“卷”的文生图模型们,正促进模型生成效果和效率迈上新台阶。“在过去的半年里,我深刻地感受到了 AIGC 技术的飞速发展。整体来看,去年整个行业和技术相对来说不如今年活跃。今年以来,行业和社会都开始更加关注 AIGC 的发展,AIGC 技术发展速度惊人。”赵增在接受 InfoQ 采访时表示,AIGC 技术的飞速发展使得文生图模型不断实现更加良好的生成效果,与此同时,以 Stable Diffusion 为代表的开源项目空前活跃,很多没有强大 AI
30、 背景的开发者也能够基于开源生态做出优秀的 AI 模型。“这对我们产生 4 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 了很大的冲击,我们需要重新审视自身的工作路径,并考虑如何与有志于参与模型建设的行业伙伴建立关系。同时,我们也要考虑如何支持内部同事,尤其是那些掌握了一定 AI 生产能力的美术同事们,帮助他们更好地利用 AIGC 技术,以提升他们的工作效率和质量。”如如何构建更懂中文的文生图模型?何构建更懂中文的文生图模型?据了解,网易伏羲从 2018 年开始关注 AIGC 技术在产品中的应用可能性,不断尝试将其应用于实际场景。2018 年,GPT 横空出世,其强大的生
31、成效果令人印象深刻。在胡志鹏的推动下,网易伏羲开始尝试在游戏中使用 AIGC 技术,推出一些互动玩法。比如,在遇见逆水寒游戏中,网易伏羲引入了一个文字生成类的玩法傀儡戏。在这个玩法中,玩家可以扮演剧情角色,通过聊天的方式,与 AI 共同创作剧本,共同协作达成一些目标。这也是国内首个将 AI 接入游戏中,与玩家共同创作剧本的玩法。2019 年,网易伏羲尝试将这一设计正式大规模上线,并在训练应用、工程加速等多个方面进行直接探索。与其他 AI 研究机构相比,网易伏羲的优势在于能够快速在产品中验证 AI 技术,根据实际应用效果不断迭代优化。赵增表示,网易有多款产品,可以通过类似“实验田”的方式验证 A
32、I 产品在游戏或其他产品中的可行性,“这也是网易的一个良好机制,可以快速验证和实现 AI 的应用。”5 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 2021 年,网易伏羲正式启动大规模预训练研发项目,并得到了浙江省政府的支持。根据项目规划,网易伏羲计划开发文本、图像、音乐等一系列 AI 大模型。在与网易集团多个业务的专家交流后,网易伏羲判断多模态将是未来发展趋势,决定优先专注多模态相关的工作,如文本到图像、文本到音乐、图像到音乐的理解和生成。文生图模型丹青正是其中的主要工作之一。2022 年上半年,网易伏羲开始启动丹青模型的各项工作,该模型基于原生中文语料数据及网易自有
33、高质量图片数据训练,100%自研。“生产好的内容之前,需要先理解好的内容”生产好的内容之前,需要先理解好的内容”在丹青模型出现以前,国内外已有多个文生图模型,随着去年 Stable Diffusion 的开源,文生图模型数量激增,很多创业公司直接基于 Stable Diffusion 模型进行适配训练和推理生成,并利用 API 的翻译接口将中文的输入转化成英文,实现对中文用户的支持。不过,Stable Diffusion 使用的核心数据集是开放图像-文本对数据集 LAION-5B,存在一些偏西方化的特点。比如,海外数据的内容组成大多由当地的人文地理、生活历史构成,对中文语言、美食、文化、习俗缺
34、乏理解,直接地英译中可能引起语义的缺失,由此生成的图片也容易引发争议。像淮扬名菜“红烧狮子头”,一些模型会生成狮子头的图片;河北小吃驴肉火烧,也有模型直接生成一头驴和一团火。此外,海外数据集在合规性和安全性方面存在一定风险,比如,存在种族不平等、大量裸露、暴力等内容,直接将这些数据模型用于国内的生产,存在巨大的隐患。6 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季“网易伏羲的观点是,生产好的内容之前,需要先理解好的内容。”赵增认为,Stable Diffusion 的确给文生图模型领域带来了一些参考和启示,但 Stable Diffusion在很大程度上仍是“黑盒”,如果
35、在其基础上进行修改,对模型的优化和控制力是相对有限的。做文生图模型,如果只是简单的重复并无意义,需要走出自己的一条路子。具体来说,网易伏羲的关注点主要有三大方面:网易伏羲需要构建的是一个对中文领域以及中文的艺术知识有更深理解的生成模型,满足国内用户的使用需求。从技术的可控性、安全性和规则性出发,需要打造一个完全开放的基础模型,知道它是如何构建和运作的,以及如何对其进行优化,而不是始终等待别人开源新版本。AIGC 并不代表只是大模型,大模型只是其中的重要环节,要真正将生成的内容用于生产,还需要做很多大模型以外的工作。比如建立生产管线,将专家及 AI 能力整合起来,提供专业化解决方案。基于这一认识
36、,网易伏羲选择兼容开源数据的同时,又分为四步推进丹青模型的研发工作:建设高质量的大规模中文数据集;构建中文领域的优质理解模型;基于数据集和理解模型重构图文生成算法,做到语义的有效提升;引入专家和人类的反馈,引导模型生成用户更加需要的高质量内容。7 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 数据集方面,网易伏羲联合网易多个部门,包括网易雷火、传媒、云音乐等核心业务,从用户和业务维度提供对数据的理解和需求,完成对于优质数据的定义,建设包括文本质量、图像美观度、版权合规性以及伦理评估等评价标准。以此框架作为约束共同推进数据构建,同时设计了一套基于分布式任务的数据可信系统,各
37、专家团队各自提供数据质量评审模型,完成共同打分后再交由数据治理引擎统一管理。大模型方面,网易伏羲自主研发了中文文本预训练大模型系列“玉言”,“玉言”先后登顶知名中文榜单 FewCLUE 和 CLUE 分类榜单,在多项任务上超过人类水平。在文本理解的基础上,网易伏羲自 2021 年起着力打造“玉知”多模态图文理解大模型,采用图片-文本双塔结构和模块化的训练思想,基于亿级别的中文图文数据对,先后迭代了三种规格的模型版本。基于数据集和理解模型,网易伏羲对图文生成算法进行重构,依托于扩散模型的原理,在广泛的(8 亿)图文数据上训练以达到较好的生成结果。具体来说,丹青模型侧重 8 中国中国卓越技术卓越技
38、术团队访谈录团队访谈录2023 第第二二季季 文本与图片的交互,强化了在文图引导部分的参数作用,能够让文本更好地引导图片的生成,因此生成的结果也更加贴近用户意图。同时,丹青模型进行了图片多尺度的训练,充分考虑图片的不同尺寸和清晰度问题,将不同尺寸和分辨率的图片进行分桶。在充分保证训练图片训练的不失真的前提下,保留尽可能多的信息,适应不同分辨率的生成。在数据策略方面,丹青模型在初始阶段使用亿级别的广泛分布的数据,不仅在语义理解上具有广泛性,可以很好地理解一些成语、古文诗句,在生成的画风上也具有多样性,可以生成多种风格。在之后的阶段,丹青模型分别从图文关联度、图片清晰度、图片美观度等多个层面进行数
39、据筛选,以优化生成能力,生成高质量图片。此外,丹青模型在训练和生成阶段还引入了人工反馈。在训练阶段,人工从多个维度的评估,筛选出来大批高质量图文匹配、高美观度数据,以补足自动流程缺失能力,帮助基础模型获得更好的效果;在生成阶段,人工对模型的语义生成能力和图片美观度进行评分,筛选出大批量优质生成的结果,引入模型当做正反馈,实现数据闭环。丹丹青约背后的东方美学青约背后的东方美学 丹青模型是底层基础,在实际场景中进行应用需要依赖于上层平台的建设。依托于丹青模型,网易伏羲和雷火艺术中心联合研发了 AI 绘画平台“丹青约”。在赵增看来,丹青约的优势在于对中文和美的理解,依赖于较强的中文理解能力,以及对美
40、学的专业理解,丹青约创作出的作品更能满足中式审美。“我们会请一些美术专家对模型进行把控。目前来看,国内具备美术专家群体的 AI 机构寥寥无几,网易在这一领域具有显著优势,我们知道什么样的模型生成内容更符合大家的审美需求。”9 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 比如,雷火艺术中心会派遣艺术家前来指导,从艺术的角度对生成图片效果、插件、版本给予专业意见。丹青约也会为艺术家提供定制化的生成工具,及时获取艺术家们的反馈意见,进一步迭代优化。此外,丹青约还充分结合了网易游戏美术设计的工作流,无论是生成图片的美观度,还是满足高质量要求的图片生产(如原画、美术资产等),都做
41、了深入的探索和研发,并且支持用户跨文字、图片等多模态给予多轮修改建议,直到生成满意的图片效果。丹青模型生成的“天空之城”目前,网易伏羲正在推进丹青约的建设,并携手网易集团内部生态共同参与艺术风格和算法模型的设计和训练。此外,网易伏羲还积极推动将 AI 技术应用于企业美术资 10 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 产的生产创作流程中。即将上线的网易伏羲有灵美术平台集成了丹青约等多种美术工具,涵盖了美术资产制作、工具管理、审核验收等生产全链路功能,大幅提升了美术创作的生产效率,为艺术家们提供了更加灵活的生产力工具。“大模型业务不仅包括模型算法本身,还需要一个非常完
42、善的数据计算和人工智能系统支撑。我们系统地从多个方面来建设大模型能力,以满足实际应用需求,并不断持续关注和发展大模型技术。”赵增说道。文文生图模型如何应对版权争议?生图模型如何应对版权争议?文生图作为大模型最火热的应用领域之一,近几年取得了突破性的进展,并成功在多个领域落地应用。与热度随之而来的也有争议,其中,最大争议点在于版权。今年 1 月份,三位艺术家曾对 Stable Diffusion 背后的公司 Stability AI,AI 绘画工具Midjourney,以及艺术家作品集平台 DeviantArt 提起诉讼,称这些组织通过在“未经原作者同意的情况下”从网络上获取的 50 亿张图像来
43、训练其人工智能,侵犯了“数百万艺术家”的权利。该案的代理律师 Matthew Butterick 指出,从法律的角度来看,几乎没有艺术家明确同意他们的作品用于训练 AI 系统。即使系统生成的图像作为原始图像传递,生成系统仍将基于未经授权的数据。“因为系统中的所有视觉信息都来自受版权保护的培训图像,所以产生的图像无论外观如何,必然是从这些训练图像中衍生出来的。”版权争议是文生图模型继续向前发展必须解决的问题。赵增认为,能够真正训练好AI 11 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 模型并使其发挥作用的并不是技术人员,而是具有行业需求和美术能力的专家。“我们需要聚集这
44、些专家,让专家们围绕这个生态进行创作。必须考虑到专家的版权和原始利益,否则整个生态无法运转。”在版权问题上,目前网易伏羲团队正与网易区块链团队搭建相关平台,通过区块链和Web3.0 的模式,将大家在整个生产链路过程中的贡献记录下来。例如,有人提供了原始训练图片,有人提供模型,有人提供创意,将这些生产日志记录下来,并通过回报分配的方式尽可能给予大家相对公平的激励。“这是我们现在非常明确要做的非常重要的事情。但是这个事情比较新,我们目前还在与网易的区块链团队搭建平台,并在内部进行验证。”写写在最后在最后 目前,丹青模型还在持续的迭代优化中,团队的短期目标是将丹青模型打造成一个更完善的产品。“我们正
45、在努力提升大模型的效果,包括丰富其知识和提高生成的稳定性。其中,丰富知识是指对一些特定领域的理解,例如对于中国传统文化或海外知识的掌握。当我们需要生成一个中国古代建筑或榫卯结构的建筑时,我相信许多模型缺乏相关的知识。此外,我们的模型对于海外支持相对较弱,这也是需要进一步提升的地方。”赵增表示,除了将基础生成模型发展为一个更完善的产品,网易伏羲还希望构建一条更高效的生成图片的路径,以帮助美术专家进行创作。这涉及到多个模型能力的整合和闭环学习系统的建设,“这些都是我们接下来的重点努力方向”。在技术之外,开源生态同样值得关注。“今年以来出现了很多基于开源生态的大模型,12 中国中国卓越技术卓越技术团
46、队访谈录团队访谈录2023 第第二二季季 包括图文、文本等。未来基于这些开源生态,工具和模型的版本迭代一定会发生非常有趣的变化,这个可能是我们现在都想象不到的。因此,我们需要保持关注并适应这些变化。”赵增说道。采访嘉宾采访嘉宾 赵增,计算机博士,网易人工智能专家,预训练及生成式人工智能平台负责人、计算效能部门负责人。网易集团技术委员会机器学习分委会、音视频分委会委员。研究领域包括大规模人工智能系统、生成式预训练及基础算法优化。浙江省重点研发项目-超大规模预训练云平台主要研发人员,组织多项超大规模预训练模型研制及平台示范工作,参与申请发明专利近 30 项、高质量论文 5 篇。主导研发人工智能平台
47、“丹炉”,日调用量超百亿次。曾参与国产芯片基础数学库优化、国产万亿高性能集群、“十四五”数字人等多个国家、省部级重点研发计划。13 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 桌面桌面 QQ 重构,探寻跨平台开发重构,探寻跨平台开发挑战与挑战与 Electron 内存优化突破内存优化突破 采访嘉宾:王辉、吴浩、陈俊文 编辑:Tina 在瞬息万变的互联网行业中,年过二十四的 QQ 堪称超长寿的产品,见证了中国互联网崛起的完整历程。然而,如今这个元老级产品经历了一次从内到外彻底的重构。在这次重构中,QQ 选择了 Electron 作为 UI 跨平台开发框架。尽管 Elect
48、ron 被 Slack、Visual Studio Code 和 Discord 等大型产品广泛使用,但也引发了一些网友的担忧,例如内存占用、安装包体积和启动速度等方面的问题。好奇于 QQ 的决策,于是我们采访了 QQ 技术团队,窥探这次变革的脉络,揭示出那些潜藏在背后的思考。QQ 重构背后的思考:重构背后的思考:24 岁的岁的 QQ 有什么有什么样的技术债?样的技术债?QQ 的第一个版本发布于 1998 年,在 Windows 技术栈的基础上用纯原生的方式开发,在当时互联网带宽非常小的情况下,QQ 将安装包控制在了只有 200K 左右。2007 年后智能手机开始露出苗头,腾讯行动得比较早,部
49、分前端技术开发开始转型到了移动端,在桌面端,QQ 随着业务和组织的发展,针对三大操作系统陆续组建了 14 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 三支不同的研发团队,各自负责自己的一套代码。三端不同代码,老产品历史包袱,加上移动时代研发人员的转型,导致桌面 QQ 维护成本很高。QQ 技术团队介绍,拿之前的桌面 QQ 为例,WindowsQQ 以前的 UI 框架用的是腾讯自研的 GF 框架,10 多年了,GF 这个框架文档还不全,新加入这个项目的团队人员,要基于这个基础框架去做一些事情,是效率很低的一件事情,慢慢的就没有人愿意去用这个框架了。简而言之,就是技术债。旧版
50、的桌面端QQ,Windows的功能最丰富,macOS次之,Linux功能非常简洁。比如“屏幕共享”这个功能,移动端有,Windows 端有,但是 macOS 端是没有的。那用户就会遇到一个问题,像 macOS 端无法与其它端 QQ 用户一起来使用这个功能。“多端不统一不利于用户对于 QQ 的统一认知。我们这次的架构升级就是想尽量通过一套核心代码去拉平所有平台的体验,让它具有更好的可维护性和可扩展性,让桌面QQ 能够更好地迭代产品交互和功能,升级用户体验,再次焕发生长的生命力。”于是QQ NT项目是在2022年3月份正式启动,macOS QQ在6月份开始发布内测,9 月份正式上架了 App St
51、ore,迭代了几个版本之后,QQ 团队就同步开发 Linux。在2022 年,QQ 发布了新的 macOS 和 Linux 版本,包括 QQ 后台其实也做了很大的改变和重构,核心系统做了全新重写,云原生成熟度也得到了很大的提升。从 2023 年开始,QQ 团队聚焦做 Windows 端的开发,在 3 月底就开始内测,7 月初上架官网。同时移动端 QQ NT 也在 7 月初完成了核心系统的重写和全量升级。在目前全新的框架设计下,无论是核心系统、功能迭代还是设计语言上,都可以尽可能地“原子化”,来让 QQ 后续更好地迭代功能。15 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季
52、 重重构之路:最大的压力与挑战源自何处?构之路:最大的压力与挑战源自何处?“QQ 的重构其实是两方面的重构:一个是面向复杂业务的梳理重构,一个面向工程技术债的全新技术重构,重构之路也是两者相互伴随的过程。”首先,在整个 QQ 重构过程中最大的挑战来自于 QQ 功能的复杂化,QQ 有很多十分复杂的历史功能,这些功能模块也曾经由非常多不同的人经手负责过。其中哪些功能是不合理的或没有价值的,如何去做取舍往往是最难的。“虽然技术上我们做了很多事情,但技术上的实现或许并没有那么难,我们处理起来更有经验和从容。相比于技术的复杂度,业务上的往往需要考虑的更多,这本身就是很大的挑战。”因为 QQ 已经是近 2
53、5 年的产品了,有很多细小复杂的功能。虽然这些功能看看起来很小,但用户量其实又很大,稍微改动可能就会有很多的用户反馈,QQ 团队都得非常的关注。仅从产品功能角度上看,有些功能本身就已经是很重的负债,而 QQ 团队内部有一个叫做“QQ 节能计划”的项目,会有比较严谨的项目流程去评估是否需要下架。技术上重构也有不少挑战,这次重构是一次跨平台的重构,而在多个平台里面比较有挑战则是 Linux 平台。作为程序员,很多人免不了要跟 Linux 打交道。但是这么多年来,对于使用 Linux 系统的用户来讲,有一个特别让人烦恼的问题,那就是没有一个好用的 IM 聊天工具。被寄予厚望的 QQ,此前在 Linu
54、x 版本上功能也没有 Windows 和 macOS 版本全面,迭代速度也明显慢过其他两个版本。业界甚至猜测 Linux 第一个版本是由腾讯实习生所写,毕竟这个说法进一步加重了其初版的“简陋”特性,也为其“停更”的原因提 16 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 供了更合理的解释。QQ 技术团队表示,较之另两个版本,Linux 版本的研发最为复杂:一方面操作系统本身很多碎片化,市面上有非常多的发行版,也不缺乏一些千奇百怪的版本;另一方面因为机器运行环境或编译器的缺失,使得解决适配问题的难度很大。许多发行版相关的机器和开发环境实际上他们并没有,有时还需要外部公司帮
55、助进行一些测试工作。由于没有相应的开发环境,一旦出现闪退等问题,解决难度自然会变得更大。此外,有时候需要与国产操作系统厂商进行特殊的合作,甚至需要对方寄送特定的编译好的代码库,但前后往往会花费一个月的时间才能收到。而在本次重构之后,“Linux功能跟 Windows 一样多了”。技术上的另一大挑战便是外界对于 QQ 桌面端使用 Electron 的质疑,尤其是内存方面。外界有些用户在没有使用和分析的情况下对此发表一些夸大和否定的言论,也确实给 QQ 技术团队带来不小压力,但他们却始终坚定选型方向,也相信其中的问题可以被攻克和解决。技技术选择之争:为何术选择之争:为何 QQ 选择选择 Elect
56、ron 而而非纯非纯 Native 技术栈?技术栈?确实当时有很多人在问,为什么 Windows 不用原生去实现?为什么不用 QT?“首先不太想和以前一样,Windows、macOS、Linux 三端各由一个团队分开负责。在国内这种人才环境里面,相关的纯原生的开发人员其实非常难招了,桌面端的人才稀缺,同时也投入比较大。17 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 而对于 QT 技术栈,他们首先考虑的其实还是人才的问题,国内熟练 Qt 技术栈的人非常少。如果对这个框架不了解,使用它反而是一个负向作用。至于微软的 Webview2,从本质上讲,Webview2 和 El
57、ectron 并没有太大的区别,只是相对在其中打包了一些微软自身的优化措施,其他方面也不是很完善,而且还无法跨平台。虽然内存方面相较于Electron做了更多的优化。但据了解,比如微软Teams也没有完全切到 Webview2。并且由于它没有开源,因此也没有办法基于 Webview2做定制优化。包括 Flutter,QQ 团队表示他们当时也有过调研。他们放弃的一个原因是 Flutter 在桌面端的完善程度并不高,也担心标准化的问题。虽然当前 Flutter 非常流行,但谁也说不好这是不是“2015 年的 React Native”。大家担心随着时间推移,这套技术可能会失去维护支持,因为本身 G
58、oogle 使用 Flutter 的占比也比较小。“虽然它很热,但我们历史上踩过了很多很多非标准化的坑,一旦某个技术栈热度一过、维护力度不够,它就会成为全新的负债,做选型时必然也是避免再有类似经历。”18 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 至于为什么最后选择 Electron,QQ 技术团队表示主要是基于以下几个考量:首先最看重的是框架成熟度和技术栈的标准化。Electron 基于 Web 技术栈,有足够低的上手和使用成本,不需要为了使用框架本身,还需要投入额外巨大人力成本去做基建和周边工具链的建设,以前在 RN、Flutter 的实践上都有类似的情况。而使用
59、Electron,现有的 Web 前端的大部分基建都可以直接复用,而且使用 Web 开发 UI 的效率,在主流技术栈里算是很高的了。至于迭代效率我觉得从新版桌面 QQ 功能的迭代速度就可以证明,这放在以前是完全办不到的。另外由于 Web 技术栈是标准化的,假如 Electron 修改开源协议或者要闭源了,他们也能很方便的去写出一套类似的框架。只不过现在已经有开源的了,没必要再去重复建设一个。而且随着 Web 标准长久发展,Web 技术栈也不会有大的问题,而且还会越来越好。其次是技术经验及人才储备,技术选型是否适合当前团队也是一个很重要的考虑点,团队是否有相关的技术积累,是否有人才储备来持续投入
60、这个技术栈。Qt 的确在性能上是一个很好的选择,但目前团队对 Qt 没有太多积累,基建基本没有,而且相关人才其实比较匮乏,招聘就更难了。而当前 QQ 技术团队 Web 前端团队还是有比较多的积累,在 QQ 频道项目中,也完整验证了 Electron 的技术可行性。最后就是Electron具备的桌面端跨平台的优势。但QQ NT架构并不是仅指Electron,Electron 主要是作为 UI 跨平台的框架,只是占比很小的一部分,并且 QQ 桌面端不是全部用 Electron 实现,QQ NT 最核心的部分还是 QQ 底层通用抽象的模块,称之为 NT 内核,包括核心登录、消息系统、关系链、富媒体、
61、长连接、数据库等等模块,完全用C+实现,全平台通用。因此底层是完全跨平台的架构,而Electron只是上层桌面端 UI 跨平台较薄的一层。19 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季“其实我们当时选型的时候,也的确看得到大家对 Electron 的评价褒贬不一,但我们还是有信心去解决这个问题,前期也做了一些技术的 Demo 和预研。实际上 Electron并没有糟糕到这个地步。我们觉得可能是国内很多没有用过 Electron 的开发者,对这个框架有些忌惮。其实你到 Electron 的网站去看,还是有非常多国内外的亿级 DAU产品都使用 Electron 框架。目前
62、这几年主流的桌面端应用基本都选择了 Electron,如Visual Studio Code、Discord、Slack、Skype、Whatsapp、Figma 等等,新的应用基本上也是首选 Electron,版本的迭代速度和社区氛围都很在线。”“我们觉得不需要单纯因为口碑问题,就对这个选型没有了期待。还是要从实际出发,哪种技术栈适合你的产品,看看到底能不能有技术实力去把这个事情搞定。”内内存优化:如何有效控制存优化:如何有效控制 Electron 的内存的内存占用?占用?外界之所以会觉得 Electron 内存占用高,是因为其本身是一个多进程的架构,主进程基于 Node.js,而每个窗口都
63、对应一个渲染进程以及 V8 实例。可以说从技术框架层面上,上手写代码很容易,但不容易去管控它的内存。QQ 技术团队认为 Electron 的开发者更多的是前端的开发者,可能在思维上没有去考虑怎么在这样一套技术框架里,去对内存数据进行管理和管控。开发者需要从前端开发者的思维,转变为客户端开发者的思维。综合来看,对内存的看法其实不完全是 Electron 的技术框架所导致的,更多的是门槛上、开发思维上,导致内存没有得到很好的关注和优化。其实最简单的 Electron 应用 20 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 大概也就只有几十兆的内存占用。因为前端原本更多还是停
64、留在开发即用即走的Web 站点,很少实现一个超大客户端,缺乏控制内存的经验,所以面对 QQ 这么大一个产品的时候,你就必须非常在意内存的使用和管控。至于优化内存的突破口,可以说是从各个层面:从消息的链路中的每条消息的收发上,数据是怎么管理,包括像窗口及会话的管理,都得精打细算,也会做一些数据本地化和一些机制的按需加载,包括渲染上他们也提出一个根本的原则:“要做到所见才占用”,既我们看到的内容才占用这一部分内存,没看到和用不到的任何场景的内存就不应该再占用,通过各种方式来去让内存达到一个设定的目标。他们也使用了不同维度的内存分析工具,从 V8 引擎到进程,再到整个应用程序,打通整个链路进行多角度
65、的细节分析,以此来定位内存使用的瓶颈。之后采取一系列的针对性优化策略,包括缓存策略、按需加载、优雅降级等,同时使用线上监控、自动化测试手段,包括借助开发框架、工具建设、代码审查等,来阻止性能退化。21 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 经过一系列组合优化之后,QQ 的内存在长时间挂机的条件下,平均稳定在 220M 左右。“现在优化还是不错的,比老版本要好很多。”“我们认为这个难题还是可以被很好的攻克,内存并不是大家认为的这么不可控,但是也需要团队去花费相当精力去探索和实践,才能去把内存控制到一个比较理想的状态。”未未来展望:来展望:QQ 的前端发展规划是怎样的
66、?的前端发展规划是怎样的?目前 QQ 的前端团队作为一个公线团队,不仅负责桌面 QQ 的研发,还有 QQ 基础运 22 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 营、QQ 空间以及基于 QQ 生态的创新项目研发,有比较多的线上项目的开发与维护和内部研效工具的建设。涉及的技术栈,包括 H5、Electron、Cocos、小程序、WebGL、WebAssembly、WebRTC 等。他们也表示会继续夯实这些技术,同时也不断地打破立下的性能目标,希望让桌面 QQ 覆盖更多平台。他们也正在积极拥抱 AI,让 AI 在质量和效率上辅助日常开发。比如:前端设计稿还原,之前更多是一
67、个耗时的体力活,有时为了 1px 的对齐问题不断的调整,比较繁琐,D2C是QQ前端一直探索的方向,之前使用纯规则转换生成代码,在视觉还原上效果还不错,但是代码可读性和可维护性不能很好的满足预期,所以除了一些日抛型的运营活动有些使用之外,比较难扩大成果。现在 D2C 结合大模型,生成的代码质量高了很多,也能很方便的将代码与 UI 组件库做映射,达到可以在核心业务中高效使用,达到通过 AI 提升研发效率的目的。针对一些无设计稿的管理平台开发,使用 P2C 提效,目前也有了一些不错的案例。另外,QQ 技术团队也在积极探索 AI 更广阔的应用场景,比如代码评审,基本的 Lint检检是难以实现的,但将已
68、经掌握的内存泄漏模式通过规则的形式给到AI,可以很方便地给开发同学一些不错的建议,为性能看家护院提供多一道保障。写写在最后在最后 QQ NT 项目于 2022 年 3 月份启动,macOS QQ 花了该团队 3 个月的开发时间,9 月份上架 App Store,迭代了几个版本后同步开始开发 Linux QQ,并于这一年的最后一天上架各 Linux 应用市场,作为给 Linux 用户的一份特殊的新年礼物。2023 年 QQ 团 23 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 队开始去聚焦做 Windows QQ NT 的开发,7 月正式上架应用市场和官网。同时移动端的
69、QQ 从 2022 年的 Q4 开始开发,也已经完成了全量升级和发布。另外,桌面 QQ 也是在 NT 版本中第一次支持 64 位,这需要将音视频、安全、字节码、图形库等 C+模块,包括 Electron 框架都重新进行编译,花费了比较大的工作量。但在 64 位系统上,QQ 从此便不再需要以 32 位应用的方式通过额外的兼容和转换来运行。毕竟额外操作会增加开销,导致性能下降。至此,QQ 实现了多个系统平台之间架构的统一。而团队的未来规划还是不断地打破性能目标,并覆盖更多平台,同时探索更多提升研发效率的办法,加快研发速度。腾讯 QQ 用跨平台 Electron 取代之前原生应用程序的开发模式,这一
70、举动引发的反响确实巨大。但我们也能看出,不同于小型产品团队,在大公司里具有一定规模的产品组织架构之下,快速满足用户需求,并逐渐需要为第三、第四乃至第五种运行平台提供支持时,保持一致性和协调性并不是想象中的那么容易。而缓慢而低效,最终会令你输掉比赛。不管使用什么跨平台开发框架,都要去选择最合适自己团队的,也因此在 Web 标准技术栈上有丰富积累的 QQ 团队才会选择 Electron。并且我们认为没有人真正讨厌Electron,只是我们对 QQ,对国内 App 寄予了非常高的期盼。嘉宾嘉宾简介简介 王辉:QQ 技术负责人 吴浩:QQ 前端负责人 陈俊文:QQ 桌面端前端负责人 24 中国中国卓越
71、技术卓越技术团队访谈录团队访谈录2023 第第二二季季 中国最大公有云服务商,如何从零中国最大公有云服务商,如何从零开始构建一支云效团队开始构建一支云效团队 受访嘉宾:陈鑫、崔力强、蒋鑫 作者:王一鹏 云原生研发效能平台,听起来是云原生时代的必备基础设施,但据信通院发布的2022 中国软件研发效能调查报告显示,业内具备该基础设施的团队仅有 26%,而有接近同比例的团队,甚至还处于纯手工阶段,可见留给各家企业的施展空间相当之大。但要组建一支云效团队却并非易事。因为研发效能提升这一赛道的业务特点,相关工程师往往都带着一些客服色彩传统客服无法解答研发类工具的使用问题,因此负责研发效能产品的工程师要和
72、另一批作为用户的开发者保持密切的交流,实时解答问题,以获取第一手反馈。让后端的人,干前端的事,这对团队心性、上海品茶是个考验。同时,研发从某种意义上来讲,和艺术类创作一样,也是一件比较个人的事,使用工具的人往往有着不同的产品偏好。历代流行的研发工具,几乎全部具备高可定制性,这对企业的产品能力也是个考验。再者,该领域在国内还没有绝对领先的产品出现,因此相关团队的创业氛围都比较浓厚,要求团队的战斗力比较强,也增大了团队组建和管理的难度。25 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 带着这些疑问遍寻国内产研团队,阿里云云效团队,自然而然出现在了视野里。原因之一,阿里云是国
73、内最大的云服务商,其团队构建、产品研发有着相当大的借鉴意义;原因之二,开放原子开源基金会刚发布的 AtomGit 代码协作平台产品,是基于阿里云云效研发的分布式多副本架构打磨而成,这从侧面证明了团队的实力。在和阿里云云效团队总负责人陈鑫、CI/CD 团队负责人崔力强,以及代码平台团队负责人蒋鑫聊过以后,我们发现阿里云云效团队更像一只创业团队,有着独特的创业气质,和而不同的团队文化,是他们向前的关键。阿阿里云效团队发展历程里云效团队发展历程 云效团队整体发展可以分为三个阶段:第一阶段主要作为阿里内部服务出现,团队规模在几十人量级,以前后端研发、配置管理工程师、技术支持工程师为主,主要负责两个维度
74、的工作:1.将阿里集团过去数年在工程效能上的方法实践通过工具进行标准化、数字化;2.配合技术中台战略,打造研发、运维、监控三大块领域的技术平台,也就是现在业界讲的“平台工程”;这样阿里就可以通过统一的技术中台去推动内部技术发展与落地,比如容器化、云原生化、全面上云就是在技术中台的推动下实现的。第二阶段,集团决定将技术中台核心产品和团队划归到阿里云,从而帮助阿里云补齐在 PaaS 层的核心能力,因此云效团队的主要工作目标是效能类服务的产品化。26 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 云效团队要将过去近十年积累的效能改进方法实践、效能工具变成广大企业能轻松落地的产品
75、。云效团队对产品架构进行了全面梳理,最终形成了七大核心模块,覆盖从项目需求管理到软件研发交付的全链路一站式工具平台。为了确保产品质量和用户体验,云效团队按照新的产品架构,对原来的内部产品进行全面重构,重点投入用户故事梳理、UI 交互设计、云化改造、用户文档、性能优化以及稳定性体系建设。前后投入了两年左右时间,在 2020 年初完成了云效产品全新换代。第三阶段是商业化。商业化阶段最重要的是市场洞察、销售体系、运营体系、交付体系的搭建。云效作为阿里云上产品,需要同时服务公共云直接使用 SaaS 的客户,以及私有化部署的专有云客户。SaaS 客户主要以中小企业为主,行业集中在互联网、新零售、娱乐等,
76、这部分客户通常为自服务,更重视产品核心能力、交互体验、品牌影响力、价格与稳定性等,营销方面团队需要投入更多的内容运营与品牌运营。而私有化客户主要为金融、交通、政府、能源等中大型企业,这部分客户不但希望买产品,还希望能够得到落地实施服务,更重视产品功能丰富度、落地案例、以及方法和实践的先进性。针对不同的客户云效团队需要搭建不同的商业化团队,并且和阿里云市场、销售各部门进行紧密协同,有计划的对阿里云目标客户群体进行覆盖。27 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 从发展流程来看,阿里云云效团队的发展存在两大特点:1.产品体系庞大且全面。由于发展历程长,且有阿里集团需求
77、、阿里云云能力作为基础,阿里云云效团队与业内众多创业公司不同,并非只聚焦于研发工具等一两个垂直维度,而是从发展之初就聚焦于平台建设;2.阿里云云效团队虽然孵化自跨国大型企业内部,但有鲜明的创业团队色彩,其三个发展阶段,对团队能力的锻炼和要求都非常全面。不过尽管如此,阿里云云效团队依然和业内所有团队一样,逃不开正常的业务开拓逻辑,遇见了许多挑战。“大企业问题”与“小企业问题”大企业问题”与“小企业问题”阿里云云效团队发展过程中遇到的问题,大致可以用“大企业问题”与“小企业问题”两个形容来做粗略的概括。“大企业问题”主要指目标与协同问题、战略目标的落地问题;“小企业问题”主要指有限资源与高目标的矛
78、盾,以及团队的专业能力提升问题。采访中,阿里云云效团队总负责人陈鑫聊到,团队目标与协同机制的问题,在最近几年商业化过程中,反映的最为明显。在商业化进程的早期,阿里云云效团队选择全面面向收入业绩去设定目标,业务人员、产品人员、技术leader都需要共背业绩指标。实际上这也是业内大部分团队的选择,业务leader经常担心后台人员商业感觉迟钝,前台后台协作矛盾大,这种目标设定,确实可以让全体核心成员都可以面向商业化去 28 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 思考问题,并且目标相同,在沟通协同时比较容易达成一致。比如某个行业客户要不要做,某个客户的需求要不要做等。但是
79、随着市场竞争进入深水区,这种目标设定的模式就出现了明显问题,比如团队更加追求短期经济利益,而忽视产品长期演进以及客户满意度,另外就是对一线技术人员来说缺少在技术卓越层面的激励等。时间长了,很容易发现团队的产品、技术层面硬实力出现停滞,而收入也随之陷入瓶颈。所以阿里云云效团队最近几年开始实践 BizDevOps 方法,更加强调业务、产品、技术多角色的共识和协同,而不是单纯的业务导向。反映在目标设定方面,首先是目标更加细化,业务团队承担收入与规模的指标,产品团队承担客户满意度、产品交付能力、产品竞争力指标,技术团队承担需求交付效率以及质量、成本、安全、稳定等技术先进性指标。多角色之间目标不是简单的
80、拆解关系而是承接关系。比如客户满意度和产品竞争力决定着市场营收的长期潜力,而技术竞争力和需求交付效率又决定着客户满意度以及产品长期竞争力。其次是从组织协同上强调共识机制,对于前线带回来的业务需求,要求业务同学与产品技术同学达成业务价值、影响面、预计成本的共识,目的是为了有效的判断优先级。对于需求的传递强调从业务需求到产品需求再到技术任务的拆解,从而实现组织透明和溯源,让所有人对所做工作的价值和目标清晰和一致。关于战略目标的落地,则与阿里云云效团队的发展阶段有关。29 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 针对不同的发展阶段,云效团队的组织架构也经历过几次重大调整。
81、在最早期的内部服务阶段,为了实现云效各子产品的快速发展,云效将产品与技术团队、测试团队放在一起组成独立的全功能团队,这样可以保障各产品资源独立并且闭环,决策快速,落地敏捷。到了第二个阶段,即产品化阶段,这种产品全功能团队架构就出现了明显弊端,主要体现在各产品协同不够,导致产品一致性差,技术方面整体架构没有整体拉齐,也会导致在一些基础能力上投入不足,比如账号、权限、安全性、私有化输出、运维能力等。因此需要成立横向团队对基础模块和技术进行投入,比如产品团队统一拉齐产品设计规范、架构团队确定统一技术规范、基础平台团队完成跨产品共享能力的产品实现工作等。此时云效团队形成了矩阵式组织架构。在商业化阶段,
82、云效团队面临的新问题是前线的市场洞见以及客户需求,能否快速有效的传递给后方,并且确保产品主线演进不被各种客户问题进行打断。这就需要一套业务、产品、技术三个核心团队的有效协同方法。云效团队通过两个主要措施解决问题:1.业产技三级团队 OKR 设定以及拆解:如前文所述,业务团队负责业务指标、产品团队负责产品能力交付以及客户满意度、技术团队负责需求交付以及质量、成本、安全、稳定等目标。三级团队之间并不是简单业务数字拆解,而是要确保目标之间有承接与协同;2.业产技各角色执行中的事项、优先级、排期的共识:比如说需求并不是谁单方面 30 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季
83、决定要不要做,什么时候完成,而是要充分沟通形成共识。坚持市场为导向的同时,确保产品为中心的目标;如果说以上都是“大企业”的烦恼,那么可以说云效团队也作为“小企业”、“创业者”的角色,为业务发展挠过头皮。云效因为产品体系全面,注重平台能力,所以对研发、产品的能力要求极高。在国内的 To B 赛道,绝大部分产品市场销量不好的原因很简单,就是不好用,用了以后解决不了业务问题。阿里云云效产品,在 2018 年产品发展的早期阶段,也曾被各类研发论坛的用户吐槽过,团队内部总结的问题有:用户注册、激活流程、交互设计、性能体验上都有不少短板,尤其是在产品架构方面问题很大。云效多个子产品之间互相耦合并且有强依赖
84、,导致用户没有办法按照自身需求选择一、两个子产品进行落地,后期再逐步探索使用更多产品,而是要想用全都必须用,这无疑导致用户落地成本陡增。坦诚问题存在是个勇气问题,但解决问题则需要付出卓绝的努力。差不多在同期,阿里收购了 Teambition,其对产品细节的极致追求给团队带来了很大的启发。同时,云效团队下定决心,要对产品进行彻底重构,这带来了对人员能力的严苛要求。一方面,这场重构对视觉、交互、产品设计相关岗位角色的能力要求需要大幅提升;另一方面则需要有魄力抛弃掉过去项目制思维(项目驱动,堆砌功能,缺乏复用和灵活性)转向产品化思维。在这个过程中一方面各产品技术负责人需要不断提升个人的能力与视野,在
85、每一个功能上线前反复雕琢,上线后不断追踪数据和用户反馈进行改进,确保产品基本素质。此外,团队也需要引入优秀的产品经理,三年下来,云效产 31 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 品团队的人员规模接近翻倍,最终完成了迭代升级。除了主观层面,在客观层面上云效团队也经历过较大挑战,其核心在于资源和目标的矛盾。2019 年年底临近春节时,云效团队需要马上在阿里云上线新版云效。当时云效的产品已经和 Teambition 深度融合,只能带着 Teambition 在阿里云上重新部署一份,作为云效的产品组合来服务阿里云开发者。工期限制在三个月内,人员投入十几位,时间非常紧张,
86、整体技术难度也很大。而让全国人民印象深刻的三年疫情,也正是在那个春节快速传播。云效团队所有人被封闭在家中,只能以远程的形式工作。但团队顺利的在预定时间内完成了对 Teambition 的改造,将其接入阿里云体系,并且高质量的完成了文档、技术支持、商业化等体系的搭建,完成了稳定性保障工作。这一次攻坚,确保了云效业务最近三年的顺利发展,完成了产品的全面升级工作,产品能力和体验相较于 2019 年年有了质的变化。这是怎么做到的?陈鑫说,在云效发展的历史上,我们渡过了很多困难的节点,在关键时刻往往不是我去推动团队,去摇旗呐喊往前走。而是团队有一种自驱力,自然而然的兴奋起来,去战胜这些不可能难关,这个特
87、质让我非常骄傲。是什么造就了这种特质?这与上海品茶、团队文化脱不开关系。你你相信阿里“六脉神剑”吗?相信阿里“六脉神剑”吗?阿里“六脉神剑”作为头部公司的上海品茶,在网络上广为流传,部分人会觉得文化 32 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 不好落地。但在本次访谈中,我们发现,这套“六脉神剑”可能是云效团队能够前行的最大依仗。云效 CI/CD 业务线早期规模很小,要对标国际成熟 GitHub 团队,做出更适合中国开发者的 CI/CD 产品,陈鑫谈及此事却并不觉得难以想象。他说,阿里巴巴能做出淘宝,蚂蚁能做出支付宝,我们相信我们也可以,因为“此时此刻,非我莫属”。
88、无独有偶,代码平台团队负责人蒋鑫也在采访中提到了“六脉神剑”,他最喜欢的是“认真生活,快乐工作”和“因为信任,所以简单”。蒋鑫说:“我特别喜欢这个文化,我爱人说我去了阿里以后整个人都不一样了。“认真生活,快乐工作”的意思就是,工作很辛苦,所以要做喜欢的事,要快乐;生活也是一样,你怎么对待生活,生活就怎么对待你。夫妻相处、子女教育都要花心思。”“因为信任,所以简单,有些公司的信息安全严格到无法在公司内参与开源贡献,而阿里云有更灵活的信息安全管控,参与开源贡献不再有重重阻碍,真正诠释了因为信任,所以简单。”同时,在上海品茶的层面下,云效团队也在践行这些文化。如客户第一,陈鑫作为云效团队的总负责人,
89、每天也会亲自在用户交流群去回答一些开发者的问题。另一项整个云效团队比较看重的文化素质叫做“匠心”。“匠心”贯穿招聘与文化匠心”贯穿招聘与文化 陈鑫在采访中说道:“匠心一方面代表着追求卓越的品质,另一方面也是一种愿意长 33 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 期坚持做好一件事的心态。”CI/CD 团队负责人崔力强用一个例子说明匠心是什么:“比方说你做事情的时候,你的方案是不是考虑的足够细致,还是说差不多能用就行。”CI/CD 是阿里云云效产品对外提供的核心能力之一,历来是产品迭代的重中之重,因此,“匠心”也是 CI/CD 团队工作得重要特质。2017 年,云效流
90、水线产品正式进入到公有云市场提供服务,当时使用的是阿里云内部架构,19 年开始,云上用户量迅速增加,原有架构在规模化和可运维性上有一定的局限,于是CI/CD团队决定重新开发一个构建引擎,来应对云上用户更加丰富的构建场景需求,例如更多的语言,更多的技术栈,更多样的执行环境,以及快速增长的用户量对于稳定性和安全性的需求,希望可以做到 Any Language,Any Platform,无限扩容,支持不同的计算服务,比如 VM、容器以及阿里云的 ECI 等,支持不同的操作系统,支持不同的芯片架构。这是一个庞大的能力集合,需要稳扎稳打地逐步演进。在开发的第一个阶段,也就是 2019 年底-2020 年
91、底,团队的主要工作是开发并完善上层编排能力,希望 80%的用户可以开箱即用,20%的用户通过一定的自定义配置也可以实现自己的功能,需要解决的主要问题是场景化封装及构建环境调度等基础能力。团队主要做了两件事情:一个是建立“执行环境”+“执行命令”组合的业务概念,内部称之为“步骤”,并使用阿里云容器服务的 ACK 集群作为容器的调度平台;第二个是实现了一个特殊的“自定义环境构建”的步骤。34 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 在这套方案完成之后,CI/CD团队不但在两个月内不但完成了Top 5编程语言在Linux平台下的编译、测试、扫描等能力的集成,而且实现了大多
92、数阿里云 PaaS 层服务的集成,方便用户轻松地完成从源码到上线的全过程。在开发的第二阶段,也就是 2021 年上半年,团队工作聚焦在优化构建引擎的稳定性、安全性。保证可用性达到 4 个 9,也就是一年最多 52 分钟不可用,为了达到这个目标,除了服务本身的质量和可靠性,还需要关注依赖的可靠性。在提升稳定性方面,主要遵循一些通用的设计原则:1.明确系统的依赖,确保依赖的 SLA 可以满足云效团队的 SLA 要求;2.通过冗余来提高 SLA;3.限流和削峰填谷;4.可水平扩容;但如果在构建引擎这个领域将这些原则落地,还是有很多具体问题需要解决的。比如,构建引擎依赖阿里云的 ACK 集群,而且会频
93、繁的调用 ApiServer 创建任务。ApiServer的可用性是99.95%,作为单个依赖,就已经低于团队期望的可用性了。识别出来这个 SLA 上的不对等,就必须要使用多 AZ,多 Kubernetes 集群的冗余来弥补。团队在单个 Region 采用了三个 ACK 集群进行热备,当一个集群出现问题,可以快速扩容其他集群,以应对整体的流量,当两个 ACK 集群相继挂掉之后,构建引擎仍然可以提供服务。通过简单的计算可以知道使用了热备之后,ACK 依赖的可用性就从 99.95%提升到了 99.9975%。当然为了做热备,还需要解决好多个热备之间的调度、心跳、熔断等细节场景,确保 35 中国中国
94、卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 多个集群之间的调度均衡,且在单个集群失效之后,可以及时的侦测到并摘除集群,同时要避免误判,在及时性和准确性上需要达到一个平衡。此外,崔力强也很喜欢“极限编程”这一软件工程方法,并将其带给了团队。极限编程最早于 1996 年由 Kent Beck 提出,主要目标在于降低因需求变更而带来的额外研发成本,有这一整套详细的规则和实践方法。其中最让崔力强和其团队收益的两点是“单元测试”和“重构”,节省了许多不必要的精力浪费。也是因为好的编程方法的实践效果,崔力强并不崇尚团队加班,而是鼓励团队高效工作。开开源也是帮助团队成功的秘诀源也是帮助团队成
95、功的秘诀 除了“匠心”文化之外,开源也是云效团队的重要课题之一。作为代码平台团队的负责人,蒋鑫是个资深开源贡献者,他直言:“我来阿里的重要原因之一,就是阿里有非常好的开源文化。”对于所有从事代码平台开发工作的工程师来说,GitHub 是个珠玉在前,不得不提的产品。但 GitHub 的设计理念却不一定适合企业级代码托管需求。GitHub 在 2008 年创造性地发明了仓库派生(fork)和代码评审(pull request)的协同方式,推动了开源社区的发展。蒋鑫在深入了解开源社区的运作模式后,找到这一模式成功的原因,即:GitHub 模式解决了开源社区期望的人人皆可参与开源贡献的难题。现在已经是
96、 2023 年了,开源贡献者面对只读的代码仓库,难道还是只有仓库 36 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 派生一条路么?面向企业的研发协同代码平台,难道也要东施效颦,通过仓库派生进行代码协同么?GitLab认为分支模式是企业协同的主要途径,但是这种模式也给很多团队带来分支管理混乱、无法适从的困惑。阿里云云效代码平台团队的一项重要工作,就是突破传统惯性,创建既适合开源场景(包括企业内开源),又适合企业内部的代码协作模式。这种模式允许开源贡献者在没有写入权限时,仍然可以使用“git push”命令向只读的开源仓库推送,推送操作直接创建代码评审。新的模式让企业用户简
97、化代码仓库的授权,无需管理人员参与,任何人均可以自助式的创建分支、删除分支、强制更新代码和创建代码评审。这并非闭门造车。在创造突破性的代码协同模式过程中,云效团队和 Git 开源社区保持密切协作,在 2020 年将 Git 核心的改动贡献 Git 社区。参考文章:Git2.29 让 Git 成功“牵手”Gerrit 代码平台的另一项技术挑战在于性能问题。现在业内的代码平台,支撑数万人同时在线协作,普遍会遇到性能和稳定性问题。数年前,云效代码平台的老架构,只有一个副本提供写服务,运维团队不得不 7x24 小时保持手机开机,疲于应付。后来也是在开源社区汲取营养,经过技术攻坚后,团队完成了分布式架构
98、改造,解放了生产力。蒋鑫聊到,这一般有两种解法,其一是期望采用现成的分布式文件系统实现计算存储分离,进而解决代码平台水平扩展问题;其二是针对 Git 仓库的特点通过仓库分片、自研分布式多副本架构解决代码平台架构问题。最终团队采用了第二种解决方案,研发和 GitHub 类似的分布式多副本架构,解决了性能和可扩展性问题。目前团队也在研发新一代架构以期实现云原生的计算存储分离的代码平台架构。37 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 所有这些技术挑战,都从开源社区里吸收了许多养分,大到为技术攻坚寻求方案灵感,小到一个测试用例的写法。蒋鑫说:“我们发现 Git 开源项目的
99、测试框架非常简单易用,开发测试用例非常高效,进而在团队内推广,已经将其延伸到C语言之外的开发语言。我们还写了技术文章分享测试用例难写?来试试 Sharness。”当然,有汲取就有回馈,云效代码平台团队里的多位同学都是Git社区的Commiter,云效代码平台团队在打造创新产品同时,也在打造具备行业影响力的团队。云效代码团队 2021 年开始打磨 Git 系列视频教程和训练营,与业界开发者分享 Git 上手指南,至今已有近 30 万人次学习观看。关关于团队的未来思考于团队的未来思考 对于国内研发效能领域的绝大部分团队而言,挑战刚刚开始。相关报告中的数据显示,国内发布成功率在 85%以上的团队仅有
100、 69%,平均故障修复时长一天以内的团队,仅占总数的 48.9%,不足一半。要解决这些问题,需要一支能满足数字化时代客户需求的卓越团队。陈鑫在采访中提到:“云效一直致力于为广大开发者提供专业、数字化、普惠的开发者工具产品。专业意味着代表最新的技术趋势以及生产力,这一点对于云效属于基本盘,我们有一个非常好的阿里云的技术基础,以及庞大的内部开发者群体来孵化。数字化意味着我们需要建立端到端的开发者工具链,去构建产研管理完整生命周期的数字模型,从而不但解决单点生产力问题,还有机会去解决生产关系问题。普惠意味着我们要服务足够多的客户去降低边际成本,又需要建立足够标准化的产品以及丰富的 38 中国中国卓越
101、技术卓越技术团队访谈录团队访谈录2023 第第二二季季 合作伙伴生态。从我们的使命愿景出发,云效的发展路径和目标已经可以被清晰构建出来。我期望云效团队未来可以具备与使命愿景匹配的技术能力与组织能力。首先是有一批始终追求卓越的复合型技术人员,在大模型时代要求我们不但需要具备基础的工程素养以及能力,还需要懂数据与算法,一专多能成为标配。其次有一个懂用户,又有匠心的产品和服务团队,这个团队能够深入一线的开发者和企业的管理者,求真务实的解决问题,用细致产品和服务让客户满意。最后是整个云效团队的协同能力,在未来我们仍会继续践行 BizDevOps 产研数字化管理实践,也期望将自己的经验分享给更多的团队,
102、与广大企业共同成长。”采访嘉宾简介采访嘉宾简介 阿里云云效团队负责人 陈鑫 阿里云云效 CI/CD 团队负责人 崔力强 阿里云云效代码平台团队负责人 蒋鑫 39 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 管理与研效管理与研效 40 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 MySQL之父:不要把一个优秀的开之父:不要把一个优秀的开发者提升为管理者,那会是种资源发者提升为管理者,那会是种资源浪费浪费 作者:李冬梅 7 月 21 日,ArchSummit 全球架构师峰会在深圳召开。会上,MySQL 数据库的原始版本主要作者以及 MariaDB 基
103、金会的首席技术官,Michael“Monty”Widenius(以下简称“Monty”)在主论坛上分享了主题为数据库技术前景理解,以及技术人的职业发展的精彩演讲。Monty 是开源 MySQL 数据库原始版本的主要作者之一,并是 MySQL AB 公司的创始成员之一。此外,他还是风险投资公司 OpenOcean 的创始人和普通合伙人。凭借他在数据库领域的杰出贡献和丰富的行业经验,Monty 在技术界享有盛誉。在本次大会的 Keynote 主论坛的分享中,Monty 提到了为什么他会认为大数据解决方案是一种伪需求。Monty 认为,大多数公司不会有像 Facebook、Twitter、Bilib
104、ili、TikTok 等公司那样多的真实数据需要“立即”访问。这些巨头们所使用的大数据解决方案并不适用于其他公司。在不久的将来,大多数公司可以在几台机器上运行它们认为的大数据:内存现在大约2100 美元/T,大多数公司可以买得起 200G 的 RAM;现在 SSD 是 50 美元/T;用户可以从Nimbus获得100Tb的SSD,从Dell获得960Tb。16T可以很容易地购买到。41 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 如今,MariaDB 可以轻松处理 0.5T 的活跃数据。只有当数据超过 1T 时,才需要考虑分析型数据库。很少有用户需要超过 0.5T 的数
105、据。在谈及技术人发展路径时,Monty 表示,他自创立 MySQL 项目和 MariaDB 之后,只有在最开始时会亲自做一些管理事宜,后面就一直雇人来进行管理公司,做客户服务并领导公司,这样他就可以继续专注于架构、开发和领导 MySOL/MariaDB 开发团队。因为他认为优秀的程序员十分难得。程序员需要 8-10 年,甚至更长的时间才能达到他们的巅峰。优秀的程序员是企业的宝贵资源,他们甚至 70 年间都可以输出高质量的代码。Monty 表示,“不要因为把一个优秀的程序员提升为经理人而荒废了他在编程领域的建树。一个好的程序员不一定是一个好的管理者。管理者可以通过赋予他们更多的责任来提升他们的价
106、值,比如设计更大更复杂的系统,或者是帮助其他人编写代码,但不能是管理工作”。42 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 传统管理秩序消失,数字化下的组传统管理秩序消失,数字化下的组织和人才如何重塑织和人才如何重塑 演讲人:秦芹 策划:高玉娴 企业正在失去传统的边界,这意味着过去大家熟悉的管理秩序也将会逐渐消失,企业需要经过探索、试点和创新去定义管理的新法则。德勤中国管理咨询合伙人秦芹女士在日前举办的DTDS全球数字人才发展线上峰会上强调,面对众多挑战,人才建设将成为企业数字化转型最为核心的要素;而面对数字化转型带来的人才需求,企业不得不重新思考“人才从何而来、人才
107、能力重塑”的问题。秦芹重点围绕“组织”和“人”两个维度介绍了企业如何在“无边界世界”实现良性发展:一方面,企业必须构建能力型组织。一方面,企业必须构建能力型组织。随着“岗位”的边界消失,技能将替代岗位,成为员工和工作的连接点。对于企业而言,需要健全人才能力标签体系,从而更好的选人、识人、用人,最大化发挥员工价值。另一方面,企业也需要不断提升数字一方面,企业也需要不断提升数字化人才能力化人才能力,通过搭建数字化人才画像,实现能力和技术的共同提升。以下是演讲实录(经以下是演讲实录(经 InfoQ 进行不改变原意的编辑整理)进行不改变原意的编辑整理):在过去的 12 年中,德勤全球人力资源研究团队发
108、布了一系列全球人力资本趋势调研报告,今年我们报告的主题叫“无边界世界的新法则”。今天我会主要介绍一下我 43 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 们在报告中的一些核心发现,以及在接下来数字化的工作当中,有哪些因素会影响人力资源的高级从业工作者。无无边界世界的新法则正在建立边界世界的新法则正在建立 那么,具体哪些边界在消失呢?我们总结出五个方面:第一,岗位的边界。岗位的边界。岗位不再按照职能和职责划分,而是以技能为基础进行灵活迭代。比如说一个人才发展经理现在可能还要兼职某一个事业部 BP,或者牵引企业内部数字化人才能力重塑得项目,并且还要在与数字化部门沟通协作的过
109、程中扮演类似于产品经理的角色。他的岗位边界正在随着企业和社会的变化不断拓宽。第二,组织的边界。组织的边界。从明确且独立运营的组织,转变为合作共生的生态组织。第三,劳动力的边界。劳动力的边界。全职及单一归属的员工转变为兼职零工等多元的生态员工。比如打车平台司机、外卖骑手等等。第四,工作场所的边界。工作场所的边界。从固定、现实的物理空间,转变为非固定、混合现实的多元空间。如今大家已经适应了线上线下融合的工作方式,甚至在元宇宙当中工作。第五,现代公司的边界。现代公司的边界。当一个公司在社会当中发展越来越大,它肯定要为社会做出更多的贡献,而当它遇到挑战和危机的时候,也会有更多人帮助它。在这些变化之下,
110、德勤今年的研究报告当中展现出三大趋势、九大法则。44 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 第一个趋势是要求所有所有 CHRO 或者或者 HRD 能够要像研究者一样思考能够要像研究者一样思考,因为在数字化时代,必须不断地尝试、试错,向着一定的目标去探索。这个趋势下包含三大法则:一是“岗位”的概念走向“终结”;二是科技赋能人才;三是激活未来工作场所。第二个趋势是共创新型关系共创新型关系,即组织和劳动力生态之间的关系。这个趋势下也包含三大法则:管理员工数据,在构建数据资源的同时又保护隐私;发挥员工的主动性,发挥人才的能力;解锁劳动力生态,把更大的生态为我们所用,实现灵
111、活用工。第三个趋势是优先考虑对人的影响优先考虑对人的影响。这个趋势下同样包含三大法则:一是大胆行动,争取公平结果。也就是要以人为中心,要考虑人的多样性,才能更好地激发产出,优化员工的体验;二是推进可持续发展中人的因素,在双碳战略中,让每个企业、每个人都作出贡献;三是提升对人的风险关注,因为很多风险事件的发生,最关键的影响因素还是人本身。接下来我们重点围绕“组织”和“人”两个维度介绍企业如何在“无边界世界”实现 45 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 良性发展。技技能将成为员工和工作的连接点能将成为员工和工作的连接点 首先,是能力型组织的构建。随着岗位边界消失,
112、技能将成为员工和工作的连接点。过去传统大企业很像一个运行紧密的机器,每一环都是环环相扣的。而现在的社会更多像一个球队,每个人之间、工作之间既各司其职又相互关联。企业要应对这种变化就必须构建技能型的组织。当然,并不是所有的岗位都不需要了。其中 80-90%的岗位都还存在,只是边界在拓宽;而另外 10-20%需要用技能来补偿,让人的因素发挥到最大化。具体来看,岗位边界正在发生以下五个方面的变化:第一,灵活的,而非预先确定岗位边界正在发生以下五个方面的变化:第一,灵活的,而非预先确定的;第二,非常规的的;第二,非常规的;第三,专注于创造价值;第四,视情况而定的,而非标准化;第三,专注于创造价值;第四
113、,视情况而定的,而非标准化的;第五,越来越以工作小组为导向的;第五,越来越以工作小组为导向。接下来看两个看似相悖,实际上有强关联的概念,即拓宽工作和分解工作。比如,有的企业在做新零售的过程中,需要将线下门店和线上的能力去做融合,这背后必然会带来工作流程的变化,员工职能职责的变化,甚至是薪酬和岗位评估的变化,需要企业去做一些拉通的动作才能保证在岗位拓宽过程中一些机制不失效。而分解工作指的是为了增强敏捷性,把“工作”分解为有价值意义的更小单位,比如分成一个个项目和任务,这样一来尽管商业需求在不断变化,拥有相关技能组合的员工也能被分配到对应的“工作”中。46 中国中国卓越技术卓越技术团队访谈录团队访
114、谈录2023 第第二二季季 当然,企业在组织变革、流程再造、岗位重塑等各个层面的改革很多时候没有办法完全依靠人力资源驱动,它需要成熟的时机。但是,我们仍然可以用一个要素来补足组织和岗位的不完美,它就是充分发挥“人”这个要素,尤其人的“技能”。这里的“技能”更类似于人才标签的概念,比如包括编程、数据分析和会计等方面的硬技能,包括情商和批判性思维在内的思维特质,包括有可能被开发并引领未来成功的潜能等等。对企业来说,非常重要的是如何更大化地把这个人和他的岗位进行匹配,发挥他最对企业来说,非常重要的是如何更大化地把这个人和他的岗位进行匹配,发挥他最大化的价值大化的价值。更具体一点,在技能标签之外还有更
115、大的标签体系,叫做人力资源标签体系。比如,下面这张图就是我们给一家大型车企做的人力资源的能力标签:可以看到,一个人才身上大概有 90 多个标签。其中硬技能的部分包括履历、基本信息、绩效等等。还有一些软的部分,包括使命、能力、潜力以及其他方面的综合评价,甚至是离职风险等等。这些标签可以帮助企业形成 360 度的人才画像,更好的选人、识人、用人,最大化发挥员工价值。47 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 此外,德勤现在也在不断地研究,通过拥抱新的技术,比入德勤 AI 数字化人才管理平台,将数据作为输入,通过 AI 引擎进行计算与洞察,对人才进行从入职到晋升的全方位
116、管理。具体地,我们运用知识图谱、数据挖掘、机器学习等技术去形成底层大脑;中间形成应用层,包括人才画像和岗位画像;在顶层,打造人岗匹配、继任者分析、人才盘点等具体产品。当组织扩大到几十万人、上百万人,企业就没有办法用一张张的简历来做人才管理,通过技术进行人才和岗位匹配,对管理者的用人风险越小,用人产生业绩的可能性越大。48 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 搭搭建数字化人才画像建数字化人才画像 其次,再来看数字化人才能力的提升。世界经济论坛曾做过这样一个预判,“到到 2030 年,我们需要对超过年,我们需要对超过 10 亿员工进行再亿员工进行再培训。培训。”这
117、10 亿员工将代表着届时 1/3 的人才市场。面对这样的挑战,人力资源管理者需要核心要考虑的关键要素是:核心人才是谁?在哪里?长什么样?数字化领导者需要具备什么样的能力和要求?关键技术人才,他们的差距在哪里?等等。德勤把数字化人才分为三个层次,包括数字化领导者、数字化应德勤把数字化人才分为三个层次,包括数字化领导者、数字化应用人才和数字化专用人才和数字化专业人才业人才。其中,数字化领导者既要具备敏捷性又要具备适应性的领导力,并且能带着大家一起迎接变化、适应变化、实现变化。数字化应用人才需要拥有深入的业务洞察力,能基于不同业务场景应用新技术助力数字化转型,他们包括战略、营销、财务、人力资源等各个
118、层面的核心业务负责人。数字化专业人才包括了数字化业务和数字化技术专家,比如专业领域专家、产品经理、架构师、软硬件工程师等等。数字化是端到端的,从前端包括如何理解内部人才、赋能人才,到后端如何通过数字化技术化去实现。这就需要又懂业务又懂技术的人才参与其中,谁能够端到端打通,谁就能在数字化时代占据强的领先优势。49 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 企业数字化转型过程有的是从上而下由领导者来发起的,有的则是自下而上由一线员工引入新的技术、新的技能而带来的。作为人力资源管理人员,需要把这些共用的关键能力在各个的部门中进行标准化梳理和复制。需要强调的是,企业领导者如果
119、在数字化转型过程中自己不发生改变,就会令数字化转型这件事非常艰难。下面这张图是德勤总结的数字化 DNA 模型。其中画红框部分是国内企业面对的比较大的挑战,比如多模式运营、敏捷性、技能要求不断变化、层级体系趋向扁平化并逐渐演变等等。对此,数字化领导者需要通过激励、授权、连结数字化领导者需要通过激励、授权、连结来领导组织适应并实现数字化转型。来领导组织适应并实现数字化转型。再来看一下人才。创新性复合型人才是市场非常稀缺的资源,下图这是一个 T 字型的人才发展路径。其中重点是核心知识技能、前瞻性技术洞察(比如 AI 算法、计算机视觉等等)、行业知识和经验。层级越高的人员需要具备的横向知识越广泛,比如
120、智慧营销,要对产品、客群、生产、供应都有所了解。50 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 当然,这些人才在不同的层级之上,还是可以有比较清晰的人才画像和定义的。下图以某企业做示例,它就会分为数字化基础人才、数字化推进人才、数字化核心人才、数字化领导者。企业要先定义他们,然后才能够发展他们。51 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 当然,在数字化转型之下,还会产生一些新的角色在数字化转型之下,还会产生一些新的角色。比如用户体验工程师、数字化产品经理、大数据专家、解决方案架构师等等。企业需要基于场景化思维,结合数字化转型的不同阶段,明
121、确新角色的数字化人才画像。人才画像是具有相似特征的一类人员的画像,例如以下面这位化名“杰克”的“用户体验工程师”为例,我们需要去看他在转型过程中有哪些新的技术应用需求,在工作中有什么样的痛点、卡点,企业做什么样的改进能让他更“舒服”,更容易发挥他的长处,甚至他的工作流程发生了哪些具体变化等等。当我们掌握这些信息之后,就可以对应地采取一些举措。也就是说,我们在选人的时候有标准,在发挥人才积极性的时候也有标准,如此一来才能弥补组织在转型过程当中面临的各种不确定。除了新生岗位之外,一些传统岗位在数字化转型背景下又会发生什么变化呢?比方说 52 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第
122、第二二季季 数字化转型的核心就是“以客户为中心”,那么,当客户消费习惯发生了显著变化,作为数字化营销人才就需要考虑如何把客户更好地吸引过来,完成销售,并且通过私域流量对他进行运营,甚至让他影响更多的消费者。在这个过程中,我们需要从实际业务场景出发,挖掘数字化销售岗位的专业能力要求,并为他提供一些技术工具。比如有的公司会通过 Chatbot 告诉销售人员什么样的产品可能最适用于哪一类客户,帮销售实现精准化的运营和数据分析,促成成单以及售后的追踪等等。下图就是销售顾问画像的一个示例:53 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 链链接工作场景和职业生涯发展接工作场景和职
123、业生涯发展 最后一部分,我们讲讲企业如何对人才进行能力培养,即如何链接工作场景和职业生涯发展,打造人才发展新环境。作为全球变革管理的领导者,德勤认为在数字化变革项目的不同生命周期,对未来领导力及核心能力的要求也有不同侧重。以下是一些课程示例:举一个具体的案例,是我们给某世界五百强企业构建“高管团队加速融合”领导力发展项目。这个企业规模很大,在国内投资建厂的期间产生了一个问题,就是高管团队基本都是来自全球各国、各个行业的高端人才,大家坐在一起很难达成共识,形成有效的产出。为了解决这个问题,就必须去做高管团队融合。下面这张图是我们帮他们做的一张蓝 54 中国中国卓越技术卓越技术团队访谈录团队访谈录
124、2023 第第二二季季 图,包括如何看待这个项目,通过哪些方式方法去落实这件事,从顶层如何承接公司发展战略,几年之内要达到投产,几年之内要达到多少销售额和营收额等等。在这些目标之下,企业需要什么样的领导者定位形象和人群细分。其中,我们应用了德勤的应用了德勤的 SPIRIT 方法论,也就是持续地进行敏捷迭代的方法方法论,也就是持续地进行敏捷迭代的方法。包括我们如何帮助高管去实现共同的目标,未来一年中他们的关键任务是什么,会遇到哪些挑战等等。在此之前我们会做一些诊断和摸排,通过一些方法构建共同目标,形成评估的结果并进行研讨,最后产出一些关键主题。下图是一些示例:55 中国中国卓越技术卓越技术团队访
125、谈录团队访谈录2023 第第二二季季 当然,数字化人才培养涉及方方面面的内容,需要企业更好地链接工作场景和职业生涯发展,充分应用数字化技术,打造开放、共享的人才发展新环境。56 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 以德勤为例,我们每个人手上都有一个 APP,上面链接着我们的学习资源,既包括必修课程也包括选修课程,此外还有一些很有仪式感的进阶式培训。我们提供非常数字化的学习体验,能满足个性化、敏捷化、沉浸化、生态化,甚至一些游戏化的学习模式。与此同时,德勤还提供物理的学习空间,比如勤创空间 Greenhouse 创新实验室,这里接待了非常多的企业客户,可以提供沉浸
126、式创新体验、全方位视觉和感官的激活、灵活多变的场景设置以及高科技支持,可以让大家更为扁平、更为融和地在一起工作,共同来激发灵感和创新想法。嘉宾介绍嘉宾介绍 秦芹,德勤中国管理咨询合伙人,服务于组织转型及人力资本咨询业务线。秦女士拥有 15 年人力资源从业经验,加入德勤 8 年。服务于多家大型国企、先进民企、跨国公司,行业涉及高端制造、高科技、互联网、金融服务等行业,对不同行业和不同发展阶段的企业,积累了丰富的项目设计和实施经验。秦女士在组织架构设计、组织管控、岗位职级体系、高管及员工薪酬、中长期激励、绩效管理、人力资源规划、任职资格、人才发展、员工体验、数字化人力资源转型、中国员工全球海外派遣
127、等领域积累了大量的咨询经验,熟知国企改革、市场化机制方案的设计与落地。服务的客户包括但不限于:海尔、小米科技、光大芯业、东软望海、梅花集团、蒂森克虏伯、用友、联想、神州数码、腾讯、Intel、神州高铁、大树科技、永泰生物、正大天晴、潍柴动力、国投高新、万宝矿产、中国中东欧基金、丝路基金、铁建国投、57 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 中石油气候基金、东风汽车有限、东风物流集团、武汉地铁资源、河南投资集团、山东财金集团、河南交通发展集团、华夏金租、财信金控、江西金控、浦发银行、渤海银行、中原银行、郑州银行、泸州银行等。58 中国中国卓越技术卓越技术团队访谈录团
128、队访谈录2023 第第二二季季 第一批因第一批因 AIGC 裁掉自家员工的老裁掉自家员工的老板该后悔了?板该后悔了?作者:核子可乐,Tina 拥抱生成式 AI 并不断裁员,这家电商企业付出了惨重代价。自 2022 年 11 月 30 日推出后,ChatGPT 受欢迎程度迅速飙升。2023 年 3 月,Shopify 成为首批采用 ChatGPT 生成移动产品推荐的企业之一,比一些大公司和CRM 公司如 Salesforce 更为激进。Shopify 成立于 2004 年,是全球头部电商 SaaS 服务平台,为电商卖家提供搭建网店的技术和模版,管理全渠道的营销、售卖、支付、物流等服务。2015年
129、Shopify正式上市。2021 年该公司在北美电商的市场份额约为 10%,仅次于亚马逊。拥拥抱抱 AI 并不断裁员,并不断裁员,Shopify 的赌徒心态的赌徒心态 今年 3 月,Shopify 将 ChatGPT 助手添加到商店应用程序和网站中。Shopify 认为与ChatGPT 结合的智能客服,可以超越上一代个性化问答,解决传统客服响应速率慢、人工成本高的痛点,降低运营成本。随后到了 5 月份的时候,Shopify 首席执行官 Tobi Lutke 宣布公司整体裁员 20%。市场普遍认为 AIGC 的提效赋能是裁员的重要原因之一。59 中国中国卓越技术卓越技术团队访谈录团队访谈录202
130、3 第第二二季季 从这些举措来看,Shopify 今年已经将业务重点放在了电商软件与 AIGC 的结合上,率先投身于这场轰轰烈烈的科技界转型大潮。一些证券投资公司因此认为,电商已经是 ChatGPT 核心应用场景之一,且有望在较快时间内落地,产生行业变革效应。60 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 7 月份,Shopify 再次推出一款名为 Sidekick 的助手,其创始人兼首席执行官 Tobi Lutke 将其描述为一个非常有能力并可随时提供帮助的强大助手。凭借对系统和可用数据的深入了解,这个助手能够根据每个商店的具体背景并给予销售策略建议。在Twitte
131、r 上分享的一段视频中,Tobi Lutke 演示了如何通过 Shopify 上的功能按钮访问“Sidekick”助手,响应商家咨询、提供销售相关趋势信息等。这次演示效果非常炫酷,比如 Tobi Lutke 在视频中询问助手“为什么滑雪板销量下降”,Sidekick 回答说这可能是因为降雪量一直在下降,并展示了一张图表来支持这一观点。然后,他要求打折出售所有滑雪板,Sidekick 自动更改主页上所有相关内容,并在几秒钟内添加红色折扣标签。Tobi Lutke 随后还演示了如何使用 Sidekick 更改整个店铺的设计,给顾客推荐夏天的冲浪板,瞬间,店铺主视觉从冬天变成夏天的图像。拥抱 AI
132、技术的同时,Tobi Lutke 在 Twitter 上曾公开表达了其基本思路:公司可以用更少的员工创造更高的收入,希望借此削减成本来取悦各位股东。紧跟着到了 7 月 26 日,Tobi Lutke 向全体员工发出一封电子邮件,告诉他们部分雇员会在几分钟后收到裁撤通知。这次裁员涉及到了大约 1000 名员工,占其全球员工总数的 10%。Tobi Lutke 表示“裁员是必要的”,并将其原因归于消费者恢复了以往的购物习惯,加之推动公司近期增长的网上订单量也在不断减少。但 Shopify 的员工并不认可这个裁员理由,一名愤怒的网名为“Joe Momma”的员工不顾保密协议(NDA)毅然披露该公司颇
133、有争议的行为和战略方向。这名员工表示,此番裁员是出于公司 CEO Tobi Lutke 疯狂的赌徒心态,想尝试用更便宜的合同工跟人工智能(AI)支持取代全职员工。61 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 并且目前这些举措已经引发了非常严重的问题:由于客户支持团队已大部分被淘汰,Shopify 的等待时间即将飙升。Shopify 客户虽然可以与机器人对话,但如果想要升级为人工服务,需要等待数小时。Tobi Lutke 也掏空了其他团队,比如信任和安全,其结果是每 5 家商店就有 1 家存在欺诈或诈骗行为。这严重影响了消费者的安全,但也表明 Shopify 洗钱的时
134、机已经成熟。62 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 大新闻:某 shopify 员工违反保密协议,向我们透露称 tobi:-已经在悄悄解雇位于美国、加拿大和爱尔兰的全球客户服务团队;-即将用 AI 聊天机器人将其替代。祝各位 Shopify 店主好运暗无天日的时期要来了。用用 AI 取代自家员工的代价取代自家员工的代价 在帖子中,该员工介绍了 Shopify 在这一年中,试图将 AI 应用到多个地方,期望能降低成本,包括生产产品描述、创建虚拟助手、开发仍处于 Beta 测试阶段的新客服中心 AI 代理等。然而,这种成本削减策略已经对客户满意度产生了负面影响。员
135、工数量的减少加上把大量业务转给外包和廉价的合同工,客服支持体验开始严重滞后。很多沮丧的商家等待几个小时,仍很难获得明确的答复。此外,负责监控欺诈商店的团队已经不堪重负,可能导致平台上欺诈业务的数量有所增加。63 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 Shopify 中的一切都在转向 AI,从产品描述到虚拟助手,再到新客服中心的 AI 代理(目前仍处于 beta 测试阶段、未正式发布)。Toby 对自己的计划毫不避讳,还在Twitter 上分享一张图表,展示多年来 Shopify 公司如何用更少的人手赚取百万美元收入。64 中国中国卓越技术卓越技术团队访谈录团队访谈
136、录2023 第第二二季季 该员工发布的推文也引发了人们对于其余 Shopify 员工命运的担忧。据报道,自裁员以来,余下员工面临着工作量增加,但却没有相应补偿或福利的困境。不少人陷入严重的倦怠、焦虑和压力过大而被迫休假的状态。尽管这些问题已经引起公司领导层的注意,但却被视为“系统性”问题而遭到忽视。另外,该公司似乎打算用基于 AI 的解决方案,全面取代之前依靠人工运转的客户服务体系。此外,帖子还强调了 Shopify 在目标市场方面出现的显著重心转变。Shopify 向来以支持小企业和创业者而闻名,但随着收入模式严重依赖支付交易而非订阅软件,现在其似乎正更多优先关注大公司。Shopify 在运
137、营战略方面的巨大转变,导致员工和客户开始质疑该公司的诚信度,以及为小企业赋能的使命与承诺。不少人认为该公司已经偏离了其根本,变得越来越类似于其曾经反对的那些行业巨头。65 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 相反,公司CRO Bobby Morrison将这一切照片于“系统性”问题,并表示Shopify将增加 AI 技术的应用,借此“快速为我们的顾问和商家提供辅助。”“在找到修复系统性问题的方法后,我们将大力投资于工具开发,包括帮助客服人员更好完成工作的工具,以及帮助商家更快获取问题答案、且无需与真人交流的工具。”Shopify 公司的领导层,包括总裁 Harl
138、ey Finkelstein,已经向员工们保证不会进一步裁员。但该公司的一系列做法、特别是在保密协议的约束下秘密精简人手的行径,已经令员工们对承诺产生了怀疑。尽管去年曾进行多轮裁员,但 Shopify 公司管理层的薪酬似乎基本未受影响。在今年 66 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 5 月提交的监管文件中,Shopify 公司透露 Tobi Lutke 在 2022 年拿到的总薪酬略高于2000 万美元,与 2021 年的 2000 万美元基本持平,且高于 2020 年的 1510 万美元。随着公众监督的不断加强,以及对其企业价值主张和商业模式的愈发担忧,Sh
139、opify在重建信任和解决自身决策对员工/客户的影响方面正面临重大挑战。不少 Twitter 网友对此爆料给予了点评:用 AI 削减成本是资本家才喜欢讲的故事;Shopify 客户服务已经很糟糕了,情况会变得更糟;“人工智能聊天机器人无法提供客户服务支持,我保证 Shopify 很快就会发现这一点”;这将是一场彻底的灾难。参考链接参考链接 https:/thedeepdive.ca/shopify-employee-breaks-nda-to-reveal-firm-quietly-replacing-laid-off-workers-with-ai/https:/ https:/ https
140、:/ https:/ 67 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 如何利用如何利用 AIGC 自动化编程提高研自动化编程提高研发效率?发效率?作者:郭炜 策划:凌敏 前前言言 下面是一段利用 Co-Pilot 辅助开发的小视频,这是 Apache SeaTunnel 开发者日常开发流程中的一小部分。如果你还没有用过Co-Pilot、ChatGPT或者私有化大模型帮助你辅助开发的话,未来的 5 年,你可能很快就要被行业所淘汰。因为这些善于使用AIGC辅助编程的人可以10倍于你的速度开发相应的代码,而你没有这个技能。我并不是危言耸听,读完此文,我相信你对 AIGC 研
141、发提升研发效率会有全新的认知。视频地址视频地址 大大模型颠覆传统初级程序员的培训和辅导模型颠覆传统初级程序员的培训和辅导过程,让技术和经验“平权”过程,让技术和经验“平权”过去,初级程序员入职学习编程时,往往是师傅给一个任务需求,教大体的思路,然后在初级程序员写出代码工作当中培训和纠正,针对不同的命题告诉不同的方案,直到初级程序员把这些经验学会。68 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 但大模型的到来把这个过程完全改变了。大模型自己具有广泛的知识,而且有一些基础的推理能力,它可以经历无数次的实践,学习公司里各种各样的代码和业务定义,它所遇到的场景要比师傅当年要遇
142、到的场景多得多,同时它会根据开发者的需求和目标给出可能的答案。这个过程就像我们多了一个无所不能的“师傅”,随叫随到还可以给你直接写出可能的代码,让你参考学习,让一个初级的程序员快速具有“师傅”写代码的能力。经过自己的学习和调整,就可以提交出一个远超你自己个人水平的代码,让别人 Review。那么,我们有什么理由不使用大模型来提高自己的研发效率呢?69 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 如如何使用大模型辅助编程?何使用大模型辅助编程?目前常见的工具有 ChatGPT、Co-Pilot、私有化大模型等等,在不同场景下要用不同的方法来编写程序:可以看到,人类其实最适
143、合就是做比较有挑战和创新的架构类产品,或者是某个新业务场景的代码,如果中间有复用的部分或者类似的算法,可以使用 Co-Pilot 快速提升效率;ChatGPT 可以用于类似场景的代码来自动生成,稍微修改就可以使用;私有化大模型更适合对数据和代码安全有要求,而又需要大模型比较了解你的业务知识的场景,私有化大模型是需要 FineTune 的。可能有人会说,私有化大模型普通公司玩不起的!其实这是一个误解,如果你要原生训练一个原生私有化大模型,估计中国能玩得起的公司不超过 5 个,而大多数公司不需要训练大模型,只需要根据开源大模型优化(Finetune)大模型就可以让大模型理解自己的业务了,而这个代价
144、就是 1-2 张 3090/4090 的显卡就可以了,整个的实行过 70 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 程可能也只需要 23 个小时的配置就可以(感兴趣的话可以参考下面这篇文章:用一杯星巴克的钱,训练自己私有化的 ChatGPT,里面讲的利用是 Apache DolphinScheduler 和配置好的模板,拖拽就可以训练一个大模型的例子)。使用私有化大模型可以直接实现以下功能:软件众多功能中,直接找到你所需要的功能;众多复杂的使用手册和规则,找到你所需要的功能和说明;辅助编程,Txt2SQL,提高数据程序员的效率。使用私有化大模型来辅助编程,真的距离我们
145、一点都不遥远。如果你还不太相信AIGC 自动化编程时代已经来临了,那么下面这个开源项目如何利用 AIGC 提高研发效率的例子,或许可以帮助你可能更好理解。大大 模 型 自 动 化 编 程 实 例:模 型 自 动 化 编 程 实 例:Apache SeaTunel Apache SeaTunnel愿景是“连接万源,同步如飞”,也就是可以连接市面上所有的数据源(包括数据库、SaaS、中间件、BinLog),而且同步效率要做的最高。这对于任何一家公司都是不可能做到的事情,而面对几千上万的 SaaS 软件和不断变化的接口,甚至人类也无法做到这一点,那么 Apache SeaTunnel 核心项目团队是
146、怎么在这个 AI时代设计这样一款开源软件呢?总体如下图所示:71 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 首先,计算核心引擎部分,属于专门为同步而生的计算引擎,它不同于 Flink、Spark,主要在同步复用内存、CPU、带宽和确保数据一致性上下功夫,所以大部分代码都没有可借鉴的,需要核心开发工程师直接编写、修正,以确保“同步如飞”。当然,因为是开源项目,核心引擎部分得到了众多大厂专家的修正和讨论,以确保时刻跟进全球最先进的技术。其次,数据库的核心Connector,例如Iceberg Connector,这些接口实现比较复杂,除了保证代码正确之外还要保证数据传输效
147、率很高,这时候直接使用大模型是无法达到我们所需要的效果的。因此主力还是人,但可以复用自己和云端过去常用的代码来做,这时候使用 Co-Pilot 就是最佳方案,主导者是人,而大模型可以作为辅助来帮你补充常规算法和复用的代码,如开头视频所示的样子。面对浩如烟海的 SaaS 接口,例如 MarTech 领域的 SaaS 就超过 5000 个,靠人力对 72 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 接接口是不可能的。SeaTunnel 核心团队就想了一个办法,根据多次尝试,把过去为人写的十几个接口进行抽象,不断和 ChatGPT 磨合,最终变成 2 个可以让 ChatGPT
148、理解并写出优雅代码的接口,然后利用 ChatGPT 可以读懂 SaaS 接口文档的特点,直接生成相关代码。这在 SeaTunnel 当中叫“AI Compatible”特性,兼容 AI。我理解这更是程序员和AI的一种“和解”,大家不要相互抢饭碗,程序员为AI做好准备,AI 来做程序员无法做到的事情。这个特性在 Apache SeaTunnel 2.3.1 里面已经发布了,当然作为众创的开源软件,该功能还有各种各样的缺陷有待提升。不过因为代码是完全开源的,我相信会有越来越多的爱好者把它打磨到更加自动化。比如,我已经听到有一个开发者要做一个GPT Coder,监控 GitHub 上的 SaaS i
149、ssue,自动化调用 ChatGPT,生成代码并提交PR,让机器人和人类卷到极致。73 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 大大模型自动化编程存在的问题模型自动化编程存在的问题 虽然ChatGPT、Co-Pilot可以辅助编程,但它们也不是无敌的,目前大模型生成代码还有很多挑战:准确率问题;无法做 code review;无法实现自动化测试;无法担责。大模型依然会出错,这在未来一段时间是常态,哪怕是 ChatGPT4,写出来的代码也就 90%的正确率,所以要尽量简化它写代码的过程,否则可能会写出来完全不对的代码。大模型快速生成代码之后,人类的 code revi
150、ew 会跟不上,因为机器是无法确定最终代码实现业务逻辑是不是对的;而大模型做 code review 的话,你会发现每次都给你煞有其事地提出来不同的改进点,但其实都是无关痛痒部分,无法确定最终的逻辑正确性。同时,自动化测试案例和自动化测试也是当前大模型一个弱点,TestPilot 属于在学术圈比较活跃的内容,大家可以参考Cornell的Large Language Models are Few-shot Testers:Exploring LLM-based General Bug Reproduction 和 Adaptive Test Generation Using a Large La
151、nguage Model都是一些比较有意思的文章,不过距离工程化使用都还有一定距离。当然,自动化编程还有最后也是最难得一关责任问题,就像自动化驾驶一样,哪怕是做到 L5,如果出问题到底是谁的责任。就像 WhaleOps 实现了 Txt2SQL 之后,74 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 很多用户问,为什么不直接把 SQL 执行出来变成最终的结果给我,这才是业务部门最终需要的东西。我认为这是一个哲学问题,而不是一个技术问题了。不说现在 ChatGPT90%的准确率,假设将来大模型可以做到 99.9999%,你敢直接问一句话让它自动计算全公司的工资然后自动对接银
152、行发工资么?如果出问题,你觉得是谁的问题呢?永远不能幻想用技术解决所有的业务问题,大模型也是如此。未未来展望来展望 现在我们还处于大模型自动化编程的初期,很多小伙伴还在处于试用 Co-Pilot 和ChatGPT 阶段,大多数程序员还没有用上私有化大模型来根据自己公司的业务提升编程效率,不过我认为未来的 3-5 年,自动化辅助编程一定会成为我们这一届开发者的标配工具:国产基础大模型拉进 ChatGPT 距离,易用性提高;开源大模型准确性、性能提升,更多的公司使用私有化大模型 ROI 提升;大模型自动化门槛减低,除了 DolphinScheduler,更多的大模型训练平民化工具诞生;技术管理者对
153、于大模型自动化编程认知提升,技术管理流程适配大模型时代;在当前经济周期下,降本提效利用大模型提高效率势在必行。所以,未来几年,如果你在研发过程还是只会CRUD,不会有效利用大模型将自己的经验和业务理解 X10 或者 X100 的话,那么不用等到 35 岁,你就会被会大模型编程 75 中国中国卓越技术卓越技术团队访谈录团队访谈录2023 第第二二季季 的那批程序员所取代,他们 X10 之后,你就是那被淘汰的 9 个人。当然,虽然有点危言耸听,但是编程提效当中的大模型趋势是势不可挡的,我也只是在大模型自动化编程这方面不断实践摸索的小学生,我相信会有很多的技术管理者和架构师加入到大模型自动化编程的浪
154、潮中来,不断迭代和优化在开发领域当中人和大模型之间的关系。最终,让程序员、AI、技术研发流程更有效的为业务服务。作者介绍作者介绍 郭炜,人称“郭大侠”,Apache Foundation Member,Apache DolphinScheduler PMC,Apache IPMC Member,ClickHouse 中国开源社区发起人和首席布道师。中国软件行业协会智能应用服务分会副主任委员,TGO 北京董事会会长,全球中小企业创业联合会副会长,人民大学大数据商业分析研究中心客座研究员。郭大侠一直致力于让“数据能力平民化”的事业上,本人参与多个开源项目,促进多个开源社区在中国的落地以及中国开源项目在全球的发展,被评为 Apache Foundation Member 和2021 年中国开源最佳人物之一。