Google在分布式集群计算资源利用率方面处于 原图定位 谷歌在 AI 架构、芯片方面处于行业领先地位。Google 在《Pathways: Asynchronous Distributed Dataflow for ML》提出了 Pahtways 作为新一代 AI 架构,其特点是多任务,多通道,稀疏激活。在《PaLM: Scaling Language Modeling with Pathways》中,Google 提到 Pathway 下 MFU(Model Flops Utilization)达到 46.2%,高于 GPT-2/3 在 A100/V100 集群上的利用率 35.7%/21.3%,但低于 GPT-3 基于英伟达 Megatron-A100 集群实现的利用率 52%。TPU 方面,TPU 在 MLPerf 部分场景的性能测试中表现优于 A100,其中 TPU v4 在 4096块芯片,应用 BERT 场景下性能是 A100 的 1.15 倍左右;ResNet 场景下 TPU v4 则是 A100 性能的 1.67 倍。