NLP模型参数规模及训练所需算力 原图定位

从OpenAI官网访问量看，根据Similarweb数据统计，2023年2月ChatGPT应用PC端+手机端平均日活1939万人，假设每人平均提1000字（假设均为英文单词）左右的问题，则合计产生约194亿单词，根据OpenAI，平均每4个字母对应1个token，我们假设每个单词包含5个字母，则共需要消耗242.5亿个token。假设24小时平均分配任务，平均每天需要的总算力=242.5亿*1000亿/(24小时*3600秒)*100=280.67 Petaflop/s，考虑OpenAI访问存在峰值，假定访问峰值是一天均值的2倍。目前英伟达A100芯片峰值算力约19.5TFLOP/s，则需要A100 GPU芯片约280.67*2/19.5*1000=28786片。