OpenAI并没有公开ChatGPT背后使用的确切计算资源。但是根据一些猜测和公开信息,其实 ChatGPT需要很大量的计算资源:

硬件

• 推测使用数千到上万台GPU服务器。ChatGPT需要运行在大量GPU上才能支持其规模。
• 每台GPU服务器可能配置4到16张Tesla V100或A100卡。这些GPU显卡有高算力。
• 可能使用大量TPU等专用芯片来加速训练。
• 内存空间可能在数百到上万个TB量级。

模型规模

• ChatGPT背后的语言模型规模可能在数十亿参数量级。
• 与GPT-3类似,可能也达到上百亿参数量级。
• 这正致使它需要如此大量的计算资源。

训练时间

• OpenAI可能已经投入数十万小时的GPU计算时间来训练ChatGPT。
• 根据计算密集型,可能需要连续几个月乃至一年的GPU计算。
• 这也是 ChatGPT产生强大智能的基础。

总的来说,可以确定的是ChatGPT背后需要极其庞大的计算资源:

• 需要数千到上万颗GPU
• 内存达到PB级别
• 模型大小超过数十亿参数
• 需要数十万小时的GPU计算时间
• 可能使用专用芯片来加速

而这样的计算资源只有的技术巨头才能拥有。也正因此,ChatGPT产生这样强大的智能。