EleutherAI GPT-NeoX-20B

GPT-NeoX-20B是一个由 EleutherAI 开发的 200 亿参数的开源自回归大语言模型。使用 GPT-NeoX 库在 Pile 数据集上进行了训练。它的架构和 GPT-3 类似，几乎和 GPT-J-6B 相同。训练数据集包含了多种英语文本，使模型有较高的通用性。