一文读懂Kimi K3 预训练

一文读懂Kimi K3 预训练

7月几天之内,中国大模型行业接连出现了两个超过2万亿参数的模型。Kimi率先发布K3。它的总参数量2.78万亿,每个Token激活约1042亿参数,拥有896个路由专家,支持最长100万Token…

Read More