【新智元导读】初创团队Mistral AI再次放出一条磁力链,281GB文件解禁了最新的8x22B MoE模型。
一条磁力链,Mistral AI又来闷声不响搞事情。
281.24GB文件中,竟是全新8x22B MOE模型!
全新MoE模型共有56层,48个注意力头,8名专家,2名活跃专家。
而且,上下文长度为65k。
网友纷纷表示,Mistral AI一如既往靠一条磁力链,掀起了AI社区热潮。
对此,贾扬清也表示,自己已经迫不及待想看到它和其他SOTA模型的详细对比了!
靠磁力链火遍整个AI社区
去年12月,首个磁力链发布后,Mistral AI公开的8x7B的MoE模型收获了不少好评。
基准测试中,8个70亿参数的小模型性能超越了多达700亿参数的Llama2。