【AiBase提要:】4. 最先进的封闭式模型将继续大幅优于最先进的开放式模型。我们怀疑，开源新的前沿模型所需成本巨大但缺少收入回报，像Mistral这样的公司最终可能会保留最先进的模型的专有性，以便可以对其收费。
最近一段时间，世界各地地震频发。
该方法利用专有的大型语言模型在约100种语言的文本嵌入任务中生成了各种合成数据。与复杂的预训练阶段不同，该方法使用基本的对比损失函数，将开源的仅解码的大型语言模型在生成的合成数据上进行微调。
专利的大型语言模型如 GPT-4被用来生成包括多语言指令在内的各种合成数据。通过利用 Mistral 模型强大的语言理解能力，该方法在几乎所有工作类别上在激烈竞争的 MTEB 基准测试中取得了出色的性能。