法国生成式人工智能独角兽公司：Mistral AI

Mistral AI创立于2023年，总部位于法国巴黎，Mistral AI是一个汇聚团队开发生成式人工智能模型的平台，为人工智能行业创造并提供创新。

Mistral AI 美股百科

Mistral AI 是一家法国人工智能公司。 它于 2023 年 4 月由曾受雇于 Meta 和 Google 的研究人员创建，包括：Arthur Mensch、Timothée Lacroix 和 Guillaume Lample。 截至 2023 年 12 月，该公司已融资 6.6 亿美元。2023 年 12 月，该公司的估值超过 20 亿美元，晋身独角兽。

Mistral AI 产生开源大型语言模型，其中最著名的是 Mistral 7B 和 Mixtral 8x7B。

1、Mistral 7B

Mistral 7B 是使用 Transformer 架构的 7.3B 参数语言模型。 于 2023 年 9 月 27 日通过 BitTorrent 磁力链接和 Hugging Face 正式发布。 该模型是在 Apache 2.0 许可证下发布的。 该发布博客文章声称该模型在所有测试的基准测试中均优于 LLaMA 2 13B，并且在许多测试的基准测试中与 LLaMA 34B 相当。

Mistral 7B 使用与 LLaMA 类似的架构，但对注意力机制进行了一些更改。 特别是，它使用旨在更快推理的分组查询注意力（GQA）和旨在处理更长序列的滑动窗口注意力（SWA）。

Mistral 7B 使用分组查询注意力（GQA），它是标准注意力机制的一种变体。 它不是计算所有隐藏状态的注意力，而是计算隐藏状态组的注意力。

2、Mixtral 8x7B

与 Mistral 的第一个模型非常相似，Mixtral 8x7B 于 2023 年 12 月 9 日通过 BitTorrent 发布，两天后发布了 Hugging Face 和一篇博客文章。

与之前的 Mistral 模型不同，Mixtral 8x7B 使用稀疏混合专家架构。 该模型有 8 个不同的“专家”组，为模型提供了总共 46.7B 个可用参数。 每个令牌只能使用 12.9B 参数，因此给出了 12.9B 参数模型所产生的速度和成本。

Mistral AI 的测试表明，该模型在大多数基准测试中都击败了 LLaMA 70B 和 GPT-3.5。

2024年3月，由Patronus AI进行的研究比较LLM在一项包含100个问题的测试中的表现，该测试使用了要求生成受美国版权法保护的书籍文本的提示。研究发现，Open AI的GPT-4、Mixtral、Meta AI的LLaMA-2和Anthropic的Claude2分别在44%、22%、10%和8%的回答中完全生成了受版权保护的文本。

3、仅用于 API 的模型

与 Mistral 7B 和 Mixtral 8x7B 不同，以下模型是闭源的，只能通过 Mistral API 获得。

3.1 Mistral Large

Mistral Large 于 2024 年 2 月 26 日推出，Mistral 声称它是全球第二大的，仅次于 OpenAI 的 GPT-4。

它精通英语、法语、西班牙语、德语和意大利语，米斯特拉尔声称了解语法和文化背景，并提供编码能力。 截至 2024 年初，它是 Mistral 的旗舰人工智能。 它也可以在 Microsoft Azure 上使用。

3.2 Mistral Medium

Mistral Medium 经过多种语言的培训，包括英语、法语、意大利语、德语、西班牙语和代码，在 MT-Bench 上的得分为 8.6。 在 LMSys ELO Arena 基准测试中，它的性能排名高于 Claude，低于 GPT-4。

Mistral Medium 的参数数量和架构尚不清楚，因为 Mistral 尚未发布有关它的公开信息。

3.3 Mistral Small

与 Large 模型一样，Small 于 2024 年 2 月 26 日推出。它旨在成为低延迟的轻量级模型，具有比 Mixtral 8x7B 更好的性能。

Mistral AI 历史百科

Mistral AI 由 Arthur Mensch、Guillaume Lample 和 Timothée Lacroix 于 2023 年 4 月共同创立。 在共同创立 Mistral AI 之前，Arthur Mensch 曾在 Google 人工智能实验室 DeepMind 工作，而 Guillaume Lample 和 Timothée Lacroix 则在 Meta 工作。

2023 年 6 月，这家初创公司进行了首次融资 1.05 亿欧元（1.17 亿美元）种子轮融资，投资者包括美国基金 Lightspeed Venture Partners（领投）、Bpifrance、Index Ventures、Redpoint、Headline、Eric Schmidt、Xavier Niel、JCDecaux等，估值为 2.4 亿欧元（2.67 亿美元）。

2023 年 9 月 27 日，该公司在免费的 Apache 2.0 许可证下提供了其语言处理模型“Mistral 7B”。 该模型有 70 亿个参数，与竞争对手相比规模较小。

2023 年 12 月 10 日，Mistral AI 宣布已通过A轮融资筹集了 3.85 亿欧元（4.28 亿美元），此轮融资主要由 Andreessen Horowitz 和 Lightspeed Venture Partners 领投，General Catalyst、法国巴黎银行（BNP Paribas）、Salesforce 等跟投。 估值超过20亿美金。

在2023年12月11日，Mistral AI 公司发布了“Mixtral 8x7B”模型，拥有46.7亿个参数，但由于采用专家混合结构，每个标记仅使用了12.9亿个参数。该模型掌握 5 种语言（法语、西班牙语、意大利语、英语和德语），根据其开发人员的测试，其性能优于 Meta 的“LLama 2 70B”模型。还提供了经过训练可以遵循指令的版本，称为“Mixtral 8x7B Instruct”。

2023年12月11日，Mistral AI 通过债务融资募集了1.3亿美金资金，由Salesforce和NVIDIA共同投资。

2024 年 2 月 26 日，微软宣布与该公司建立新的合作伙伴关系，以扩大其在快速发展的人工智能行业的影响力。根据协议，Mistral丰富的语言模型将在微软的Azure云上提供，同时多语言会话助手“Le Chat”将以ChatGPT的风格推出。Mistral AI 获得 Microsoft 1500万欧元入股。

2024年3月14日，Mistral AI 完成 Databricks Ventures 独家参与的A+轮融资。

2024年5月9日，Mistral AI 即将达成一项6亿美金的融资，现有投资者General Catalyst和Lightspeed Venture Partners预计将是新一轮融资的主要金主。本轮融资估值60亿美元，是六个月前的三倍。

Mistral AI 美股投资

非上市公司，公司官网，等待Mistral AI IPO上市。