AI の競争は続いており、その進歩は時として非常に急速です。この分野では、フランスの新興企業が競争から抜け出し、すでに大手市場プレーヤーのモデルと競合しています。
AI の世界では、少なくとも適切な人々が協力する場合、すべてが非常に迅速に進みます。むしろ裁判官、新興企業ミストラル AI は昨年 5 月にポリテクニック大学と高等師範学校の 3 人の卒業生によって設立され、12 月 10 日に約 3 億 8,500 万ユーロを調達したと発表しました。その評価額はすでに 20 億ユーロ近くに達しています。したがって、新たなフランスのユニコーンが日の目を見ることになった。同社のディレクターであるアーサー・メンシュ氏は次のように述べています。
5 月に Mistral AI を創設して以来、私たちは人工知能における世界的な使命を持つヨーロッパのチャンピオンを生み出すという明確な野望に従ってきました。
Google の AI 部門である DeepMind で働いていたアーサー・メンシュ氏は、他の 2 人の才能ある共同創設者、Meta の元研究者である Timothée Lacroix 氏と、Meta の LLama モデル作成者の 1 人である Guillaume Lample 氏によってサポートされているため、単独ではありません。 22人の従業員からなるチームも。 Mistral AI の支持者には、Xavier Neil、Eric Schmidt、Nvidia、BNP Paribas、さらには CMA CGM など、多くの人々がいます。
GPT-3.5に対抗できるモデル
スタートアップ企業の最も先進的な Mixtral 8x7B モデルは、オープンモデル教育省
Mixture of Experts 用、特殊なニューラル ネットワークにデータを分散するシステムとは異なり、ジェミニはグーグル例えば。このテンプレートは、フランス語、ドイツ語、スペイン語、イタリア語、英語で機能します。 Mac M1 上でローカルに実行できます。
ミクストラルはMoEです。これは、フィードバック ブロックが 8 つの異なるパラメーター グループのセットから選択するデコーダー専用モデルです。各層のトークンごとに、ルーターのネットワークがこれらのグループのうち 2 つ (「専門家」) を選択して、トークンを処理し、その出力を追加的に結合します。
この手法では、モデルがトークンあたりのパラメーター セット全体の一部のみを使用するため、コストとレイテンシーを制御しながらモデル内のパラメーターの数を増やします。具体的には、Mixtral には合計 467 億のパラメータがありますが、トークンあたり使用するパラメータは 129 億のみです。したがって、12.9B モデルと同じ速度、同じコストで入力を処理し、出力を生成します。
ミストラル 8x7B は、その若い年齢にもかかわらず、すでに非常に効果的であるようです、上の表からわかるように、いくつかのベンチマークでは Meta の LLama 2.70B や OpenAI の GPT-3.5 に匹敵します。注目に値するこの新興企業は、今後数か月で大きな進歩を遂げ、すぐに商用オファーを提案する予定です。
私たちは、商用製品の開発と並行して、最も効率的なオープン モデルをリリースすることに取り組んでいます。オンプレミス/仮想プライベートクラウド導入に最適化した独自モデルを提供します。当社は、企業向けのホスト型ソリューションと専用導入に積極的に取り組んでいます。
私たちはすでに、はるかに大規模なモデルをトレーニングし、新しいアーキテクチャに移行しています。
