Mistral AI の Le Chat モデルは、AI チャットボット コミュニティ内で多くの注目を集めており、一部の観察者は、最近登場したにもかかわらず、ChatGPT の潜在的な競合相手であると説明しています。
しかし、この新興チャットボットは本当にこのタイトルに値するのでしょうか? Mistral AI の Le Chat は ChatGPT よりも優れていますか?確認する ChatGPT の代わりに Claude 3 を使い始める理由.
クイックリンク
Mistral AI の Le Chat モデルとは何ですか?
Le Chat は、フランスのスタートアップ Mistral AI が開発した AI チャットボットです。これは、Mistral Large、Mistral Small、Mistral Next など、Mistral 独自の大規模言語モデル (LLM) のいくつかを利用しており、AI チャットボットと対話するときに使用するものを選択できます。チャットボット分野では比較的新しい参入者ですが、Gemini や GPT-4 などの業界大手と比較して、サイズが小さいにもかかわらず、AI モデルのパフォーマンスが高く評価されています。
これが何を意味するかを理解するには、積み木で遊んでいると想像してください。ブロックが増えれば増えるほど、より複雑で詳細な構造物を構築できるようになりますよね。 AI 言語モデルはこれに似ています。これらにはさまざまなサイズがあり、通常はパラメータの数で表されます。 AI モデルで「70B パラメーター」または「70B パラメーター」などの用語を聞いたことがあるかもしれません。パラメーターの数は、モデルが理解して応答を生成する必要がある基本要素の数と同様です。したがって、言語モデルがより多くのパラメータを持っている場合、言語モデルはより複雑でより適切な応答を理解して生成することができます。
さて、GPT-4 には推定 1.76 兆 7 億のパラメーターがあるのに対し、Mistral AI には 56 億から XNUMX 億のパラメーターがあると推定されています。サイズの違いが分かりますか？したがって、Mistral AI が適切なパフォーマンスを提供できることが、誇大広告の理由の XNUMX つです。
Le Chat には、ChatGPT のような誇大広告や Gemini のようなブランド力はありませんが、ChatGPT の潜在的な競合他社が議論されるたびに、あらゆる会話に登場します。しかし、それは本当に食卓に並ぶ価値があるのでしょうか?
私も同じことを疑問に思っていたので、それを確かめるために、ChatGPT と比較して Le Chat を徹底的にテストしました。確認する GitHub Copilot と ChatGPT: プログラミング タスクにはどちらが適していますか?
Le Chat と ChatGPT の比較: 創造性
創造性は、AI チャットボットのパフォーマンスを判断するための最も重要な指標の 1 つです。チャットボットの目的は、人間の会話能力と創造的才能を大規模に複製または模倣することであることを忘れないでください。このため、創造性は AI チャットボットにとって非常に重要な強みになります。世界中で 1 年以上にわたって ChatGPT が実験されており、その創造的な可能性は否定できません。しかし、Le Chatと比べてどうなのでしょうか？私たちは両方のチャットボットに一連の創造性テストを実施しました。
私はまず両方のチャットボットに「自分自身をアーティストとしてどう思いますか?」と尋ねました。創造的で想像力豊かな言葉を使って自分自身を表現する能力をお互いにテストします。
ChatGPT がアーティストに対してどのように説明されるかは次のとおりです。
Le Chat 自体についても次のように説明しています。
どちらの回答も、それぞれ独自の方法でタイムリーでした。 ChatGPT は、鮮やかな画像や比喩を使って自身を説明することに興味を持ち、創造的な才能を発揮しました。一方、Le Chat の応答は有益であり、AI チャットボットとしての本質を説明することに焦点を当てています。 ChatGPT の反応が示すような創造性や芸術的アプローチが欠けていると言う人もいるかもしれません。ただし、私は思い切って言って、ChatGPT の抽象的な説明よりも、Le Chat の想像しやすい応答の方が好きだと言います。
次に、ChatGPT と Le Chat に、キュウリを育てて金持ちになることについてのラップソングを書いてほしいと依頼しました。これは、他のチャットボットの創造性をテストするために使用した挑戦的なリクエストです。ウェブ上でキュウリに関するラップソングを何曲見つけることができますか?
ChatGPT の応答は次のとおりです。
ル・シャ氏の返答はこうだ。
主観的な問題かもしれませんが、ここでは ChatGPT 応答が最良の選択肢のようです。 Le Chat の歌詞は決まり文句に満ちていて、とてもラッパーが出すものとは思えませんでした。これらの単語が音楽に変換された場合にどのように聞こえるかをテストするために、音楽ジェネレーターを使用しました。 スノAI 言葉から音楽を生み出すこと。 3 回のテストのうち 3 回では、ChatGPT の歌詞がはるかに良く聞こえました。以下に両方のチャットボットのサンプルをいくつか示します。どちらのチャットボットのパフォーマンスが優れているかを判断できます。
ChatGPT キーワードから生成されたサンプル:
サンプル 1:
サンプル 2:
Le Chat の歌詞から作成されたサンプル:
サンプル 1:
サンプル 2:
AI チャットボットを使用して、詩を書いたり、記事を書いたり、難しい仕事のメールを作成したりするなど、他のクリエイティブなタスクにも挑戦してきました。 ChatGPT は非常に有望であるにもかかわらず、すべてのケースで明らかに Le Chat を上回りました。モチベーションを高めるための難しいテクニックもいくつかありましたが、ル・シャが特に得意とした分野の 1 つはエッセイの執筆であったことに注意することが重要です。ただし、全体的な創造性という点では、ChatGPT が受賞します。
Le Chat と ChatGPT の比較: プログラミング スキル
プログラミングの熟練度は、大手チャットボットの基本要件となっています。きちんとしたコードを書くことは必須のスキルですが、エリートの中で本当に目立つためには、AI チャットボットがさまざまな複雑な問題を効果的に解決できるコードを作成する能力を実証する必要があります。以前、ソフトウェア ツールとしての優れた機能を実証する ChatGPT を使用して、Web アプリケーション全体を最初から構築しました。しかし、Le Chat はコードを書くのがどれほど上手なのでしょうか?
私は両方のチャットボットに、CSS、HTML、JavaScript を使用して簡単な ToDo リスト アプリケーションを作成するよう依頼しました。 ChatGPT では問題なく良好な結果が得られました。生成されたコードをコピーしてブラウザーでプレビューしたところ、ChatGPT が生成したものは次のとおりです。
プロンプトを繰り返すたびに、ChatGPT はさまざまなスタイルを使用して機能的な To Do リスト アプリケーションを作成しました。生成されたコードは、いかなる形でも機能しませんでした。
Le Chat で同じプロンプトを試してみると、明確なコードのように見えるものが生成されましたが、ブラウザ上で実行しようとすると機能しませんでした。プロンプトを 3 回繰り返した後、指定されたタスクを完了できるコードを生成したインスタンスはありませんでした。彼は基本的なプログラミングのタスクに失敗しました。これは危険信号です。
もちろん、私は 1 回のテストの不合格だけで Le Chat を判断するつもりはありません。次に、両方のチャットボットに JavaScript と PHP コードを生成させて、テキストを暗号化および復号化しました。この 2 番目のテストでは、ChatGPT と Le Chat は、指定されたタスクを実行できる機能コードを生成しました。ただし、Le Chat バージョンは、経験の浅い初心者プログラマーが書きそうなものに見えました。一方、ChatGPT コードはより完全で、経験豊富なプログラマーによって書かれたように見えました。
バグの発見と修正を伴う他のプログラミング テストを繰り返しましたが、ChatGPT は一貫して Le Chat を上回りました。場合によっては、ル・シャさんは自分が何をすべきかさえ分からなかった。 Le Chat がいくつかの分野で ChatGPT のレベルに達する可能性は十分にありますが、プログラミング スキルはその中には含まれないようです。確認する 自動化されたアプリケーション スクリプトを提供する高度な ChatGPT 代替手段.
Le Chat と ChatGPT の比較: 常識と論理的思考
AI チャットボットの興味深い発展の 1 つは、複雑なタスクを簡単に解決できる一方で、基本的な常識を必要とする単純なタスクでは失敗する能力です。 ChatGPT のような確立されたチャットボットも、Le Chat のような新参者も、多くのチャットボットは、人間流の常識と論理的思考を必要とするタスクを解決するのに苦労しています。では、この点で Le Chat と ChatGPT はどう違うのでしょうか?
私は両方のチャットボットに次のように尋ねました。「3 リットルのボトルと 5 リットルのボトルをお持ちだとします。 4 リットルと 3 リットルのボトルを使って、どうやって 5 リットルの水を測ることができるのですか?」
ChatGPT は flair を使用して問題を解決しました。
Le Chat は同じタスクを試み、異なるアプローチを使用しましたが、問題を解決することができました。
このテストでは、どちらのチャットボットも同様のパフォーマンスを示しました。
次に、両方のロボットにひっかけの質問をしました。「火星の宇宙船が 2 つに分裂し、片方がブラジル近くの大西洋に、もう片方が日本近くの太平洋に墜落した場合、生存者はどこに埋葬されますか?」
ChatGPT はトリックを検出し、それに応じて応答しました。
Le Chat もトリックを見破り、それに応じて次のように対応しました。
さらにひっかけ質問を試してみましたが、ChatGPT と Le Chat はどちらも論理的かつ常識的なプロンプトの処理に非常に熟練しているようです。ただし、より複雑な論理的な質問の場合、正しい答えを提供できるのは ChatGPT だけです。
Le Chat は潜在的な「ChatGPT の競合相手」として話題を呼んでいますが、私たちのテストでは、AI チャットボットの世界で主要なモデルと真に競合できるようになるまでには、まだ多くの成長が必要であることが示されています。 Le Chat は常識などの分野で優れた能力を発揮しましたが、その創造的な成果やプログラミング スキルは ChatGPT に比べて大幅に遅れていました。フランスの AI スタートアップ企業は確かに有望に見えますが、誇大宣伝はその能力を少し先取りしている可能性があります。
これまでの多くの意欲的な競技者と同様、ル シャも大きなトーナメントに向けて準備を整える前に、継続的な改善とトレーニングを必要としています。現時点では、ChatGPT のような AI チャットボットが依然として AI チャットボットの世界で議論の余地のない王者です。しかし、競争相手の分野はますます混雑しているため、リーダーは既存の能力だけで競争することはできません。今すぐ閲覧できます コンピュータの自己学習の実現: インテリジェントシステムは常識を獲得できるか?
