2024年10月17日 11:31 ITmedia NEWS
仏AI企業のMistral AIは10月16日(現地時間)、デバイス上でのコンピューティングとエッジユースケース向けに設計された最先端モデル「les Ministraux」を発表した。APIをLa Plateformeで利用可能だ(価格は記事末)。
「Ministral 3B」と「Ministral 8B」という2つのモデルで構成する。100億パラメータ未満のカテゴリにおいて、知識、常識推論、関数呼び出し、効率性の面で「新たな基準を打ち立てた」としている。
どちらのモデルも最大128kのコンテキスト長をサポートし、Ministral 8Bは、より高速でメモリ効率の高い推論のための特別なインターリーブスライディングウィンドウアテンションパターンを備える。
ユースケースとしては、デバイス上での翻訳、インターネットに接続しないスマートアシスタント、ローカル分析、自律型ロボット工学などが考えられる。「Les Ministrauxは、こうしたシナリオに計算効率が高く、レイテンシの低いソリューションを提供するために構築された」という。
Mistral AIのクラウドプラットフォームLa Platformeでの利用料金は、Ministral 8Bは、出力/入力トークン100万個当たり10セント、Ministral 3Bは、出力/入力トークン100万個当たり4セント。
セルフデプロイでの使用については、Mistral AIに連絡して商用ライセンスを取得する必要がある。