米Magic、1億トークンモデルの研究開発でAIコードツール市場に存在感示す｜元Google CEOら出資
2024年09月18日 08:00 Techable
Magicは、エリック・スタインバーガー氏とセバスチャン・デ・ロ氏によって2022年に設立されたスタートアップ。現在は製品を開発中の最中にあり、まだ収益はあげていない。GitHub CopilotがリードするAIコードツール市場で、製品化前にもかかわらず投資家の関心をよぶ理由として、Magicは1億トークンの生成AIモデルがもたらす革新性を強調する。
長い文脈に沿った推論の精度向上に期待[caption id="attachment_245331" align="aligncenter" width="800"] Imnage Credit: Magic[/caption]Magicは、はじめての1億トークンモデルとして「LTM-2-mini」を訓練中だ。1億トークンは約1,000万行のコード、または約750冊の小説に相当する。
生成AIの“モデル”とは、生成AIの中核となるLLM（大規模言語モデル）のことだ。LLMにおけるトークンとは、テキストデータを解釈・処理する際の最小単位のことを指す。トークン化（トークナイゼーション）と呼ばれる前処理により、文章は単語、句読点、数字などの要素に分割され、分割された1つ1つの要素がトークンとなる。このLLMが一度に処理できる最大のトークン数のことを、コンテクストウィンドウのサイズという。
いままでの小さいコンテクストウィンドウでは、読み込んだコードの限られた部分からしか推論に使うことができなかった。しかしMagicの“超長”コンテクスト（Ultra-Long Context）のサイズが大きいということは、すべてのコード、ドキュメント、ライブラリのすべてからの推論が可能になるということだ。これにより長い文脈（コンテキスト）に沿った推論の精度の大幅な向上が期待できる。
同社は、事前トレーニングには限界があると指摘。現在主流の方法では生成AIモデルに事前のトレーニングが必須だったが、同社の超長コンテクストによって、事前のトレーニングなしでの推論中の学習が可能になる。同社はこれが次のAIフロンティアだと訴える。
Google CloudとのパートナーシップでNVIDIA GPUサーバーを構築[caption id="attachment_245330" align="aligncenter" width="800"] Imnage Credit: Magic[/caption]MagicはGoogleと提携し、 NVIDIA H100 Tensor Core GPUを搭載したMagic-G4と、NVIDIA GB200 NVL72を搭載したMagic-G5でサーバーCloud上に構築した。またこのサーバーは次世代のBlackwell GPUにスケールする能力を持っている。
Magic共同創業者兼CEOのエリック・スタインバーガー氏は述べる。
私たちはGoogleおよびNVIDIAと提携し、次世代のAIスーパーコンピュータをGoogle Cloud上で構築できることを非常に楽しみにしています。NVIDIAのGB200 NLV72システムは、モデルの推論とトレーニング効率を大幅に向上させることができます。さらにGoogle Cloudは、迅速にスケールできる俊敏性と、豊富なクラウドサービスを提供してくれるのです。
さらにMagicのモデルはMetaのLlama 3.1 405Bと比較して、1億トークンのコンテキストウィンドウにおいて約1,000倍安価だという。
生成AIを稼働させるGPUサーバーのコストが深刻な問題になっている状況において、これは大きな競争優位をもたらす。
参考元：
Magic
プレスリリース
（文・五条むい）
