NVIDIAがNemotron 3.5を拡充。文書を読むSuper VLと、ローカル向けBolt

大規模サーバーと手元のPCで役割を分ける

今回の発表はひとつの巨大なモデルですべてを処理するのではなく、企業のサーバーからローカル機器まで、実行環境に応じたモデルを用意するもの。提供済みのモデルと、これから提供するモデルが混在する点は押さえておきたい。

出典

• NVIDIA公式発表

Super VLはPDFや表、グラフを扱う仕事向け

Super VLは1,200億パラメーターのオープンモデルで、文章だけでなく画像を含む情報を扱う。NVIDIAはWebページやPDFから文字を読み取り、表やグラフを理解する処理を用途として挙げている。

企業が自社のデータを使って追加学習し、自社の基盤で動かすことも想定している。書類を読む処理と、その内容を使って次の作業へ進む処理をつなぐAIエージェント向けの位置づけだ。なお、今回の記事ではNVIDIAが示した速度の比較値を、あらゆる環境で得られる性能としては扱っていない。

Boltは24GB、さらに4GBの構成へ

Bolt 74B-A9B 24GBはNVIDIA RTXやDGX Sparkで日常的なエージェント処理をローカル実行するためのモデル。ネイティブ2bit量子化を採用し、24GBのメモリーに収める設計だと説明している。Web調査、文章作成、コードのデバッグなどが用途に挙がる。

10月23日予定のBolt E4B 4GBは、会話型のアシスタントや組み込みインターフェースなどを想定する。メモリー容量の表記だけで、個々のPCでの動作や速度が保証されるわけではない。導入時は、モデルの利用条件と実行環境をそれぞれ確認する必要がある。