機種ごとのGPUの違いを吸収する、開発者向けの基盤

ML Driftは、学習済みAIモデルから結果を得る「推論」をGPUで処理するエンジンです。一般利用者が単体で使うAIアプリではなく、アプリや実行環境に組み込む開発者向けの基盤です。

公式リポジトリはOpenCL、OpenGL ES、Metal、WebGPUへの対応を案内しています。GPU内部のメモリを再利用する仕組みや、処理に合わせてGPU用コードを生成する仕組みを備え、映像処理から生成AIまでを対象にしています。

YouTube ShortsとAdobeで採用。数値は特定処理の発表値

Googleによると、YouTube Shortsは被写体などの領域を分ける処理を使った映像効果をML Driftへ移行し、AndroidとiOSで平均フレーム遅延を最大40%削減しました。Adobe LightroomとPhotoshopのモバイル向けAI機能では、被写体や空の選択などで最大30%の高速化を報告しています。

これらは採用先の特定処理についてGoogleが示した値です。全端末やすべてのアプリが同じ割合で速くなることを保証するものではありません。

LiteRT経由とC++単独利用を用意。デスクトップはプレビュー

アプリ開発者はLiteRTのGPUアクセラレータ経由で利用できます。独自のGPU処理や実行環境を作る場合は、ML DriftのC++ APIを直接使う方法もあります。

発表ではAndroid向けの単体LiteRTパッケージは提供済み、Google Play services経由は今後提供予定としています。デスクトップ向けの展開はプレビューとして紹介されており、Windows・LinuxではWebGPU、macOSではMetalを使う構成です。

旧TFLite GPU delegateは新機能追加を終了。移行を案内

Googleは従来のTFLite GPU delegateへの新機能追加を終了し、LiteRTのML Drift GPUアクセラレータへの移行を勧めています。今回の発表は、従来の機能がすぐ利用不能になるという案内ではありません。

導入時は、対象OSやモデルに合ったLiteRTのGPUガイドとリポジトリを確認する必要があります。提供済みのモバイル環境とプレビューのデスクトップ環境を分けて判断したいところです。

出典

この記事をシェア

MEKUNOTEをフォロー

RSSで新着記事を読むBluesky

別のカテゴリから

二つの異なる鍵と歯車で、能力を組み合わせる謎解きを表す生成AIの概念イラストに短縮見出しを重ねたもの

Machinarium 2発表。1人で2体のロボットを切り替えて謎解き

Machinarium 2は2体を切り替えて謎を解く新作で、発売日と価格はまだ未発表です。

手元のPCで動くAIとクラウドの使い分けを表す生成AIによる概念イラスト

Perplexity Portable ComputerがAMD搭載Windows PCへ。ローカル推論はクレジット消費なし

対応Ryzen AI Max PCのPerplexityは、端末内の推論でクラウド側のクレジットを消費しません。

新着記事

MW4のキャンペーン先行10月16日、DMZ先行10月20日、発売10月23日を示す編集部制作の日程図

CoD「MW4」のDMZ先行アクセスは10月20日から。対象はデジタル予約・事前購入者

Modern Warfare 4のDMZ先行アクセスが発表され、予約条件とキャンペーンの日程を確認します。

次の指示案と利用者の確認操作を、無地の紙とキーで表した生成AIの概念イラストに短縮見出しを重ねたもの

Codexが次の指示案を表示。Pro向けベータ、送信前に確認・編集

Codexが次のメッセージ候補を提案し、取り込んだ内容は自分で確認・編集して送信します。