先週発表されたGoogleの最新の大規模言語モデル（LLM）であるPaLM 2は、2022年の前身と比べてほぼ5倍の量のトレーニングデータを使用し、より高度なプログラミング、数学、コンテンツ作成を可能にします。
Google I/O開発者会議において、検索大手の同社は3.6兆トークンで学習した言語モデル「PaLM 2」を発表しました。これらのトークンは単語のシーケンスであり、LLMに次の単語を予測させる学習に用いられる構成要素です。
PaLM の以前のバージョンは 2022 年にリリースされ、7,800 億トークンが発行されました。
Googleは検索、メール、ワープロ、スプレッドシートにおけるAIの優位性を誇示してきたものの、学習用データセットの規模や詳細を明らかにすることには消極的だった。OpenAIもまた、最新のLLM学習仕様であるGPT-4の詳細を秘密にしてきた。
テクノロジー企業は、その理由を自社の事業における競争の激化にあるとしている。GoogleとOpenAIはどちらも、従来の検索エンジンではなく、チャットボット製品でユーザー獲得を競っている。
コンパクト、パワフル、コスト効率に優れています
Googleによると、PaLM 2は前バージョンよりも小型化されており、前バージョンの5,400億個のパラメータから3,400億個のパラメータで学習されているとのことだ。これは、同社の技術が複雑なタスクをより効率的に実行できるようになっていることを示している。
これを実現するために、PaLM 2 は「拡張コンピューティング最適化」と呼ばれる新しい技術を使用しており、「オーバーヘッドを削減するパラメータを減らして推論を高速化するなど、全体的なパフォーマンスが向上します」。
Googleの最新言語AIモデルは100以上の言語でトレーニングされており、実験的なチャットボット「Bard」を含む25の機能と製品で様々なタスクを実行しています。PaLM 2には、サイズに基づいて、Gecko、Otter、Bison、Unicornの4つのバージョンがあります。
公開されている資料によると、PaLM 2は既存のどのモデルよりも強力です。2月にリリースされたFacebookのLlaMAは、1兆4000億トークンで学習されました。一方、OpenAIはGPT-3のバージョンであるChatGPTの学習データサイズを3000億トークンと最後に公表しました。
AIアプリケーションの爆発的な増加は、この技術をめぐる論争を引き起こしている。今年初め、Googleリサーチのシニアサイエンティストであるエル・マハディ・エル・ムハムディ氏は、検索大手の透明性の欠如に抗議して辞任した。
今週、OpenAIのCEOサム・アルトマン氏も、AIの普及を背景に、米国上院司法委員会のプライバシーとテクノロジーに関する小委員会で証言し、ChatGPTの「父」はAIを管理するために新たな規制が必要であるという議員たちの意見に同意した。
（CNBCによると）
[広告2]
ソース
コメント (0)