ディープラーニングが登場して、AIの性能が一気に進歩した。ディープラーニングの要素技術である、ニューラルネットワークは随分前からあったが、計算量の問題で多層的な学習レイヤーや大量の学習データを準備することができなかった。
しかしながら、単純に学習レイヤーを増やすだけで爆発的に性能が向上し文字の認識率で断トツの性能を記録し、人間を超えるまでになった。
信じられないことに、囲碁や将棋でも人間に勝利しているが、進化したAlphaGoのアルゴリズムは非常にシンプルである一方、自分自身と大量の試合をすることで性能を向上させ、囲碁棋士に勝利するまでになった。
にわかに信じられないが、「量が質をうわまわった」と思う。随分先にあると思っていた、シンギュラリティはすぐそこまで来ている。
参考記事と超要約。
- 特にChatGPTを筆頭とする近年のAIの急速な進化と、それがよく理解されていない。以前は、データを増やすことで徐々に精度が向上していきましたが、近年はある程度の計算量、データ量に達すると急激に精度が向上する。
- この現象は他でも観察されており、物理学でいう相転移（ある量に達した後に挙動が急変する現象）と似ている。
以下、Togettorで紹介された記事と超々要約。
- 言語処理タスクにおける言語モデルのスケールアップがパフォーマンスに与える影響について研究。言語モデルの大規模化は、多くの場合、性能とサンプル効率の向上につながるが、性能が予測通りに向上しない場合もあることを見つけている。
- 小さなモデルには存在しないが大きなモデルには現れる能力を「出現能力」と定義し、多段階の算数、大学レベルの試験、単語の意図する意味の特定などのプロンプトタスクにおけるその能力の例を示している。また、思考連鎖プロンプトのような言語モデルの能力を向上させる創発的プロンプト戦略についても議論している。これらの能力の存在は、言語モデルの能力の全容が不明であることや、さらなるスケーリングにより新たな能力が出現する可能性があることから、NLPの研究と応用に示唆を与えている。
- 因果関係や構造を理解するために読む本と、楽しみながら感動を味わうために読む本にはギャップがあると言う。
- AlphaGoの成功の驚きは、AIは囲碁棋士に勝てないと信じられていたのに、プログラムが計算量を10倍に増やすことで囲碁棋士に勝てるようになったことにあります。
- AIが次々と人間を超える根本的な原因は、「たった10倍の大きさ」にある。
- 量を増やすとなぜ質的な差が出るのかを理論的に説明したフィリップ・アンダーソンの論文がある。
- この考え方がビジネスにどう当てはまるかについても「10倍の差があれば、ビジネスの勝ち方が変わってくる」と語った。
以上
