生成AIは社会にさまざまな影響をおよぼしています。この影響の背後に連なる技術や要因のつながりをキーワードでふりかえります。

グラフの説明
生成AIの学習につかわれるデータセットのサイズは、ここ数年で大幅に増加しました。

起こったこと
AIをつくる人もおどろいた！
AI研究開発の加速

理由①研究開発への投資過熱
投資へのリターンが、他の技術と比べてもより確実に見通せるため投資が集まった。

理由②スケーリング則の発見
学習データを飛躍的にふやしていった結果、ある条件を満たせばスケーリング則に従って指数関数的に性能が向上することが発見された。

理由③自己教師あり学習（穴埋め問題）の活用
人間が教師データをつくることがボトルネックだったが、ウェブ上の莫大な文章をそのまま利用し、AI自身がその一部を穴あきにして、元の文章を教師データとすることで学習データをどんどんふやすことができた。

理由④炎上リスクの回避
生成AIの出力を多くの人間にとって好ましいものに制御できるようになり、開発企業は、不適切な出力によって非難を受け投資やユーザーが離れてしまうリスクを低減できた。

理由⑤RLHF（人間からのフィードバックによる強化学習）によるしつけ
学習データにふくまれるバイアスが再現されてしまうと、攻撃的であったり偏見をふくんだ文章を出力してしまう。チャットGPTでは、ラベラーとよばれる専門家が教師となり多くの人にとって望ましい回答を学習させた。


起こったこと②
利用者が爆発的に増えた！
臨機応変で自然な受け答え

理由①コンテキスト内学習（文脈における学習）の創発
話題や状況といった文脈に則した返答の方法を、生成AIのモデルをチューニングすることなくユーザーとの対話から学習できるようになった。これは研究者も意図していなかった。

理由②自己注意機構の副産物？
コンテキスト内学習をする多くの生成AIは、トランスフォーマーという深層学習モデルをもとにしている。トランスフォーマーのもつ自己注意機構は、ユーザーの入力や生成しているテキストの文脈に合わせて、モデル自体をチューニングしたときのような挙動の調整を実現していると考えられている。