本稿は、GitHub Copilotがソフトウェア開発者の生産性に与える影響を、Microsoft、Accenture、そして匿名のFortune 100エレクトロニクスメーカー企業 (以下、匿名企業) の3社における大規模ランダム化比較試験 (RCT) のデータ分析に基づいて検証した論文「生成AIが高スキル労働に与える影響：ソフトウェア開発者を対象とした3つのフィールド実験からのエビデンス」の内容を解説したものです。
研究の背景
生成AIは経済活動に大きな影響を与えると予測されていますが、実際の生産性への影響については、企業の導入意欲、必要な投資、技術の進化の予測が困難であるため、実証的な評価は難しいのが現状です。しかし、ソフトウェア開発におけるAIコーディング支援ツールのように、既に実用化され、普及が進んでいる生成AIアプリケーションも存在します。
本研究では、GitHubとOpenAIが共同開発したAIコーディング支援ツール「GitHub Copilot」を使用し、生成AIが高スキル労働者に与える影響を、ソフトウェア開発者を例に分析しています。
実験内容
Microsoft、Accenture、匿名企業の3社、合計4,867人のソフトウェア開発者を対象に、GitHub Copilotへのアクセスをランダムに割り当てることで、生産性への影響を検証しました。
- Microsoft: 1,746人の開発者を対象に、7ヶ月間にわたり実施。
- Accenture: 320人の開発者を対象に、4ヶ月間にわたり実施。
- 匿名企業: 3,054人の開発者を対象に、2ヶ月間にわたり段階的に導入。
主な結果
- GitHub Copilotの使用により、開発者の週平均タスク完了数が26.08%増加しました。
- その他、コミット数は13.55%増加、コードコンパイル回数は38.38%増加しました。
- 特に、経験の浅い開発者ほど、導入率と生産性向上が顕著でした。
- Microsoftの実験では、勤続年数が短く、役職が低い開発者ほど、GitHub Copilotによる生産性向上が大きいことが明らかになりました。
考察
- GitHub Copilotは、開発者の生産性向上に貢献する可能性があります。
- 特に、経験の浅い開発者にとって、新しいコーディングスキルを習得するための有効なツールとなる可能性があります。
- 一方、経験豊富な開発者にとっては、効果は限定的である可能性があります。
- AIツールの導入には、トレーニングやサポートなど、適切な戦略が必要であることが示唆されました。
- AI技術の進化を最大限に活用しながら、人間独自の創造性や洞察力を発揮していくことが重要です。
結論
GitHub Copilotは、ソフトウェア開発者の生産性を向上させる可能性を秘めたツールですが、特に経験の浅い開発者への効果が大きいことが示唆されました。AIツールと人間の経験や判断力のバランスをうまくとることが、今後の開発において重要になると考えられます.
（その他、参考）
