はじめに
Anthropicが2026年1月30日、AIアシスタンスがソフトウェア開発者のスキル習得に与える影響を検証した研究論文を公開しました。AIツールが開発現場で急速に普及する中、生産性向上とスキル開発のトレードオフについて、ランダム化比較試験による実証データが示されています。本稿では、この研究の内容と実務上の示唆について解説します。
参考記事
- タイトル: How AI assistance impacts the formation of coding skills
- 著者: Judy Hanwen Shen, Alex Tamkin
- 発行元: Anthropic
- 発行日: 2026年1月30日
- URL: https://www.anthropic.com/research/AI-assistance-coding-skills
・本稿中の画像に関しては特に明示がない場合、引用元記事より引用しております。
・記載されている情報は、投稿日までに確認された内容となります。正確な情報に関しては、各種公式HPを参照するようお願い致します。
・内容に関してはあくまで執筆者の認識であり、誤っている場合があります。引用元記事を確認するようお願い致します。
要点
- AIアシスタンスを使用したグループは、手書きコーディンググループと比較してクイズスコアが17%低く、約2段階分の成績差が生じた
- 完了時間は約2分短縮されたが、統計的有意差には達しなかった
- AIの使い方によって学習効果に大きな差があり、コード生成だけでなく理解構築に活用した参加者ほど高いスコアを示した
- 低スコアパターンは「AI委任」「段階的AI依存」「反復的AIデバッグ」の3種類に分類され、平均スコアは40%未満だった
- 高スコアパターンは「生成後理解」「ハイブリッドコード説明」「概念的探求」の3種類で、平均65%以上のスコアを記録した
詳細解説
研究の背景と目的
Anthropicによれば、過去の研究ではAIがタスクを80%高速化できることが示されています。一方で、AIアシスタンスの使用により人々の仕事への関与が減少し、思考をAIに委ねる「認知的オフロード」が発生することも報告されています。
本研究では、この認知的オフロードがスキル習得を妨げる可能性について、ソフトウェア開発者を対象としたランダム化比較試験を実施しました。コーディングは、AIツールが急速に標準化している分野です。自動化が進み作業が高速化する一方で、エラーの検出、出力の指導、そして高リスク環境でのAI監督には人間のスキルが依然として必要とされます。この研究は、生産性向上とスキル開発のバランスという、業界全体が直面する課題に焦点を当てています。
実験デザイン
研究チームは、週に1回以上Pythonを使用している52名の(主にジュニア)ソフトウェアエンジニアを募集しました。参加者は全員、AIコーディング支援にある程度慣れており、実験で使用するPythonライブラリ「Trio」には不慣れな状態でした。
実験は3つのパートで構成されています。ウォームアップ、Trioを使用した2つの機能のコーディングタスク、そしてクイズです。参加者には事前にクイズがあることを伝えましたが、可能な限り迅速に作業するよう促しました。
コーディングタスクは、セルフガイド型チュートリアルを通じて新しいツールを学ぶ状況を模倣するように設計されています。各参加者には、問題説明、スターターコード、問題解決に必要なTrioの概念の簡単な説明が提供されました。オンラインコーディングプラットフォームには、サイドバーにAIアシスタントが配置され、参加者のコードにアクセスし、求められればいつでも正しいコードを生成できる仕組みでした。
非同期プログラミングは、実務環境で習得することが多いスキルの一つです。このような専門的なライブラリの学習プロセスを通じて、AIがスキル形成に与える影響を検証する設計となっています。
評価方法
Anthropicは、コンピュータサイエンス教育の研究に基づき、コーディングスキルの習熟度を評価するために一般的に使用される4種類の質問を特定しました。
デバッグは、コード内のエラーを特定し診断する能力です。このスキルは、AI生成コードが不正確な場合にそれを検出し、なぜ失敗するのかを理解するために重要とされています。
コードリーディングは、コードが何をするかを読み理解する能力です。このスキルにより、人間はデプロイ前にAI作成コードを理解し検証できます。
コードライティングは、コードを書く、または正しいアプローチを選択する能力です。関数の構文を記憶するような低レベルのコードライティングは、AIコーディングツールのさらなる統合により、ライブラリの意図された使用方法に準拠した適切なソフトウェア設計パターンを評価する能力ほど重要ではなくなると考えられます。
概念的理解は、ツールやライブラリの背後にある中核原則を理解する能力です。概念的理解は、AI生成コードが適切なソフトウェア設計パターンを使用し、ライブラリの意図された使用方法に準拠しているかを評価するために重要です。
評価は、デバッグ、コードリーディング、概念的問題に最も重点を置いています。これらは、ますますAIによって生成される可能性が高いコードの監督を提供するために最も重要と考えられるためです。
実験結果
Anthropicの報告によれば、AIグループの参加者は平均して約2分速く完了しましたが、この差は統計的に有意ではありませんでした。一方、テストスコアには有意な差が見られました。AIグループの平均スコアは50%で、手書きコーディンググループの67%と比較して、約2段階分の成績差(Cohen’s d=0.738, p=0.01)が生じています。
2つのグループ間で最も大きなスコア差が見られたのはデバッグ問題でした。この結果は、コードが不正確である場合やなぜ失敗するのかを理解する能力が、AIがコーディング開発を妨げる場合に特に懸念される領域である可能性を示唆しています。
AIインタラクションパターンの定性分析
研究チームは、参加者がどのようにタスクを完了したかを理解することに特に関心を持ちました。定性分析では、画面録画を手動で注釈付けし、クエリの作成に費やした時間、質問の種類、発生したエラーの種類、アクティブなコーディングに費やした時間を特定しました。
驚くべき結果の1つは、参加者がAIアシスタントとのインタラクションに多くの時間を費やしたことです。複数の参加者が最大11分(割り当てられた総時間の30%)を費やし、最大15件のクエリを作成しました。これにより、AIを使用した参加者が平均して速く完了した一方で、生産性向上が統計的に有意ではなかった理由が説明されます。反復的または慣れたタスクで使用する場合、AIは生産性を大幅に向上させる可能性が高いと考えられます。
当然ながら、AIなしグループの参加者はより多くのエラーに遭遇しました。これには構文エラーとTrioの概念に関するエラーが含まれ、後者は評価でテストされたトピックに直接対応していました。より多くのTrioエラーに遭遇した参加者(すなわちコントロールグループ)は、これらのエラーを独立して解決することでデバッグスキルを向上させた可能性があります。
研究チームは、参加者をAIとのインタラクション方法によってグループ化し、完了時間と学習において異なる結果につながる明確なパターンを特定しました。
低スコアインタラクションパターン:
低スコアパターンは一般的に、コード生成またはデバッグを通じたAIへの大きな依存を伴いました。このグループの平均クイズスコアは40%未満でした。独立した思考が少なく、認知的オフロードが多い傾向が見られました。
AI委任(4名):このグループの参加者は、コードの作成とタスクの完了を完全にAIに依存しました。最も速くタスクを完了し、プロセス中にエラーがほとんどまたは全くありませんでした。
段階的AI依存(4名):このグループの参加者は、1〜2つの質問から始めましたが、最終的にはすべてのコード作成をAIアシスタントに委任しました。2番目のタスクの概念をまったく習得しなかったため、クイズで低いスコアを記録しました。
反復的AIデバッグ(4名):このグループの参加者は、コードのデバッグまたは検証をAIに依存しました。より多くの質問をしましたが、自分の理解を明確にするためではなく、問題を解決するためにアシスタントに依存しました。その結果、スコアが低く、2つのタスクの完了も遅くなりました。
高スコアインタラクションパターン:
高スコアクイズパターンは、平均クイズスコアが65%以上の行動と見なされました。これらのクラスターの参加者は、コード生成と概念的クエリの両方にAIを使用しました。
生成後理解(2名):このグループの参加者は、まずコードを生成し、次に手動でコピーまたは貼り付けて作業に組み込みました。コードが生成された後、理解を深めるためにAIアシスタントにフォローアップの質問をしました。これらの参加者はAIを使用しても特に速くはありませんでしたが、クイズでより高いレベルの理解を示しました。興味深いことに、このアプローチはAI委任グループのものとほぼ同じに見えましたが、自分の理解を確認するためにAIを使用した点が異なります。
ハイブリッドコード説明(3名):このグループの参加者は、生成されたコードの説明とともにコード生成を求めるハイブリッドクエリを作成しました。求めた説明を読んで理解するのに時間がかかりましたが、理解に役立ちました。
概念的探求(7名):このグループの参加者は概念的な質問のみをし、向上した理解に依存してタスクを完了しました。このグループは多くのエラーに遭遇しましたが、独立してそれらを解決しました。平均して、このモードは高スコアパターンの中で最も速く、全体では(AI委任に次いで)2番目に速いものでした。
この定性分析は、インタラクションパターンと学習結果の因果関係を示すものではありませんが、異なる学習結果に関連する行動を指摘しています。
研究の示唆と今後の課題
Anthropicの研究結果は、特にソフトウェアエンジニアリングに関して、AIを職場に積極的に組み込むことにはトレードオフが伴うことを示唆しています。すべてのAI依存が同じではなく、効率を追求しながらAIとインタラクションする方法が学習量に影響を与えることが明らかになりました。
時間的制約と組織的プレッシャーを考えると、ジュニア開発者や他の専門家は、スキル開発を犠牲にして可能な限り速くタスクを完了するためにAIに依存する可能性があります。特に、何か問題が発生した際にデバッグする能力の低下が懸念されます。
予備的な結果ではありますが、企業がAI作成コードと人間作成コードの比率を高める移行期において、重要な考慮事項を示唆しています。ジュニアエンジニアのスキル開発がAI使用によって阻害されている場合、AI作成コードを検証するために必要なスキルを犠牲にして生産性の利点が得られる可能性があります。
マネージャーは、AIツールを大規模に展開する方法について意図的に考え、エンジニアが仕事をしながら学び続けることを保証するシステムまたは意図的な設計選択を検討する必要があります。これにより、構築するシステムに対して意味のある監督を行使できるようになります。
ソフトウェアエンジニアリングや他の業界の初心者労働者にとって、この研究はAIツールを使用した意図的なスキル開発の価値に関する小さな証拠と見なすことができます。習熟を促進するには、認知的努力、そして時には苦労して行き詰まることさえも重要である可能性が高いと考えられます。これは、個人がAIとどのように働くか、どのツールを使用するかを選択する際にも当てはまる教訓です。
主要なLLMサービスは、理解を促進するように設計された学習モード(Claude Code LearningおよびExplanatoryモード、ChatGPT Study Modeなど)も提供しています。AIを使用するときに人々がどのように学習するかを知ることは、設計方法の指針にもなります。AIアシスタンスは、人間がより効率的に働き、同時に新しいスキルを開発できるようにする必要があります。
過去の研究では、AIがコーディング生産性を助けるか妨げるかについて、さまざまな結果が示されています。Anthropic自身の研究では、AIが一部の作業タスクを完了するのにかかる時間を80%削減できることがわかりました。この結果は、ここで提示された知見と矛盾しているように見えるかもしれません。しかし、2つの研究は異なる質問を問い、異なる方法を使用しています。以前の観察的研究は、参加者がすでに関連するスキルを持っているタスクでの生産性を測定しましたが、この研究は人々が何か新しいことを学んでいるときに何が起こるかを検証しています。AIは、十分に開発されたスキルでの生産性を加速すると同時に、新しいスキルの習得を妨げる可能性がありますが、この関係を理解するにはさらなる研究が必要です。
この研究は、人間とAIの協働が労働者の経験にどのように影響するかを明らかにするための最初のステップに過ぎません。サンプルサイズは比較的小さく、評価はコーディングタスクの直後に理解度を測定しました。即時のクイズパフォーマンスが長期的なスキル開発を予測するかどうかは、この研究では解決されていない重要な問題です。
今後の研究で調査することが期待される未解決の質問は多数あります。例えば、コーディング以外のタスクに対するAIの影響、エンジニアがより高い流暢性を開発するにつれてこの効果が長期的に消散するかどうか、学習中のAIアシスタンスが人間のアシスタンスとどう異なるかなどです。
最終的に、AIの存在下でのスキル開発に対応するには、労働者に対するAIの影響についてより広範な見方が必要です。AI拡張された職場では、生産性の向上は重要ですが、それらの向上が依存する専門知識の長期的な開発も同様に重要と言えます。
まとめ
Anthropicの研究は、AIアシスタンスが開発者のスキル習得に与える影響を実証的に示しました。生産性向上とスキル開発のバランス、そしてAIの使い方による学習効果の違いは、今後のAIツール設計や組織のAI導入方針を考える上で重要な視点と思います。特に、概念的理解を深めるためのAI活用方法については、さらなる検証と実践的なガイドライン整備が期待されます。
