[ニュース解説]AIは「Pythonを嫌い、PHPを愛する」?——JetBrainsが12モデルに1,200回聞いたプログラミング言語の本音

目次

はじめに

 JetBrainsは2026年11月、12のAIモデルにプログラミング言語について「最も物議を醸す意見」を合計1,200回尋ねた実験結果を公開しました。モデルごとに独自の意見はあるのか、それとも皆同じ意見に寄るのか。本稿では、その結果と読み取れることを整理します。

参考記事

関連記事

あわせて読みたい
[開発者向け]AIがTypeScriptを首位に押し上げた——Octoverse 2025が示す「言語選択の変化」 はじめに  GitHubが2026年2月19日に公開した分析記事で、AIツールの普及が開発者の技術選択に与える影響が詳しく報告されました。Octoverse 2025のデータをもとに、AI...
あわせて読みたい
[開発者向け]Anthropic、政治的バイアス評価手法を公開:Claude Sonnet 4.5は94%の中立性スコアを記録 はじめに  Anthropicが2025年11月13日、AI言語モデルの政治的バイアスを測定する新しい評価手法「Paired Prompts」を公開しました。本稿では、この評価手法の詳細と、C...
あわせて読みたい
[AIツール利用者向け] ChatGPTに政治的バイアスはあるのか?OpenAIが評価手法と最新結果を公開 はじめに  OpenAIが2025年10月9日、ChatGPTの政治的バイアスに関する評価手法と最新の調査結果を公式ブログで発表しました。本稿では、この発表内容をもとに、ChatGPT...

要点

  • JetBrainsは、10社・3か国の最新モデル12種に、プログラミング言語についての「物議を醸す意見(ホットテイク)」を各100回、計1,200回尋ねた。費用は回答収集だけで7.68ドルだった
  • 「ランダムに言語を1つ選んで」と頼んでも、600回の回答で挙がったのは14言語だけで、GoとPythonの2つで307回を占めた
  • 回答の75%(904件)は特定の言語への批判で、批判はPython・Rust・TypeScriptに集中した。一方、PHPとJavaは擁護される側だった
  • C#、Kotlin、Swiftなどは一度も意見の対象にならず、本当の意味で意見が割れたのはGoのエラー処理だけだった
  • JetBrainsは、複数のモデルに聞けば多様な視点が得られると期待しないほうがよく、「同じ意見が違うフォントで出てくるだけ」だと結論づけている

詳細解説

実験の狙いと方法

 JetBrainsが確かめたかったのは、モデルに「辛口でいい」と許可したとき、自分なりの意見を持つのか、それとも皆が同じ意見をつかむのか、という点です。開発者は言語をめぐる議論を好むため、意見の材料には事欠かないはずだという考えです。JetBrainsはこれまでもAIモデルの評価を発信しており、Claude Fable 5の実務評価なども公開していました。

 対象は、10社・3か国の最新モデル12種です。

開発元モデル拠点
OpenAIGPT-6.1 Sol、GPT-6.1 Terra、GPT-6 Astra米国
AnthropicClaude Opus 5.5米国
GoogleGemini 4 Argon米国
xAIGrok 4.7米国
MetaMuse Spark Open米国
DeepSeekDeepSeek V4 Pro中国
AlibabaQwen3.8 2.4T A95B中国
Moonshot AIKimi K3.1 Pro中国
Z.aiGLM 5.3中国
Mistral AIMistral Large 4フランス

 各モデルには、次の2つの質問をそれぞれ50回ずつ、毎回新しい会話で、システムプロンプトなしで投げています。

  1. 「プログラミング言語をランダムに1つ選んでください。その言語についてのあなたの最も物議を醸す意見は何ですか」
  2. 「プログラミング言語についてのあなたの最も物議を醸す意見は何ですか」

 どちらの質問でも、意見は1文、理由は2〜3文、全体で50〜90語にするよう求めました。1,200件すべての回答が返ってきており、収集費用は7.68ドル、1件あたり約0.66セントでした。

「ランダム」に選んでも、ほとんどGoかPython

 「ランダムに選んで」という600回の回答で、挙がった言語はわずか14種類でした。上位5言語で541回(90%)を占め、GoとPythonだけで307回に達しています。

言語選ばれた回数割合
Go15626.0%
Python15125.2%
Rust9415.7%
JavaScript8313.8%
Java579.5%
PHP254.2%
その他8言語(C++、TypeScript、Lua、C、Haskell、Ruby、Lisp、Perl)345.7%

 モデルごとにも「お気に入り」がありました。Gemini 4 Argonは50回中35回でPythonを、DeepSeek V4 Proは31回でRustを、GPT-6.1 Solは30回でGoを選んでいます。最もばらつきの大きかったKimi K3.1 Proでも、最多のPythonが15回でした。GPT-6.1 SolとGemini 4 Argonは、3つの言語からしか選んでいなかったとのことです。

ランダムではなく「標的」を選んでいる

 JetBrainsは、モデルが言語を選ぶのは「ランダム」ではなく「攻撃対象」を選んでいるのだと指摘しています。Gemini 4 ArgonはPythonを35回選び、35回とも批判しました。DeepSeekはRustを31回選んで31回批判し、Grok 4.7はJavaScriptについて44件書いたうち38件が批判でした。

 全体では、1,200件中904件(75%)が批判で、擁護は291件にとどまりました。対象言語別の主な結果は次のとおりです(両方の質問の合計)。

対象件数批判擁護
Python31229912
Go238118118
Rust1671643
TypeScript1381371
JavaScript1067629
Java901080
プログラミング言語全般78735
PHP28028

 批判の上位3言語(Python、Rust、TypeScript)だけで、904件の批判のうち600件を占めています。

批判される側——Python、Rust、TypeScript

 原文が紹介した主な傾向は次のとおりです。

  • Python: 312件中299件が批判だった。12モデルすべてが少なくとも1回は批判し、10モデルは100回の回答で一度も擁護しなかった。例外はGLM 5.3(擁護9件・批判8件)とGrok 4.7(擁護3件)で、GLM 5.3の擁護には「GIL(グローバルインタプリタロック)は言語史上最高の設計判断だった」というものもあった。Gemini 4 Argonはインデントで構文を表す仕様に11回不満を述べた
  • Rust: 167件中164件が批判だった。実験全体で最も多くのモデルに共有された意見は「所有権モデルは、通常のアプリケーションコードでは得られる価値以上のコストがかかる」というもので、10社中9社のモデルから78件寄せられた。この意見を出さなかったのはAnthropicだけだった
  • TypeScript: 138件中137件が批判で、10件超の言語の中で最も一貫して批判された。「型安全のコストが見合わない」(57件)と「型安全は見せかけで、実行時の誤った安心感を生む」(24件)の両方向から批判されている。ランダムに選ばれたのは600回中7回だけだったが、自由な質問では131回批判の対象になった

愛される側——PHP、Java、古い言語

 一方で、擁護される言語もありました。

  • PHP: 28件すべてが擁護だった。Claude Opus 5.5とKimi K3.1 Proがそれぞれ11件書いており、多くは「リクエストごとにすべてを破棄するPHPのモデルは、常駐型のNode.jsやPythonのサーバーより優れている」という主張だった
  • Java: 90件中80件が擁護で、多くは検査例外(checked exceptions)を擁護するものだった(67件)。Claude Opus 5.5は7回の回答を同じ一文で始め、GLM 5.3もまったく同じ一文をさらに3回書いていた。「2つの開発元、一字一句同じ一文」と原文は記している
  • その他の古い言語: SQLは5件中5件、Lispは3件中3件(すべてDeepSeek)、Perlは1件中1件(Claude Opus 5.5)が擁護だった。Claude Opus 5.5はLuaを4回選び、その都度1始まりの配列インデックスを擁護した

 JetBrainsは、モデルの「不人気な称賛」は予測しやすく、かつて馬鹿にされた古い言語を選んで「実は正しかった」と説明するパターンだとまとめています。

C#について意見を持つモデルはいない

 1,200件の意見のうち、C#を対象にしたものは1件もありませんでした。Kotlin、Swift、Scala、Dart、Elixir、Zig、Julia、R、OCaml、F#も同様です。C#は24回、Kotlinは20回、Swiftは13回、回答の中に名前は出てきましたが、いずれも比較の引き合いとしてで、意見の対象ではなかったとしています。原文は「C#で生計を立てているなら、12のAIモデルはあなたについて物議を醸すことを何も言わない」と結んでいます。

本当に意見が割れたのはGoのエラー処理だけ

 Goは238件で、批判118件・擁護118件・混在2件と、ちょうど引き分けでした。争点の多くは、Goの if err != nil によるエラー処理です。94件が明示的なエラー処理を擁護し、65件が批判しました。批判の理由は次の5つに分かれています。

  • 定型コードがロジックを埋もれさせる(29件)
  • Goは例外を採用すべきだった(17件)
  • エラーを無視しやすすぎる(8件)
  • Rustの ? 演算子を取り入れるべきだ(6件)
  • 本当の失敗がノイズに埋もれる(5件)

 最も強く擁護したのはClaude Opus 5.5で、擁護40件・批判0件でした。反対に、GPT-6 Astraは批判25件・擁護4件です。「much-mocked(さんざん馬鹿にされてきた)」という表現は1,200件中38件に現れ、そのうち32件はClaude Opus 5.5が書いたものでした。

 興味深いのはGPT-6.1 Solで、同じ質問に新しい会話で答えるたびに、Goのエラー処理を20回擁護し、21回批判しました。原文は「Solが本当はどう思っているのか、コインを投げてみてほしい」と皮肉っています。

自分と議論するモデル、口癖のあるモデル

 自分自身と矛盾する例は、ほかにもありました。Mistral Large 4はJavaScriptの == 演算子を10回の回答で「破滅的な欠陥」と呼び、別の4回では擁護しています。GPT-6.1 SolとGPT-6 AstraはJavaの検査例外について、Solが擁護13回・批判5回、Astraが擁護17回・批判4回でした。

 モデルごとの「口癖」も数えられています。

  • Qwen3.8 2.4T A95B: 100回中43回で「net negative(差し引きマイナス)」を使い、「overrated(過大評価)」も18回使った
  • Claude Opus 5.5: 100回中86回で太字を使った。他のモデルで太字を使ったのはGLM 5.3(13回)とDeepSeek V4 Pro(1回)だけだった
  • Muse Spark Open: 28回の回答を「Hot take(辛口の意見)」で書き始めた
  • Grok 4.7: 「JavaScriptはバックエンドの言語になるべきではなかった」という同じ主張を16回繰り返した
  • DeepSeek V4 Pro: 自由な質問の50回中45回で、プログラミング言語全般について、気難しい歴史家のような口調で語った

 12モデル全体では、54件の回答が同じモデルの以前の回答と一字一句同じ書き出しを再利用していました。語彙の幅も狭く、「overrated」は39件に出てくる一方、「underrated(過小評価)」は2件だけ、「boilerplate(定型コード)」は153件に登場したとのことです。

推論量とコストの差

 回答前の推論量にも大きな差がありました。Mistral Large 4は約69語の回答のために中央値で3,063トークンを推論に使い、回答に約32秒かかりました。一方、GPT-6.1 Solは108トークン、第三者のホスティング経由で使ったDeepSeek V4 Proは中央値0トークンで、3.5秒で回答しています。100件分の費用も、最も安いDeepSeek V4 Proが0.03ドル、最も高いGPT-6 Astraが1.27ドルと、40倍以上の開きがありました。

結論——「違うフォントで同じ意見」

 JetBrainsは、モデル同士の意見の違いは「少しだけ」だとまとめています。違うのはGoのエラー処理と、時々起きる自分自身との矛盾くらいで、残りは「ひとつの長いグループチャット」のようだとしています。共有された意見としては、Pythonは最初の言語に向かない(8社から35件)、Rustの借用チェッカーは通常のアプリには見合わない(9社)、TypeScriptは負担、PHPとJavaは実は問題なかった、などが挙げられています。10社すべてに共通した議論の型は「すでにある、より単純な方法があれば、追加の安全機構は不要だ」というものでした。

 そのうえで、「異なるモデルに聞いて新しい視点を得ようとしても、多様性はあまり期待できない。違うフォントで同じ意見が出てくるだけで、Claudeからは太字が付いてくる」と締めくくっています。

方法の注意点

 JetBrainsは、実験方法と限界についても説明しています。

  • すべての回答は、システムプロンプトなし・各社の既定設定・1回限りのAPI呼び出しで得た。1,200件のリクエストは順番を入れ替えて実行し、気に入らない回答の再試行は行っていない
  • 回答の分類は、Claude Opus 5.5とGPT-6.1 Solがモデル名を伏せた状態でそれぞれ行い、意見が分かれたものはGemini 4 Argonが判定した。対象言語の判定は99%、具体的な主張の判定は94%で一致した
  • 分類役の2モデルは実験の対象でもあるため、モデル名を伏せている。主要なグループについての人手による確認は今後の課題としている
  • 「ランダム」は指示として与えたもので、検証可能な抽出方法ではない。1モデル・1質問あたり50件のため、強い傾向は分かるが、小さな差は判別できない
  • DeepSeekとQwenは各社のAPIではなく、第三者のホスティング(DeepInfraとTogether)経由で実行した
  • 分類を含む総費用は38.16ドルだった

 本稿としては、軽い読み物の体裁をとりながら、AIの出力の同質性という実務的な問題を具体的な数字で示した点に価値があると受け止めています。設計のレビューや技術選定でAIに「別の視点」を求める場面は多いと思いますが、複数のモデルに聞いても似た意見が返ってくる可能性があるという前提は、知っておいて損はないと思います。また、モデルが「ランダム」に選べず、同じ質問でも回答ごとに立場が揺れるという結果は、AIの意見を「そのモデルの考え」として受け取りすぎないことの大切さも教えてくれます。

まとめ

 JetBrainsの実験では、12のAIモデルの「物議を醸す意見」はPython・Rust・TypeScriptへの批判とPHP・Javaの擁護に集中し、多様性は限られていました。AIに別の視点を求めるときの注意点を示す結果です。AIの出力の多様性については、ChatGPTのアイデア多様性に関する研究を紹介した記事もあわせてご覧ください。

この記事が気に入ったら
フォローしてね!

  • URLをコピーしました!
  • URLをコピーしました!
目次