---
title: "科学の力を借りてコーディングエージェントを改善する"
date: 2026-01-21
lastmod: 2026-01-21
description: "Go製フレームワークTenkaiとウェルチのt検定、フィッシャーの正確確率検定、スピアマン相関などの統計的検定を用いて、AIコーディングエージェントの設定を客観的に評価・比較する方法を解説。"
categories: ["Agentic Coding"]
tags: ["agents","ai","gemini-cli","golang","mcp","testing","vibe-coding"]
proficiencyLevel: "Intermediate"
dependencies: ["Go 1.24+","Gemini CLI","Tenkai Framework"]
language: "ja"
translations:
  - lang: "en"
    url: https://danicat.dev/posts/improving-agentic-coding-with-science/
    markdown_url: https://danicat.dev/posts/improving-agentic-coding-with-science/index.md
  - lang: "pt-BR"
    url: https://danicat.dev/pt-br/posts/improving-agentic-coding-with-science/
    markdown_url: https://danicat.dev/pt-br/posts/improving-agentic-coding-with-science/index.md
url: https://danicat.dev/ja/posts/improving-agentic-coding-with-science/
---

# 科学の力を借りてコーディングエージェントを改善する

> For the complete documentation index, see [llms.txt](https://danicat.dev/ja/llms.txt) or the full site corpus at [llms-full.txt](https://danicat.dev/ja/llms-full.txt).

- **URL**: https://danicat.dev/ja/posts/improving-agentic-coding-with-science/
- **Markdown URL**: https://danicat.dev/ja/posts/improving-agentic-coding-with-science/index.md
- **Author**: ダニエラ・ペトルザレク
- **Date**: 2026-01-21
- **Categories**: Agentic Coding
- **Tags**: agents, ai, gemini-cli, golang, mcp, testing, vibe-coding
- **Translations**: [English (en)](https://danicat.dev/posts/improving-agentic-coding-with-science/index.md) ([HTML](https://danicat.dev/posts/improving-agentic-coding-with-science/)), [Português (pt-BR)](https://danicat.dev/pt-br/posts/improving-agentic-coding-with-science/index.md) ([HTML](https://danicat.dev/pt-br/posts/improving-agentic-coding-with-science/))
- **Summary**: Go製フレームワークTenkaiとウェルチのt検定、フィッシャーの正確確率検定、スピアマン相関などの統計的検定を用いて、AIコーディングエージェントの設定を客観的に評価・比較する方法を解説。

---
ソフトウェア開発における[決定論から非決定論への移行](https://newsletter.pragmaticengineer.com/p/martin-fowler)は、現在私たちが業界全体として直面している最大の課題の一つです。

誰しも経験があるのではないでしょうか。AIエージェントと作業していて、「システムプロンプトにこれを追加したらどうなるだろう？」とか「この新しいMCPツールへのアクセスを与えてみたらどうだろう？」と思いつきます。

変更を加えて一度実行してみると、動いた。大成功です！自分は天才だと感じて、同僚やフォロワー、おばあちゃん、果ては飼い猫にまでシェアします。ところが1時間後、まったく同じタスクでもう一度実行してみると、無残にも大失敗するのです。その変更は本当に良かったのでしょうか？それとも最初の実行でたまたま運が良かっただけなのでしょうか？「今回はやり方を間違えたのかもしれない……」——再起動（オフにしてオンに）して、もう一度試してみると今度は動いた……本当にそうでしょうか？

実際のところ、LLMの仕組みそのものに内在するランダム性があるだけでなく、こうした結果をもたらす多くの交絡因子（confounding factors）が存在しています。

私たちはあまりにも長い間、決定論的な世界に生きてきた（本当にそうだったでしょうか？）ため、私たちソフトウェアエンジニアはこのレベルの不確実性に対処する心構えができていません。最初から教えられてきた通り、コンピューティングは[精密科学（exact science）](https://ja.wikipedia.org/wiki/%E7%B2%BE%E5%AF%86%E7%A7%91%E5%AD%A6)であり、厳密なものだと期待してしまうのです。

## バイブス vs. 科学

私は[規律あるバイブコーディング](https://danicat.dev/ja/posts/taming-vibe-coding/)についてよく話しています。言い換えれば、高品質な結果を得るためには、バイブコーディングに手法（メソドロジー）を取り入れることが不可欠だということです。これは新しい問題ではありません。私たちは何十年もの間ソフトウェアの品質問題と向き合ってきましたが、参入障壁が下がり、コード生成のスピードが劇的に上がったことで、この問題がまったく新しい桁違いの規模へと引き上げられました。

人間のチームがより良い成果を出せるように考案された昔ながらの手法が、AIエージェント相手でも非常によく機能することを「発見」するたび、私はいつも驚かされます。でも実際、誰にとっても驚くことではないはずです。結局のところ、人間だって本質的に非決定論的な存在なのですから。AIは、すでによく知られたパターンを増幅しているに過ぎません。

それらの原則に基づいてかなりまともなワークフローを考案することはできましたが、「これが絶対に正しいやり方だ」と言い切れるレベルの確信には決して至りませんでした。それは、時折発生する失敗やリグレッション（予期せぬ劣化）が私の自信を削ぐからです。「この `GEMINI.md` は本当にGo開発者にとって究極のプロンプトなのだろうか？」「このタスクに対して最善のシステムプロンプトを実現できたのか？」「私のMCPツールは考えうる最高のAPIなのだろうか？」——毎日あまりにも多くの疑問に圧倒され、昨年公開したコンテンツのほとんどについては、断定的な表現を避け、すべてを**ケーススタディ**（「『これ』を試したら、『あれ』が起きた。以上」）として位置づけてきました。科学文献において、ケーススタディは[最もエビデンスレベルが低い](https://ja.wikipedia.org/wiki/%E6%A0%B9%E6%8B%A0%E3%81%AB%E5%9F%BA%E3%81%A5%E3%81%8F%E5%8C%BB%E7%99%82)ものの一つです。

技術ブログで見かける典型的な議論ではないことはよく分かっています。ここで少し寄り道をして、私の「過去の人生（前世）」についてお話しさせてください。ソフトウェアエンジニアのキャリアに落ち着く前、私は医学部に通っていました（卒業はしていませんが、その話はまた別の機会に）。医学や生物学の分野では、未知の起源を持つシステムから「真実」を抽出する必要があるため（基本的に世界をリバースエンジニアリングしているわけです。なんて面白いんでしょう！）、研究者たちは実験や、バイアス、ノイズ、ランダム性への対処にはるかに慣れています。研究データをそのまま提示するだけでは不十分で、潜在的な交絡や偏りを取り除くために統計的に検証しなければなりません。サンプルサイズ、アルファ、p値、Studentのt検定……学生時代にテストや実験で扱っていた頃はこれらの用語が大嫌いでしたが、今日これほど役立つことになるとは夢にも思っていませんでした。

もちろん、これは生物学に限った話ではありません。エンジニアリングでも研究の際に統計的手法を適用することはよくありますが、私たちの分野では他の分野ほど広く普及していないように感じます。例えば、私がレコメンデーションシステムに携わっていた頃、機械学習アルゴリズムを最適化するためにA/Bテストは欠かせない業務でした。UXリサーチャーも、どのインターフェースが優れているかを判断するために広範なA/Bテストを実施しています。

コーディングエージェントの実験からあて推量を排除する方法を見つけたいと考えた私は、データを収集して統計分析を行う実験フレームワークを構築するのが最善だと気づきました。これによって、「なんとなく動いている気がする」から「（95%の信頼水準で）確実に機能していると**分かっている**」という境地へと前進できるようになったのです。

## Tenkaiのご紹介：エージェント実験フレームワーク

この課題を解決するために、私は **Tenkai**（日本語の「展開」に由来し、アニメ好きのためのささやかなイースターエッグでもあります）を構築しました。これは、コーディングエージェントのさまざまな設定や構成を統計的な厳密さをもって評価・検証するために設計された Go 製フレームワークです。

![Tenkaiの実験ビュー](image-3.png "実験実行中のTenkaiインターフェース")

これをAIエージェントのための実験室（ラボ）だと考えてみてください。プロンプトを一度だけ実行して神頼みする代わりに、Tenkai を使えば同じタスクを何度も繰り返し実行し（サンプルサイズとなる N 回の反復）、複数の選択肢（異なる設定のバリエーション）を統計的検定を用いて相互に比較する実験を行えます。

例えば、Alternative A をデフォルトの設定（実験の「対照群 / コントロール」）、Alternative B を試してみたい新しいシステムプロンプトだとしましょう。実験では両方を N 回ずつ実行し、B の方が統計的に有意に高速か、高効率か、あるいは高精度かを示すレポートを出力します。その差異が単なる偶然やノイズによるものである場合、フレームワークは有意とは判定しないため、結果を安心して無視できます。

### 仕組み

Tenkaiのワークフローは次の通りです。

1.  **シナリオを定義する：** シナリオは標準化されたコーディングタスクです（例：「このGoパッケージのバグを修正する」「新しいReactコンポーネントを実装する」）。これには「コンパイルできるか？」「テストに合格するか？」といった検証ルールが含まれます。シナリオが成功したと見なされるには、指定したすべての検証基準に合格する必要があります。

![シナリオのリストビュー](image-2.png "シナリオはコーディングタスクです。実験に1つ以上のシナリオを追加でき、すべて同じ基準で検証されます")

2.  **テンプレートを作成する：** 何をテストしたいかを定義します。例えば、「Alternative A（コントロール）」をGemini 2.5 Flashモデルとし、「Alternative B」をMCPサーバーを設定したGemini 2.5 Flashとすることができます。同じ実験テンプレート内に最大10個の選択肢を設定でき、それらはすべてコントロールと比較されます。

![代替案エディタ](image-1.png "代替案エディタでは、エージェントコマンド、コマンドライン引数（flags）、システムプロンプト、GEMINI.md、settings.jsonをオーバーライドできます")

3.  **実験を実行する：** Tenkaiは各選択肢に対して各シナリオを複数回実行します。実行は一時的なワークスペースに隔離され、タイムアウトが管理され、ツール呼び出しからシェル出力に至るまですべてのイベントが記録されます。また、並行度（concurrency）を指定してタスクを並列実行できるため、結果を長時間待たずに済みます。

### 統計的厳密さ（科学のアプローチ）

現在フレームワークに組み込まれている統計的検定は以下の通りです。

*   **ウェルチのt検定（Welch's t-test）**：実行時間、トークン消費量、リンターの問題数などの連続指標に使用します。標準のt検定ではなくウェルチのt検定を採用しているのは、グループ間の等分散性を前提としないためです。これは、パフォーマンスプロファイルが大きく異なる可能性のあるモデル同士を比較する際に不可欠です。
*   **フィッシャーの正確確率検定（Fisher's Exact Test）**：成功率の比較に使用します。10回や20回といった少数のサンプルサイズで作業する場合、標準的なカイ二乗検定は不正確になる可能性があります。フィッシャーの検定は、80%の成功率が60%よりも本当に優れているのか、それとも単なる幸運の連続なのかを判断するための信頼できるp値を与えてくれます。
*   **マン・ホイットニーのU検定（Mann-Whitney U Test）**：ノンパラメトリック検定の主力ツールです。成功した実行と失敗した実行の間で、ツール呼び出しの「分布」を比較するために使用します。ツール呼び出し回数は正規分布に従わない（ゼロが非常に多い！）ため、マン・ホイットニーのU検定は、特定のツールが「勝利した（成功した）」実行において有意に多く使用されているかどうかを特定するのに役立ちます。
*   **スピアマンの順位相関係数（Spearman's Rho）**：「成功の決定要因」を特定するために使用します。特定のツール呼び出しと、実行時間やトークン消費量などの指標との間の相関を計算することで、Tenkaiは新しいMCPツールが真に**成功要因（Success Driver）**となっているのか、それともコストを膨らませるだけの邪魔者なのかを教えてくれます。

## リアルタイムのインサイトとダッシュボード

実験の進行中、エージェントの思考プロセスをリアルタイムに観察し、どのツールを呼び出しているかを確認し、どこでスタックしているかを特定できます。これは、数十の同時並行実行を通じてエージェントの「頭の中を覗き込む」ことができるような体験です。

ダッシュボードの最も強力な機能の一つは、3つの異なる「レンズ」を使用して、分析をその場でフィルタリングできることです。

*   **すべての実行（All Runs）：** 生の真実。すべての壊滅的なタイムアウトやシステムエラーを含みます。これは、システム全体の**信頼性（reliability）**を測る主要な指標です。
*   **完了のみ（Completed Only）：** 終端状態（成功または検証失敗）に達した実行のみをフィルタリングします。外部のタイムアウトによるノイズを取り除き、リンターの問題や実行時間などの**品質（quality）**指標を分析する場合に使用します。
*   **成功のみ（Successful Only）：** 「ゴールドスタンダード」ビュー。成功した実行だけを見ることで、なぜ成功できたのかを推論し始めることができます。ここでは、成功と強い相関を持つツールを特定するために、**スピアマンの順位相関係数（Spearman's Rho）**と**マン・ホイットニーのU検定**のp値を算出します。

## 自身の実験から得られた初期結果

私は Tenkai を使用して、[godoctor](https://github.com/danicat/godoctor) を理想的な Go 専用 MCP サーバーへと磨き上げてきました。私の仮説は、モデルに特化したツールを提供することで、コーディングタスクの遂行がより効果的になるというものです。例えば、モデルがクライアントライブラリの API を把握するためにいつドキュメントを読み込むかをモデル自身に判断させるのではなく、モデルが `go get` を呼び出すたびにドキュメントを自動返却することで、ドキュメントを「強制的に」読み込ませています。これにより、API のハルシネーション（幻覚）や、モデルが間違ったバージョンのパッケージを取得したと思い込んで `go get` と `go mod` の間で格闘し続ける「依存関係の地獄ループ」を大幅に防ぐことができました。

初期の結果では、モデルのバージョンを最新世代に固定すると、この差が縮まることも示されています——Gemini CLI はデフォルトで「auto」モードで起動し、Gemini 2.5 と Gemini 3（Flash および Pro バージョンの両方）のどちらを呼び出すかを自動的に判断します。バージョンを Gemini 3 Pro（モデルID `gemini-3-pro-preview`）に固定すると、モデルははるかに賢くなり、そうした競合シナリオにおいて（コマンドラインで `go doc` を起動するなどして）自らドキュメントを調達することが多くなり、godoctor のツールセットの影響力は相対的に小さくなります。

![デフォルト設定と、godoctor（コアツールあり・なし）の2つの設定を比較した実験サマリーテーブル](image.png "godoctorをコアツールと並行して有効にしても大きな影響はなく、トークンを浪費する可能性もありましたが（p < 0.1）、コアツールを無効にしてgodoctorの使用を強制した後は、タスクの平均所要時間が30%以上短縮されました（p < 0.01）")

また、ツールの定着・採択（Tool Adoption）に関しても多くの課題がありました。モデルはデフォルトで、トレーニングで使用された組み込みツールを好んで使用する強い傾向があります。「より賢い」ツールを提供しても、モデルは慣れ親しんだコンフォートゾーンから抜け出すのに苦労します。私はこれに関して多くの実験設計で失敗を重ねましたが、最終的に私の実験プロセス自体に根本的な欠陥があったことに気づきました。**ツールの採択（adoption）**と**ツールの有効性（efficacy）**は直交する概念です。同じ実験で両方を同時にテストしようとしたため、有効な結果が得られなかったのです。そこで、モデルの組み込みツールへのアクセスを遮断し、ツールの有効性のみをテストするように方向転換しました。これにより、godoctor ツールの真の実力（良し悪し）について、ようやく確かなシグナルが得られ始めました。

godoctor がどのように形作られてきたか、そして現在の API にどのようにたどり着いたかに興味がある方は、[2月1日の FOSDEM](https://fosdem.org/2026/schedule/event/3BD3Z9-making_of_godoctor_an_mcp_server_for_go_development/) で登壇してお話しします。もちろん、参加できない方もご安心ください。今後数週間かけて、ブログでもさらに詳しく書いていく予定です。

## まとめ

私たちはソフトウェア開発における転換点（ティッピングポイント）に立っています。1行1行すべてのコードを人間が書く世界から、インテリジェンスを**オーケストレーション**する世界へと移行しつつあるのです。

しかし、オーケストレーションには測定が不可欠です。測定できないものを改善することはできません。コードの書き手からインテリジェンスのオーケストレーターへの移行は、仕事が減ることを意味するのではなく、**異なる種類の仕事**をするようになることを意味します。私たちの主たる責務は、もはやシンタックス（構文）だけではなく、**コンテキスト、ツール、そしてガードレール**なのです。

加えた変更の影響を厳密に測定しなければ、それはエンジニアリングではなく、単なるギャンブルに過ぎません。コーディングエージェントに対してエビデンスに基づくアプローチを取ることで、単に「動いたときにカッコいい」だけでなく、ビジネスの基盤として信頼できるシステムをようやく構築できるようになるのです。

コードを確認したり、ご自身で実験を実行してみたい方は、[GitHub 上の Tenkai リポジトリ](https://github.com/danicat/tenkai)をご覧ください。

実験を楽しみましょう！ o/

Dani =^.^=
