探索的データ解析（たんさくてきデータかいせき、、EDA）とは、データセットを解析してその主な特徴を要約する、統計学における手法であり、しばしばやその他のデータ可視化手法を使用する。統計モデルは使っても使わなくてもよいが、EDAは主に形式的なモデル化を超えてデータが何を語ってくれるかを見るためのもので、それによって従来の仮説検定と対比される。探索的データ解析は、1970年以降、ジョン・テューキーによって推進されており、統計学者に対して、データを探索し新しいデータ収集や実験につながるような仮説を立てることを奨励している。EDAは初期データ解析（IDA）とは異なるもので、IDAは、モデル適合や仮説検定に必要な前提条件を確認したり、欠損値の処理や、必要に応じて変数を変換を行うことに焦点を絞っている。EDAにはIDAが含まれる。
概要 テューキーは1961年にデータ解析の定義を、『データを分析するための手順、その手順による結果を解釈する技術、分析をより容易に、正確または精密にするためのデータ収集の計画方法、そしてデータ分析に適用される（数理）統計学のすべての手続きと結果である。』と説明したJohn Tukey-The Future of Data Analysis-July 1961。
EDAに対するテューキーの擁護は、特にベル研究所のS言語のような、の開発を後押しした。プログラミング言語Sは、後に、S-PLUSやRシステムに影響を与えた。この一連の統計計算環境は、大幅に改善された動的な可視化機能を備えており、統計学者は、さらに研究する価値のあるデータの異常値、傾向、パターンを識別することができた。
テューキーのEDAは、における他の2つの発展、すなわちとノンパラメトリック統計学に関連しており、これらはいずれも統計モデルの定式化の誤りに対する統計的推測の感度を低減させるものであった。テューキーは、数値データについて、（2つの極値（最大と最小）、中央値、および四分位値）の使用を推進した。なぜなら、中央値と四分位値はであり、平均値と標準偏差とは異なり、すべての分布に対して定義され、さらに、四分位値と中央値は従来の要約（平均値と標準偏差）よりも、歪んだ分布や裾の重い分布に対してよりロバスト（堅牢）だからである。S、S-PLUS、Rの各パッケージには、モーリス・クヌーイュとテューキーのや、のブートストラップ法など、ノンパラメトリックで（多くの問題に対して）頑健な、リサンプリング統計を用いたルーチンが含まれている。
探索的データ解析、ロバスト統計、ノンパラメトリック統計、および統計プログラミング言語の開発により、統計学者による科学的および工学的な問題への取り組みが容易になった。このような問題には、ベル研究所に関係する半導体の製造と通信ネットワークの理解が含まれている。これらの統計学の発展はすべてテューキーが唱えたもので、統計的仮説検定に関する解析理論、特に指数型分布族に対するラプラシアン強調を補完するように設計された。
展開 右|サムネイル|350x350ピクセル|データサイエンスプロセスのフローチャート 1977年、ジョン・W・テューキーは Exploratory Data Analysis（探索的データ解析）という本を著した。テューキーは、統計学においては統計的仮説検定（確証的データ解析）が重視されすぎており、データを用いて検定すべき仮説を示唆することにもっと重点を置くべきと主張した。特に彼は、2つの種類の分析を混同して同じデータセットに適用すると、をする際に内在する問題により、系統的バイアスにつながる可能性があると考えた。
EDAの目的は次のとおりである。
データから予期しない発見を可能にする。 観察された現象の原因に関する仮説を提案する。 統計的推測の基礎となる仮定を評価する。 適切な統計ツールや技術の選択を支援する。 や実験を通じて、さらなるデータ収集の基礎を提供するBehrens-Principles and Procedures of Exploratory Data Analysis-American Psychological Association-1997。
多くのEDA技術はデータマイニングに取り入れられている。それらはまた、統計的思考を導入する方法として、若い学生にも教えられている。
技術とツール EDAに有効なツールは多数あるが、EDAの特徴は特定の技術よりもその姿勢に見られる。
EDAで使われる代表的なはつぎのとおりである。
箱ひげ図 ヒストグラム
（実行流れ図） パレート図 散布図（2D／3D） 幹葉図
オッズ比
ヒートマップ 棒グラフ 値変遷グラフ（ホライゾングラフ） PhenoPlot、などのグリフベースの可視化手法。 グランドツアー、ガイドツアー、マニュアルツアーなどの投影手法。 これらのプロットの対話型バージョン
次元削減：
多次元尺度法 主成分分析（PCA）
（NLDR）
代表的な定量的手法：
歴史 EDAのアイデアの多くは、以前の著者にさかのぼることができる。たとえば：
フランシス・ゴルトンは順序統計量と分位数を力説した。 は、ステムプロットとの前身を使用した（ボウリーは実際には、中央値とともに、極値、十分位、四分位を含む「」を使用していたElementary Manual of Statistics (3rd edn., 1920)https://archive.org/details/cu31924013702968/page/n5。彼は「最大値と最小値、中央値、四分位、2つの十分位」を「七位置」として定義した）。 はの原理を明確にした（同名の彼の本を参照）。
オープン大学の講座「Statistics in Society（社会における統計学）」（MDST 242）では、上記の考え方を取り入れ、の研究と統合し、コイン投げやによる統計的推論を導入した。
事例 EDAから得られる知見は、主要な分析課題と（統計学的に）関係しない。説明のために、Cookらの例で考えてみよう。この分析課題は、食事会のパーティーがウェイターに渡すチップ額を最もよく予測する変数を見つけることであるCook, D. and Swayne, D.F. (with A. Buja, D. Temple Lang, H. Hofmann, H. Wickham, M. Lawrence) (2007) ″Interactive and Dynamic Graphics for Data Analysis: With R and GGobi″ Springer, 978-0387717616。この課題のために収集されたデータで利用可能な変数は、チップ額、合計請求額、支払い者の性別、喫煙／禁煙席、時間帯、曜日、食事会の規模である。主要な分析課題は、チップ率を応答変数とする回帰モデルの適合によって取り組まれる。その適合モデルは、
(チップ率) = 0.18 - 0.01 × (パーティーの規模)
であり、食事会の人数が1人増える（請求額が高くなる）と、チップ率は平均で1%減少することを表す。
ただし、このデータを調べてみると、このモデルで説明できない別の興味深い特徴があることが明らかになる。
この実験は、こうした他の傾向を調査するように設計されたわけではないが、プロットから学べることは回帰モデルで示されるものとは異なっている。データを探索することによって発見されたパターンは、事前に予想されていなかったかもしれないチップに関する仮説を示唆している。それは、仮説を正式に述べ、新しいデータを収集することによって検証される、興味深い追跡実験につながる可能性がある。
EDAの思想の中核にある「まず可視化せよ」を具体的に説明できる事例としてアンスコムの例（Anscombe's quartet）がある。EDAでは、記述統計量のみに基づく判断は避け、散布図などによる可視化を必ず行うべきである。その教育的事例として、フランク・アンスコムが1973年に示した4組のデータセット「アンスコムの例」がある。本例では、平均・分散・相関係数・回帰直線などが一致していても、散布図の形状が大きく異なることが視覚的に確認できる。このことは、統計解析における可視化の重要性を強調するものである。
ソフトウェア
- SAS InstituteのEDAパッケージ。 - Eclipseをベースとしたオープンソースのデータ探索プラットフォーム。 Minitab - 産業や企業で広く使われているEDAおよび一般的な統計パッケージ。 Orange - オープンソースのデータマイニングおよび機械学習ソフトウェアスイート。 Python - データマイニングや機械学習で広く利用されているオープンソースのプログラミング言語。 R - 統計計算およびグラフィックスのためのオープンソースのプログラミング言語。Pythonとともに、データサイエンスで最も人気のある言語の1つ。 - 小学校高学年から中学生向けのEDAソフトウェア。 Weka - などの可視化およびEDAツールを含むオープンソースのデータマイニングパッケージ Visplore - 大規模な時系列データのためのEDAソフトウェア
参照項目
アンスコムの例 - 探索の大切さを示す - 統計的に有意な結果を得た結果だけを報告する、データ分析の悪用 予測的分析 - 現在および過去の事実をもとに、将来または未知の出来事について予測する分析手法 - 与えられたデータに適合する構造を探索し、比較、予測、操作などに用いる分析手法 - 偶然に予想されるよりも著しく多い、または少ないパターンを検出し、構造に関する洞察を得る分析手法 記述統計量 - 標本の分布の特徴を定量的に記述し要約する統計学的な値 データおよび情報の可視化 - 視覚化解析手法
脚注
参考書目
Andrienko, N & Andrienko, G (2005) Exploratory Analysis of Spatial and Temporal Data. A Systematic Approach. Springer.
Leinhardt, G., Leinhardt, S., Exploratory Data Analysis: New Tools for the Analysis of Empirical Data, Review of Research in Education, Vol. 8, 1980 (1980), pp. 85–157.
Theus, M., Urbanek, S. (2008), Interactive Graphics for Data Analysis: Principles and Examples, CRC Press, Boca Raton, FL,
Young, F. W. Valero-Mora, P. and Friendly M. (2006) Visual Statistics: Seeing your data with Dynamic Interactive Graphics. Wiley Jambu M. (1991) Exploratory and Multivariate Data Analysis. Academic Press S. H. C. DuToit, A. G. W. Steyn, R. H. Stumpf (1986) Graphical Exploratory Data Analysis. Springer
外部リンク
Carnegie Mellon University – free online course on Probability and Statistics, with a module on EDA Exploratory data analysis chapter: engineering statistics handbook