2009-8 第4問 (2)

決定木の学習では訓練データを何らかの指標に基づいて幾つかの集合に分割し、分割したそれぞれのデータを部分木とする木を作成する。それぞれの部分木に対しても再帰的に分割を行い、最終的な木構造を得る。
良い決定木を得るためには訓練データの分割の指標の定め方が問題となる。この指標の定め方には様々な種類があり、例えばID3やC4.5と呼ばれる手法では情報量(エントロピー)を基に指標を定める。