一个后继分支对应于该属性的一个可能值。分类实例的方法是从这棵树的根结点开始,测试这个结点指定的属性,然麻按照给定实例的该属性值对应的数值向下移动。然后这个过程在以新结点为根的子树上重复。决策树学习最适合具有一下特征的问题:(1)?实例是由“属性•值”对表示的;(2)?冃标函数具冇离散的输出值;(3)?nJ*能需要析収的描述;(4)?训练数据可以包含错误;(5)?训练数据町以包含缺少属性值的实例。最佳分类属性:信息增益:用来衡量给定的属性区分训练样例的能力ID3算法在增长树的每一步使川信息增益从候选属性中选择属性用爛度量样例的均一性:炳刻画了任意样例集的纯度属性选择度量标准一一分支指标:信息增益:用信息增益度量期望的嫡降低增益比率:基尼指数:5-6简述贝叶斯学习方法,有哪些特性?朴素贝叶斯分类器基于的假定是什么?请结合例子说明之。贝叶斯推理提供了一种概率手段,基于如下的假定:待考察的量遵循某概率分布,且可根据这些概率及已观察到的数据进行推理,以作出最优的决策;贝叶斯推理为衡量多个假设的置信度提供了定量的方法;贝叶斯推理为胃接操作概率的学习算法提供了基础,也为其他算法的分析提供了理论框架。贝叶斯学习方法的特性:(1)观察到的每个训练样例可以增量地降低或升高某假设的估计概率。而其他算法会在某个假设与任一样例不i致时完全去掉该假设;(2)?先验知识可以与观察数据一起决定假设的最终概率,先验知识的形式是:1)每个候选假设的先验概率;2)每个可能假设在可观察数据上的概率分布;(3)?贝叶斯方法可允许假设做出不确定性的预测;(4)?新的实例分类可由多个假设一起做出预测,用它们的概率来加权;(5)?即使在贝叶斯方法计算复杂度较高时,它们仍可作为一个最优的决策标准衡量其他方法。朴素贝叶斯分类器引入一个简单的假定避免数据稀疏问题:在给定目标值时,属性值之间相互条件独立,即P(aA^atl\vj
全文预览
