前言：人工智能机器学习与算法的内容有关。人工智能机器学习主要分为三类：1）分类； 2）回归； 3）聚类。今天，我们将重点介绍ID3算法。亨特，马林和斯通于1966年开发了概念学习系统CLS，该系统可以学习单个概念并使用学到的概念对新示例进行分类。悉尼大学的约翰·罗斯·昆兰（John Ross Quinlan）于1983年开发了ID3算法。ID3算法是一种决策树，它基于Occam剃刀的原理，即以最少的工作做更多的事情。 ID3算法基于信息论，以信息熵和信息增益为度量标准，实现了数据的归纳和分类。 ID3算法的概念：ID3（IteraTIve Dichotomiser 3），即迭代二叉树3代，该算法是贪婪算法，用于构造决策树[请参与人工智能（23）]。 ID3算法起源于概念学习系统（CLS），并使用信息熵的下降速度作为选择测试属性的标准，也就是说，在每个节点上，信息增益最高的属性尚未用于选择除法作为除法准则，然后继续执行此过程，直到生成的决策树可以完美地对训练示例进行分类。 ID3算法核心：ID3算法核心是“信息熵”。 ID3算法计算每个属性的信息增益，并认为具有较高信息增益的属性是良好的属性。每次选择具有最高信息增益的属性作为分区标准时，都会重复此过程，直到生成可以对训练示例进行完美分类的决策树。 ID3算法的本质：在信息论中，期望信息越小，信息增益越大，纯度越高。 ID3算法的本质是通过信息增益来度量属性的选择，并选择分裂后信息增益最大的属性进行分裂。该算法使用自上而下的贪婪搜索遍历可能的决策空间。在划分决策树的每个非叶节点之前，首先计算每个属性带来的信息增益，然后选择要划分的最大信息增益的属性，因为信息增益越大，区分样本的能力越强，并且代表性越好，显然这是一个自上而下的贪婪策略。 ID3算法步骤：计算每个属性的信息增益，并找到最大的一个作为根节点。1）先验熵：没有收到其他属性时的平均不确定性； 2）后验熵：关于接收到输出符号Vj时的信息。 3）条件熵：期望输出符号集V的后熵，以及接收所有符号后源的不确定性； 4）信息增益：先验熵与条件熵之差，是接收器获得的信息量； 5）对其余属性重复上述步骤。 ID3算法计算每个属性的信息增益，并选择增益最高的属性作为给定集合的测试属性。为选定的测试属性创建一个节点，将其标记为该节点的属性，然后为该属性的每个值创建一个分支以相应地划分样本。具体的算法过程如下：ID3的优点：1）。算法结构简单； 2）算法清晰易懂； 3）非常灵活和方便； 4）没有没有解决之道的危险； 5）可以使用所有训练示例的统计性质进行决策，以抵制噪音。 ID3的缺点：1）＆nbsp; ＆nbsp;处理大数据速度很慢，并且内存通常不足； 2）无法处理连续数据，并且只能通过离散化将连续数据转换为离散数据； 3） ＆nbsp;不并行，不处理数值数据； 4）仅适用于非增量数据集，不适用于增量数据集，它可能会收敛于局部最优解而不是全局最优解优秀解，最佳分离属性易于选择具有更多属性值的属性; 5）如果未修剪决策树，则可能会出现过度拟合的问题。注意：ID3（并行）和ID3（数字）解决了缺点3）中的两个问题。 ID3应用场景：决策树ID3算法是一种非常实用且有价值的示例学习算法。它的基本理论很明确，算法是