Ben Hamner在最近的一份报告中向我们介绍了他和他的同事在Kaggle竞赛中看到的关于机器学习项目的一些常见误解。在本文中，我们将从本的报告中了解一些常见的误解，它们是什么以及如何避免它们。机器学习的过程在报告之前，Ben向我们展示了解决机器学习问题的一般过程。机器学习过程取自Ben Hamner的“机器学习精灵”。此过程包括以下9个步骤：从行业问题开始，进行源数据细分，数据选择，特征提取训练，模型特征选择，模型选择，生产系统Ben强调此过程，这是一个迭代过程，并且是非线性的。他还谈到了过程中每个步骤可能出错的情况，每个错误都可能使整个机器学习过程难以达到预期的结果。识别猫和狗Ben提出了一个案例研究，即建造一个“自动猫门”。对猫开放，对狗封闭。这是一个启发性的示例，因为它旨在处理数据问题中的一系列关键问题。识别从本·哈默纳（Ben Hamner）的“机器学习精灵”（Machine Learning Elf）中获取的狗和猫。样本量。此示例的第一个卖点是模型学习的准确性与数据样本大小有关，并且显示了更多的样本和更好的准确性。之间的关系。他继续增加训练数据，直到模型的准确性稳定下来。这个例子可以让您很好地了解系统对样本大小和相应调整的敏感程度。错误问题的第二个卖点是该系统出现了故障，并且已被所有猫拒之门外。该示例强调了理解我们需要解决的问题的约束的重要性，而不是专注于要解决的问题。机器学习工程中的误解Ben继续讨论了解决机器学习问题时的4种常见误解。尽管这些问题非常普遍，但他指出，这些问题相对容易识别和解决。过度拟合，摘自Ben Hamner的“机器学习精灵”数据泄漏：利用模型中的生产系统无法访问的数据。此问题在计时问题中特别常见。系统ID之类的数据也可能发生这种情况，它可能表示一个类标签。运行模型并仔细查看有助于系统的功能。彻底检查并考虑是否有意义。过拟合：在训练数据上建模过于精确，并且模型中存在一些噪声点。这时，过度拟合将降低模型的可伸缩性，而对于更高的尺寸和更复杂的类边界，这甚至更糟。数据采用和分段：与数据泄漏相比，您需要非常小心地知道训练，测试和交叉检查数据集是否是真正独立的数据集。对于计时问题，许多想法和工作需要确保可以按时间顺序将数据返回给系统，并且可以验证模型的准确性。数据质量：检查数据的一致性。本给出了航班的起飞和降落位置数据。需要清楚地识别和处理许多不一致，重复和不正确的数据。这些数据将直接损害建模和模型扩展功能。