数据缺失的坑，无监督学习这样帮你补了

比如，上图的肘部在8到12之间。缺点是这种办法须要人的介仁攀来选择肘部，而实际应用上应当主动。但主动选择肘部效不雅并不睬想，是以可以推敲一种新办法。

经由过程交叉验证，获得了一种比较有效但计算成本昂贵的办法。它是怎么工作的呢?起首选择一个分类器，然后对于一系列质心数量，进行无监督插补，并用该分类器进行K-fold交叉验证。最后选择在交叉验证中表示更好的质心数量。

结不雅

在条形图中，用红线标记平均值插补的分数，以便进行比较。

在三种K_Means算法中，通俗型表示优于其他两种。这种算法每次迭代的计算量也最小，是较佳选择。

Wavy hi

诚如之前提到的，这个数据集并没出缺掉数据，所以只能模仿补缺行动。

对将要补缺的数据特点和样本应当谨慎遴选。不仅特别选择了数据特点，并且对是否选择样本设定了概率。如不雅概率为0.5，有50%的机会钙揭捉?本将被丢弃。因为每次弥补缺掉值的样本选择都不合，我们将每三轮不合样本补缺的评分结不雅取均值，最后再对所有结不雅取均值。

数据缺掉的坑，无监督进修如许帮你补了

房产市场数据集：

因为该数据集的数据量过大年夜，如何在有限的内存中完成聚类分析值灯揭捉?究一番。我们放弃了应用全量数据做归类计算的计算，随机采取了合适电脑内存的样本数据量(本次测试我选用了5000笔记录)。

占领率检测数据集：

在原始数据集中应用随机抽样的办法采取样本，也尽量保持了数据的时光构造。样本的数据量越大年夜，反竽暌钩的时光构造越精确。

数据缺掉的坑，无监督进修如许帮你补了

子宫颈癌数据集：

结不雅分析

根据结不雅，在数据分群的基本上选择补缺方法的表示比一般办法要好。

对于占领率检测数据集，表示最优的是GMM_MML分类算法，而对于房产市场数据和宫颈癌数据集，K_Means聚类算法更好。我们并没有对房产市场数据应用GMM_MML算法，因为它包含太独特点，而协方差的计算对于独特点数据比多样本量数据加倍艰苦。

在增长占领率检测数据集的缺掉数据后，整体上可以不雅测到，无监督的补缺办法比均值补缺表示要好。是以，当数据集出缺掉置魅占比较高时，先摸索数据构造再补缺办法反而形成一种优势。

大年夜家会留意到，当应用检测数据集的缺掉数据特点大年夜2个增长到4个，且用于聚类的特点数量削减时，无监督补缺办法比均值补缺表示稍好。这种反常的现象可能是因为特定的数据及谕选择的特点造成的。

基于GMM办法的表示优于K-Means算法，这一现象十分合理，因为K-Means算法是GMM算法在欧式距离计算上的启发式算法。欧式距离能有效测量低维数据，但在高维空间上，其含义开端掉真。如想懂得更多信息，请看这里(https://stats.stackexchange.com/questions/99171/why-is-euclidean-distance-not-a-good-metric-in-high-dimensions/)。GMM算法是基于样本所属概率密度函数的可能性，能更好的衡量高维空间距离。

尽管基于聚类的缺掉值弥补算法没有明显高过其他算法的优胜者，我们照样建议选择基于GMM的算法。

想找到模型混淆的较佳数量，应用交叉验证法会更好。尽管AIC准则和BIC准则须要大年夜量计算，他们可以用于检测模型混淆数量典范围。较佳数量会令准则值达到最小。

枷⒚瓠方差矩阵有很多办法。这里介绍两种最常应用的：

数据缺掉的坑，无监督进修如许帮你补了