第348章 往前(第2页)

数据缺失的原因数据采集过程可能会造成数据缺失；数据通过网络等渠道进行传输时也可能出现数据丢失或出错，从而造成数据缺失；在数据整合过程中也可能引入缺失值删除法删除法通过删除包含缺失值的数据，来得到一个完整的数据子集.数据的删除既可以从样本的角度进行，也可以从特征的角度进校删除特征：当某个特征缺失值较多，且该特征对数据分析的目标影响不大时，可以将该特征删除删除样本：删除存在数据缺失的样本。该方法适合某些样本有多个特征存在缺失值，且存在缺失值的样本占整个数据集样本数量的比例不高的情形缺点：它以减少数据来换取信息的完整，丢失了大量隐藏在这些被删除数据中的信息；在一些实际场景下数据的采集成本高且缺失值无法避免，删除法可能会造成大量的资源浪费均值填补计算该特征中非缺失值的平均值（数值型特征）或众数（非数值型特征），然后使用平均值或众数来代替缺失值缺点一：均值填补法会使得数据过分集中在平均值或众数上，导致特征的方差被低估缺点二：由于完全忽略特征之间的相关性，均值填补法会大大弱化特征之间的相关性随机填补随机填补是在均值填补的基础上加上随机项，通过增加缺失值的随机性来改善缺失值分布过于集中的缺陷。

等距离散化（equal-idthdiscretization）：将数据划分为等宽间隔的区间，这种方法需要先确定区间的个数n，再根据最值和最大值ax计算出每个区间的间隔长度（ax-）\/n，相邻两个区间的宽度都是相同的。等频率离散化（equal-frequencydiscretization）：将数据划分为相同的数量级别，每个区间包含的记录数相等。这种方法首先将数据按照大排序，然后将排序后的数据分成n等份，每份个数为数据总数\/n，在每个区间的边界处划分数据。基于聚类的离散化：将数据分成若干个簇，簇内的数据相似度高，簇间数据相似度低。具体实现时可以使用聚类算法如k-ans、dbs等。自适应离散化：通过迭代的方式，不断根据数据的特性调整区间的边界，以达到最优的离散化效果。自适应离散化为例子，分别列出具体的例题：等距离散化假设我们有一个包含1000个学生身高数据的数据集，我们想将身高离散化成10个等宽的区间，以下是离散化方法：计算身高的最值和最大值，假设最值为140，最大值为200。计算每个区间的宽度，假设共10个区间，每个区间的宽度为(200-140)\/10=6。根据每个学生的身高，将其分入相应的区间。等频率离散化假设我们有一个包含200家公司的财务数据的数据集，我们想将每个公司的营业收入离散化成5个等频率的区间，以下是离散化方法：将所有公司的营业收入升序排序。计算每个区间的数据数量，在本例中，因为共有200个公司，所以每个区间包含40个公司。找到每个区间的边界，比如第一个区间的最值和第二个区间的最大值，这两个值之间的所有公司的营业收入都属于第一个区间。