Author Archive

分类特征是重要的一类特征。分类特征是离散的，非连续的。

本文将针对小型分类和大型分类介绍5种主流的编码方式。以及各自的优缺点。

什么是分类（类别）特征？

分类特征是用来表示分类的，他不像数值类特征是连续的，分类特征是离散的。

比如：

• 性别
• 城市
• 颜色
• IP地址
• 用户的账号ID

有些分类特征也是数值，比如账号ID，IP地址。但是这些数值并不是连续的。

连续的数字是数值类特征，离散的数字是分类特征。

关于连续和离散的解释可以看看这篇文章：《关于连续和离散的理解》

小型分类特征的编码方式

自然数编码/序列编码-Ordinal Encoding

某些分类本来就有一定的排序，这种情况下就可以使用简单的自然数编码。

例如学位：

学士-0

硕士-1

博士-2

独热编码-One-Hot Encoding

对于城市、颜色、品牌、材质…这些特征就不适合用自然数编码，因为这些特征是没有排序关系的。

使用独热编码可以让不同的分类处在「平等的地位」，不会因为数值的大小而对分类造成影响。

例如颜色分类（假设只有3种颜色）：

红色-100

黄色-010

蓝色-001

跟独热编码类似还有「虚拟编码-Dummy Encoding」和「效果编码-Effect Encoding」。

实现方式比较相似，不过有一些略微的差别，并且适用在不同的场景。

感兴趣的可以看看这篇文章：

《虚拟变量和独热编码的区别》

《赋值方法：效应编码》

大型分类特征的编码方式

目标编码-Target Encoding

目标编码是表示分类列的一种非常有效的方法，并且仅占用一个特征空间，也称为均值编码。该列中的每个值都被该类别的平均目标值替代。这可以更直接地表示分类变量和目标变量之间的关系。

目标编码的扩展阅读：《目标编码简介》

散列编码-Hash encoding

散列函数也是大家常听到的哈希函数。散列函数是一个确定性函数，它映射一个潜在的无界整数到有限整数范围[1，m]。

假如有一个分类有1万个值，如果使用独热编码，编码会非常长。而使用了散列编码，不管分类有多少不同的值，都会转换成长度固定的编码。

分箱计数-Bin-Counting

分箱计数的思维有点复杂：他不是用分类变量的值作为特征，而是使用目标变量取这个值的条件概率。

换句话说，我们不对分类变量的值进行编码，而是要计算分类变量值与要预测的目标变量之间的相关统计量。

不同编码的优缺点总结

独热编码-One-Hot Encoding

优点：

1. 容易实现
2. 分类很精确
3. 可用于在线学习

缺点：

1. 计算效率不高
2. 不能适应可增长的类别
3. 只适用于线性模型
4. 对于大数据集，需要大规模的分布式优化

散列编码-Hash encoding

优点：

1. 容易实现
2. 模型训练成本更低
3. 容易适应新类别
4. 容易处理稀有类
5. 可用于在线学习

缺点：

1. 只适合线性模型或核方法
2. 散列后的特征无法解释
3. 精确度难以保证

分箱计数-Bin-Counting

优点：

1. 训练阶段的计算负担最小
2. 可用于基于树的模型
3. 容易适应新的类别
4. 可使用back-off方法或最小计数图处理稀有类
5. 可解释

缺点：

1. 需要历史数据
2. 需要延迟更新，不完全适合在线学习
3. 很可能导致数据泄露

上面内容摘自：《精通特征工程》

总结

分类特征是离散的特征，数值类特征是连续的。

对于小型分类，常用的编码方式有：

1. 自然数编码/序列编码-Ordinal Encoding
2. 独热编码-One-Hot Encoding
3. 虚拟编码-Dummy Encoding
4. 效果编码-Effect Encoding

对于大型分类，常用的编码方式有：

1. 目标编码-Target Encoding
2. 散列编码-Hash encoding
3. 分箱计数-Bin-Counting

相关文章推荐：

《机器学习之类别特征处理》

《特征工程(四): 类别特征》

数值类特征是最常见的一种特征类型，数值可以直接喂给算法。
为了提升效果，我们需要对数值特征做一些处理，本文介绍了4种常见的处理方式：缺失值处理、二值化、分桶、缩放。

什么是数值类特征？

数值类特征就是可以被实际测量的特征。例如：

• 人的身高、体重、三维
• 商品的访问次数、加入购物车次数、最终销量
• 登录用户中有多少新增用户、回访用户

数值类的特征可以直接喂给算法，为什么还要处理？

因为好的数值特征不仅能表示出数据隐藏的中的信息，而且还与模型的假设一致。通过合适的数值变换就可以带来很好的效果提升。

例如线性回归、逻辑回归对于数值的大小很敏感，所以需要进行缩放。

对于数值类特征，我们主要关注2个点：

1. 大小
2. 分布

下面提到的4种处理方式都是围绕大小和分布来优化的。

数值类特征常用的4种处理方式

1. 缺失值处理
2. 二值化
3. 分桶 / 分箱
4. 缩放

缺失值处理

在实际问题中，经常会遇到数据缺失的情况。缺失值对效果会产生较大的影响。所以需要根据实际情况来处理。

对于缺失值常用3种处理方式：

1. 填充缺失值（均值、中位数、模型预测…）
2. 删除带有缺失值的行
3. 直接忽略，将缺失值作为特征的一部分喂给模型进行学习

二值化

这种处理方式通常用在计数的场景，例如：访问量、歌曲的收听次数…

举例：

根据用户的听音乐的数据来预测哪些歌曲更受欢迎。

假设大部分人听歌都很平均，会不停的听新的歌曲，但是有一个用户24小时的不停播放同一首歌曲，并且这个歌曲很偏门，导致这首歌的总收听次数特别高。如果用总收听次数来喂给模型，就会误导模型。这时候就需要使用「二值化」。

同一个用户，把同一首歌听了N遍，只计数1，这样就能找出大家都喜欢的歌曲来推荐。

分桶 / 分箱

拿每个人的收入举例，大部分人的收入都不高，极少数人的收入极其高，分布很不均匀。有些人月收入3000，有些人月收入30万，跨了好几个数量级。

这种特征对于模型很不友好。这种情况就可以使用分桶来处理。分桶就是将数值特征分成不同的区间，将每个区间看做一个整体。

常见的分桶：

1. 年龄分布
2. 商品价格分布
3. 收入分布

常用的分桶方式：

1. 固定数值的分桶（例如年龄分布：0-12岁、13-17岁、18-24岁…）、
2. 分位数分桶（例如淘宝推荐的价格区间：30%用户选择最便宜的价格区间、60%用户选择的中等价格区间、9%的用户选择最贵的价格区间）
3. 使用模型找到最佳分桶

缩放

线性回归、逻辑回归对于数值的大小很敏感、不同特征尺度相差很大的话会严重影响效果。所以需要将不同量级的数值进行归一化。将不同的数量级缩放到同一个静态范围中（例如：0~1，-1~1）。

常用的归一化方式：

1. z分数标准化
2. min-max标准化
3. 行归一化
4. 方差缩放

扩展阅读：

《数据缩放：标准化和归一化》

《106-数据缩放scaling（标准化、归一化）的那些事》