对当前学习任务有价值的属性称为是“相关特征”，没有价值的属性称为是“无关特征”，从给定的特征集中选择出相关特征子集的过程，就称为是“特征选择”。其中还有一种特征称为是“冗余特征”，这些特征指的是可以从其他特征中推演出来的特征。