ferferfer是山东的方言意思:表达疼痛的拟声词。全句是“嘶哈嘶哈,哦ferferfer”。出自2023年春晚沈腾和马丽的小品。
FER 指 Fuyeor Language(FER,复玥语)语言。在血检中指 Ferritin(铁蛋白)的缩写。在通信领域指误帧率 Frame Erasure Rate 的缩写。
Fuyeor Language(FER,复玥语)是一门语言;它可用很少单词创造使用新的词汇。简称为 FER。复玥语拥有良好的支持。FER 可使你更好地表达自如。她可用很少单词( FER 具有自造词的能力,且别人仍可轻易看懂)即可创造并使用词汇;FER 是一种轻松,简明,以及表达自如的实验语。
递归特征消除(Recursive feature elimination)
递归特征消除的主要思想是反复构建模型,然后选出最好的(或者最差的)特征(根据系数来选),把选出来的特征放到一边,然后在剩余的特征上重复这个过程,直到遍历了所有的特征。在这个过程中被消除的次序就是特征的排序。
RFE的稳定性很大程度上取决于迭代时,底层用的哪种模型。比如RFE采用的是普通的回归(LR),没有经过正则化的回归是不稳定的,那么RFE就是不稳定的。假如采用的是Lasso/Ridge,正则化的回归是稳定的,那么RFE就是稳定的。
from sklearn.feature_selection import RFE
from sklearn.feature_selection import RFECV
from sklearn.linear_model import LinearRegression,Ridge,Lasso
from pandas import read_csv
import numpy as np
from scipy.stats import pearsonr
from sklearn.model_selection import StratifiedKFold
from sklearn.ensemble import RandomForestClassifier
import csv
tps = read_csv('E:\workfile\data\trade\tps.csv', header=0)
label = np.array(tps)[:, 0]
feature = np.array(tps)[:, 1:]
def RFErfe():
看一下RFE的输入参数:
estimator:估计函数,底层的回归模型。一个监督学习的估计函数,有fit方法,fit方法,通过 coef_ 属性或者 feature_importances_ 属性来提供feature重要性的信息。
n_features_to_select : int or None (default=None)选择(最优)feature的数量,超出的部分按照关联性排序。如果选择 None , 就选择一半的feature。
step:int or float, 可选(default=1)如果大于等于1,step对应于迭代过程中每次移除的属性的数量(integer)。如果是(0.0,1.0),就对应于每次移除的特征的比例,四舍五入。
可以调用的属性:
n_features_ : int所选特征的数量。
这是n_features_to_select=2时候的运行结果,可以看出来,两个部分的属性应该是最好的,超过的部分按照属性相关的强弱一次排序。
support_ : array of shape [n_features],[n_features]大小的array,所选特征的一种模糊的表示,可以看出来,打印结果就是true和false,最优的是true,别的是false。
ranking_ : array of shape [n_features],[n_features]大小的array,特征的排序,比如 ranking_[i] 表示的就是第i个特征的排名位置。估计最佳的属性被排为1.
tps = read_csv('E:\workfile\data\trade\tps.csv', header=0)
label = np.array(tps)[:, 0]
feature = np.array(tps)[:, 1:]
这是运行结果。
按照惯例跟进去看一下源码。
传入参数:
estimator:和上面的一样。
step:和上面的一样。
cv:int,交叉验证的生成器或者迭代器。可选。
cv可选择的输入为:
-None,使用默认的3折交叉验证。
-integer,指定交叉验证的折数。
-一个object用作交叉验证的生成器。
-一种迭代的训练/测试集的分割。
对于None或者integer的输入。如果“y”是二分类或者多分类,就要用
class: sklearn.model_selection.StratifiedKFold
如果估计函数是一个分类器,或者“y”不是二分类也不是多分类,就要用
class: sklearn.model_selection.KFold
这里可以使用多种交叉验证的方法。
我这里使用的是回归的数据,因此可以知道使用的是KFold。
跟进去看一下KFold的源码。
n_splits : int, default=3,交叉验证的折数,默认3,最少是2。
shuffle : boolean, optional,可选。是否在分割成若干批次之前对数据进行洗牌。
random_state : int, RandomState 实例,或者None, optional, 可选default=None默认None。
如果是int, random_state是随机数生成器的种子。(指定一个,不指定的话每次结果都会不一样)
如果是RandomState 实例, random_state是随机数生成器。
如果是None,随机数是通过 RandomState 实例 np.random 生成的。此时 shuffle == True.
scoring : string, callable(可调用的) or None, optional,可选的 default: None,默认:None,评分标准。一个string型(参考model evaluation documentation模型评估文档)或者一个可以调用的评分object/function
with signature scorer(estimator, X, y) .
可调用的属性:
n_features_ : int,通过交叉验证得到的特征选择的数量。
support_:和上面一样。
ranking_:和上面一样。
grid_scores_:array of shape [n_subsets_of_features],交叉验证的分数,比如 grid_scores_[i] 第i个特征子集的CV分数。 grid_scores_ is equal to ceil((n_features - 1) / step) + 1,
estimator_ :和上面一样。