Decision Tree

from sklearn.tree import DecisionTreeClassifier from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split import warnings warnings.filterwarnings('ignore') # DecisionTree Classifier 생성 dt_clf = DecisionTreeClassifier(random_state=156) # 붓꽃 데이터를 로딩하고, 학습과 테스트 데이터 세트 분리 iris_data = load_iris() X_train,X_test,y_train,y_test = train_test_split(iris_data.data,iris_data.target,test_size=0.2,random_state=11) # DecisionTreeClassifier 학습 -> 과적합 규제 x dt_clf.fit(X_train,y_train)

from sklearn.tree import export_graphviz # export_graphviz()의 호출 결과로 out_file로 지정된 tree.dot 파일을 생성함 export_graphviz(dt_clf,out_file="tree.dot", class_names=iris_data.target_names,\ feature_names = iris_data.feature_names, impurity=True, filled=True)

import graphviz #위에서 생성된 tree.dot 파일을 Graphviz가 읽어서 주피터 노트북상에서 시각화 with open("tree.dot") as f: dot_graph = f.read() graphviz.Source(dot_graph)

from sklearn.tree import plot_tree plot_tree(dt_clf,class_names=iris_data.target_names,feature_names=iris_data.feature_names,filled=True,rounded=True)

import seaborn as sns import numpy as np %matplotlib inline # feature importance 추출 print("Feature importances:\n{0}".format(np.round(dt_clf.feature_importances_, 3))) # feature별 importance 매핑 for name, value in zip(iris_data.feature_names,dt_clf.feature_importances_): print('{0} : {1:.3f}'.format(name,value)) ''' Feature importances: [0.025 0. 0.555 0.42 ] sepal length (cm) : 0.025 sepal width (cm) : 0.000 petal length (cm) : 0.555 petal width (cm) : 0.420 ''' # feature importance를 column별로 시각화하기 sns.barplot(x=dt_clf.feature_importances_,y=iris_data.feature_names)

from sklearn.datasets import make_classification import matplotlib.pyplot as plt %matplotlib inline plt.title("3 Class values with 2 Features Sample data creation") # 2차원 시각화를 위해서 피처는 2개, 클래스는 3가지 유형의 분류 샘플 데이터 생성 X_features, y_labels = make_classification(n_features=2,n_redundant=0,n_informative=2,/ n_classes=3,n_clusters_per_class=1,random_state=0) # 그래프 형태로 2개의 피처로 2차원 좌표 시각화, 각 클래스 값은 다른 색깔로 표시됨. plt.scatter(X_features[:,0],X_features[:,1],marker='o',c=y_labels, s=25, edgecolor='k')

from sklearn.tree import DecisionTreeClassifier import numpy as np # Classifier의 Decision Boundary를 시각화하는 함수 def visualize_boundary(model,X,y): fig, ax = plt.subplots() # 학습 데이터 scatter plot으로 나타내기 ax.scatter(X[:,0],X[:,1],c=y,s=25,cmap="rainbow",edgecolor="k",clim=(y.min(),y.max()),zorder=3) ax.axis('tight') ax.axis('off') xlim_start, xlim_end = ax.get_xlim() ylim_start, ylim_end = ax.get_ylim() # 호출 파라미터로 들어온 training 데이터로 model 학습 model.fit(X,y) # meshgrid 형태인 모든 좌표값으로 예측 수행 xx, yy = np.meshgrid(np.linspace(xlim_start,xlim_end,num=200),np.linspace(ylim_start,ylim_end,num=200)) Z = model.predict(np.c_[xx.ravel(),yy.ravel()]).reshape(xx.shape) # contourf()를 이용하여 class boundary 를 visualization 수행 n_classes = len(np.unique(y)) # y클래스개수 contours = ax.contourf(xx,yy,Z,alpha=0.3,levels=np.arange(n_classes + 1) - 0.5, cmap="rainbow", clim=(y.min(),y.max()),zorder=1) # 특정한 트리 생성 제약 없는 결정 트리의 학습과 결정 경계 시각화 dt_clf = DecisionTreeClassifier().fit(X_features,y_labels) # 학습한 모델 visualize_boundary(dt_clf,X_features,y_labels)

# min_samples_leaf=6으로 트리 생성 조건을 제약한 결정 경계 시각화 dt_clf = DecisionTreeClassifier(min_samples_leaf=6).fit(X_features,y_labels) visualize_boundary(dt_clf,X_features,y_labels)

import pandas as pd import matplotlib.pyplot as plt %matplotlib inline # feature.txt 파일에는 피처 이름 index와 피처명이 공백으로 분리되어 있음. 이를 데이터프레임으로 로드. feature_name_df = pd.read_csv('human_activity/UCI HAR Dataset/features.txt',sep='\s+',header=None, names=['column_index','column_name']) # 피처명 index를 제거하고, 피처명만 리스트 객체로 생성한 뒤 샘플로 10개만 추출 feature_name = feature_name_df.iloc[:,1].values.tolist() print('전체 피처명에서 10개만 추출:',feature_name[:10]) ''' 전체 피처명에서 10개만 추출: ['tBodyAcc-mean()-X', 'tBodyAcc-mean()-Y', 'tBodyAcc-mean()-Z', 'tBodyAcc-std()-X', 'tBodyAcc-std()-Y', 'tBodyAcc-std()-Z', 'tBodyAcc-mad()-X', 'tBodyAcc-mad()-Y', 'tBodyAcc-mad()-Z', 'tBodyAcc-max()-X'] '''

feature_dup_df = feature_name_df.groupby('column_name').count() print(feature_dup_df[feature_dup_df['column_index'] ''' column_index 42 dtype: int64 '''

feature_dup_df[feature_dup_df['column_index']>1].head() ''' column_index column_name fBodyAcc-bandsEnergy()-1,16 3 fBodyAcc-bandsEnergy()-1,24 3 fBodyAcc-bandsEnergy()-1,8 3 fBodyAcc-bandsEnergy()-17,24 3 fBodyAcc-bandsEnergy()-17,32 3 '''

def get_new_feature_name_df(old_feature_name_df): feature_dup_df = pd.DataFrame(data=old_feature_name_df.groupby('column_name').count(),columns=['dup_cnt']) feature_dup_df = feature_dup_df.reset_index() new_feature_name_df = pd.merge(old_feature_name_df.reset_index(),feature_dup_df,how='outer') new_feature_name_df['column_name'] = new_feature_name_df[['column_name','dup_cnt']].apply(lambda x : x[0]+'_'+str(x[1]) if x[1]>0 else x[0], axis=1) new_feature_name_df = new_feature_name_df.drop(['index'],axis=1) return new_feature_name_df

import pandas as pd def get_human_dataset(): # 각 데이터 파일은 공백으로 분리되어 있음. feature_name_df = pd.read_csv('human_activity/UCI HAR Dataset/features.txt',sep='\s+',header=None, names=['column_index','column_name']) # 중복된 피처명을 수정하는 get_new_feature_name_df()를 이용. 신규 피처명 데이터프레임 생성 new_feature_name_df = get_new_feature_name_df(feature_name_df) # dataframe에 피처명을 칼럼으로 부여하기 위해 리스트 객체로 다시 변환 feature_name = new_feature_name_df.iloc[:,1].values.tolist() # 학습 피처 데이터세트와 테스트 피처 데이터를 데이터프레임으로 로딩. 칼럼명은 feature_name 적용 X_train = pd.read_csv('human_activity/UCI HAR Dataset/train/X_train.txt',sep='\s+',names=feature_name) X_test = pd.read_csv('human_activity/UCI HAR Dataset/test/X_test.txt',sep='\s+',names=feature_name) # 학습 레이블과 테스트 레이블 데이터를 데이터프레임으로 로딩하고 칼럼명은 action 부여 y_train = pd.read_csv('human_activity/UCI HAR Dataset/train/y_train.txt',sep='\s+',header=None,names=['action']) y_test = pd.read_csv('human_activity/UCI HAR Dataset/test/y_test.txt',sep='\s+',header=None, names=['action']) # 로드된 학습/테스트용 데이터프레임을 모두 반환 return X_train,X_test,y_train,y_test X_train,X_test,y_train,y_test = get_human_dataset()

print('## 학습 피처 데이터셋 info()') print(X_train.info()) ''' <class 'pandas.core.frame.DataFrame'> RangeIndex: 7352 entries, 0 to 7351 Columns: 561 entries, tBodyAcc-mean()-X to angle(Z,gravityMean) dtypes: float64(561) memory usage: 31.5 MB None '''

print(X_train.head(3))

print(y_train['action'].value_counts()) ''' 6 1407 5 1374 4 1286 1 1226 2 1073 3 986 Name: action, dtype: int64 '''

from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score #예제 반복 시마다 동일한 예측 결과 도출을 위해 random_state 설정 dt_clf = DecisionTreeClassifier(random_state=156) dt_clf.fit(X_train,y_train) pred = dt_clf.predict(X_test) accuracy = accuracy_score(y_test,pred) print('결정 트리 예측 정확도: {0:.4f}'.format(accuracy)) # DecisionTreeClassifier 의 하이퍼파라미터 추출 print('DecisionTreeClassifier 기본 하이퍼 파라미터:\n', dt_clf.get_params())

from sklearn.model_selection import GridSearchCV params = {'max_depth':[6,8,10,12,14,16,20,24]} grid_cv = GridSearchCV(dt_clf,param_grid=params, scoring='accuracy',cv=5, verbose=1) grid_cv.fit(X_train,y_train) print('GridSearchCV 최고 평균 정확도 수치 : {0:.4f}'.format(grid_cv.best_score_)) print('GirdSearchCV 최적 하이퍼 파라미터 :', grid_cv.best_params_) ''' Fitting 5 folds for each of 8 candidates, totalling 40 fits GridSearchCV 최고 평균 정확도 수치 : 0.8513 GirdSearchCV 최적 하이퍼 파라미터 : {'max_depth': 16} '''

# GridSearchCV 객체의 cv_results_ 속성을 데이터프레임으로 생성 cv_results_df = pd.DataFrame(grid_cv.cv_results_) # max_depth 파라미터 값과 그때의 테스트 세트, 학습 데이터 세트의 정확도 수치 추출 cv_results_df[['param_max_depth','mean_test_score']] ''' param_max_depth mean_test_score 0 6 0.850791 1 8 0.851069 2 10 0.851209 3 12 0.844135 4 14 0.847808 5 16 0.851344 6 20 0.850800 7 24 0.849440 '''

max_depth=[6,8,10,12,14,16,20,24] #max_depth 값을 변화시키면서 그때마다 학습과 테스트 세트에서의 예측 성능 측정 for depth in max_depth: dt_clf = DecisionTreeClassifier(max_depth=depth,random_state=156) dt_clf.fit(X_train,y_train) pred = dt_clf.predict(X_test) accuracy = accuracy_score(y_test,pred) print('max_depth = {0} 정확도 : {1:.4f}'.format(depth,accuracy))

param = { 'max_depth':[8,12,16,20], 'min_samples_split':[16,24]} grid_cv = GridSearchCV(dt_clf,param_grid=param,scoring='accuracy',cv=5,verbose=1) # 교차검증은 5 grid_cv.fit(X_train,y_train) print('GridSearchCV 최고 평균 정확도 수치: {0:.4f}'.format(grid_cv.best_score_)) print('GridSearchCV 최적 하이퍼 파라미터:', grid_cv.best_params_) ''' Fitting 5 folds for each of 8 candidates, totalling 40 fits GridSearchCV 최고 평균 정확도 수치: 0.8549 GridSearchCV 최적 하이퍼 파라미터: {'max_depth': 8, 'min_samples_split': 16} '''

best_df_clf = grid_cv.best_estimator_ pred1 = best_df_clf.predict(X_test) accuracy = accuracy_score(y_test,pred1) print('결정 트리 예측 정확도 : {0:.4f}'.format(accuracy)) ''' 결정 트리 예측 정확도 : 0.8717 '''

import seaborn as sns ftr_importances_values = best_df_clf.feature_importances_ #Top 중요도로 정렬을 쉽게 하고, 시본의 막대그래프로 쉽게 표현하기 위해 Series로 변환 ftr_importances = pd.Series(ftr_importances_values,index=X_train.columns) # 중요도값 순으로 Series 정렬 ftr_top20 = ftr_importances.sort_values(ascending=False)[:20] plt.figure(figsize=(8,6)) plt.title('Feature importances Top 20') sns.barplot(x=ftr_top20, y=ftr_top20.index) plt.show()