[실기] 빅데이터 분석 기사 작업형 2 정리 (Python)

빅데이터 분석 기사 실기 -  작업형 2 정리본

🚨 모든 코드는 파이썬 기준입니다.

 

👀 작업형 2 문제 풀이 순서

1 단계 : 데이터 파악하기, 데이터 학습 모델 선정(분류, 회귀)
2 단계 : 데이터 정리 : 불필요한 데이터, 결측치, 문자형 등 전처리가 필요한 컬럼 체크하기
3 단계 : 데이터 전처리하기 

4 단계 : 데이터 분리하기, 모델 학습 전 최적의 하이퍼파라미터를 찾기 위해 데이터를 분리하여 테스트

   - 만약 xtrain, xtest, ytrain의 형태가 아닌 train, test만 주어진다면 필수로 데이터 분리해야함

5 단계 : 데이터 학습 : 문제에 맞는 데이터 모델 선택하여 학습시키기

 

6 단계 : 제출하기 전 데이터 확인하고 제출하기

 

✍️ 데이터 전처리

1 ) 불필요한 데이터 삭제

drop 함수를 사용하여 데이터 삭제

만약 데이터 추출이 필요하다면 pop을 통해 따로 저장 ( 이때 원본 데이터에서는 사라짐)

x_train = x_train.drop(columns=['id'])
y_train = y_train.drop(columns=['id'])
x_test_id = x_test.pop('id')

 

2 ) 결측치 처리

isnull()로 확인하고, fillna()를 통해 값 채워넣기

mean(), mode()등 문제에 결측치를 어떻게 처리해야하는지 안나와있으면 describe()를 통해 결측치를 정하면된다.

잘 모르면 일단 평균 아니면 최빈값이면 된다.

최빈값으로 처리 할 시 value_counts()를 통해 확인할 것, 결측치가 최빈값일 수 있음

# print(x_test['환불금액'].describe())
x_train['환불금액'] = x_train['환불금액'].fillna(x_train['환불금액'].mean())
x_test['환불금액'] = x_test['환불금액'].fillna(x_test['환불금액'].mean())

train['AnnualIncome'] = train['AnnualIncome'].fillna(train['AnnualIncome'].min())
test['AnnualIncome'] = test['AnnualIncome'].fillna(test['AnnualIncome'].min())

 

3 ) 문자형 처리 ⭐️ ( 7회 작업형 2 문자형 처리 必 )

object : 원핫인코딩, 라벨 인코딩 등으로 데이터를 변환해야함. 처리하기 애매할 경우 삭제를 할 수 있음
원핫인코딩 : pd.get_dummies()
라벨인코딩 : from sklearn.preprocessing import LabelEncoder

col = ['GraduateOrNot', 'FrequentFlyer', 'EverTravelledAbroad']
train = pd.get_dummies(data = train, columns = col)
test = pd.get_dummies(data = test, columns = col)

from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
train['Employment Type'] = encoder.fit_transform(train['Employment Type'])
test['Employment Type'] = encoder.fit_transform(test['Employment Type'])

 

4 ) 스케일링

describe : 해당 함수를 통해 스케일링 방법을 선택할 수 있으며 결측치를 어떤 값으로 사용할 지 선택할 수 있다.

StandardScaler, RobustScaler, MinMaxScaler 등이 있음
이상치에 영향을 잘 받지 않는 RobustScaler을 주로 사용할 수 있음, 만약 최소, 최대값이 너무 큰 차이를 보인다면 MinMaxScaler를 추천한다.

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
col = ['GRE Score','TOEFL Score']
xtrain[col] = scaler.fit_transform(xtrain[col])
xtest[col] = scaler.transform(xtest[col])

 

✍️ 데이터 학습 및 제출

1 ) 데이터 분리

데이터를 분리하여 모델에 학습시킨다. 

데이터 학습을 통해 n_estimators 와 max_depth의 값을 변경하며 학습 결과를 비교해 최적의 하이퍼 파라미터 값을 찾는다. 여기서 학습결과는 채점 방식에 따라 값을 확인하면 된다.

( from sklearn.metrics import roc_auc_score / import accuracy_score / import r2_score 등 )

# 데이터 분리
from sklearn.model_selection import train_test_split
xtrain, xtest, ytrain, ytest = train_test_split(train, train_travel, test_size = 0.2)

# 데이터 학습
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators = 50, max_depth = 8) # 하이퍼파라미터
model.fit(xtrain, ytrain['Reached.on.Time_Y.N'])
model_pred = model.predict_proba(xtest)

# 학습 결과
from sklearn.metrics import roc_auc_score
print(roc_auc_score(ytest['Reached.on.Time_Y.N'],model_pred[:,1]))

 

2 ) 데이터 학습 모델

분류 : RandomForestClassifier, XGBClassifier
회귀 : RandomForestRegressor, XGBRegressor

 

🚨 만약 학습결과를 확인할 때 사용해야하는 y_test 값이 존재하지않는다면 최적의 하이퍼 파라미터값을 찾지 않고 ' model = RandomForestRegressor() ' 기본으로 사용하면 된다.

# 데이터 분리
# from sklearn.model_selection import train_test_split
# x_train1, x_test1, y_train1, y_test1 = train_test_split(x_train, y_train, test_size = 0.2)

# 하이퍼 파라미터 값 찾기 ( 이떄는 데이터 분리한 x_test1을 사용함)
# from sklearn.ensemble import RandomForestRegressor
# model3 = RandomForestRegressor(n_estimators = 100, max_depth=5)
# model3.fit(x_train1, np.ravel(y_train1))
# model_pred3 = model3.predict(x_test1)

# from sklearn.metrics import mean_squared_error
# rmse2 = np.sqrt(mean_squared_error(y_test1, model_pred3))
# print("Mean Squared Error:", rmse2)

# 실제 제출을 위해 데이터 학습 시키기 ( 이때는 실제 제출할 x_test를 사용함)
from sklearn.ensemble import RandomForestRegressor
model = RandomForestRegressor(n_estimators = 100, max_depth=5)
model.fit(x_train, np.ravel(y_train))
model_pred = model.predict(x_test)

    

3 ) 결과 확인하여 제출

result = pd.DataFrame({'enrollee_id' : xtest_id, 'target' : model_pred})
print(result)

pd.DataFrame({'enrollee_id' : xtest_id, 'target' : model_pred}).to_csv('result.csv', index=False)

 

📚 문제 풀이 

1.    분류 ( RandomForestClassifier )

# 데이터 파악
# print(train.info()) # 삭제 : ID / pop : Segmentation  
# print(test.info()) # pop : ID 

train = train.drop(columns = ['ID'])
train_seg = train.pop('Segmentation')
test_id = test.pop('ID')

# object : Gender /  Ever_Married /Graduated   /Profession /Spending_Score /Var_1 
# 원핫인코딩 : Gender, Ever_Married, Graduated, Spending_Score
# 라벨인코딩 : Profession, Var_1

col = ['Gender', 'Ever_Married', 'Graduated', 'Spending_Score']
train = pd.get_dummies(data=train, columns=col)
test = pd.get_dummies(data=test, columns=col)

from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
train['Profession'] = encoder.fit_transform(train['Profession'])
test['Profession'] = encoder.transform(test['Profession'])

train['Var_1'] = encoder.fit_transform(train['Var_1'])
test['Var_1'] = encoder.transform(test['Var_1'])

from sklearn.model_selection import train_test_split
xtrain, xtest, ytrain, ytest = train_test_split(train, train_seg, test_size = 0.2)

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier()
model.fit(xtrain, ytrain)
model_pred = model.predict(test)

result = pd.DataFrame({'ID': test_id, 'Segmentation': model_pred})
print(result)

pd.DataFrame({'ID': test_id, 'Segmentation': model_pred}).to_csv('submission.csv', index = False)

 

2.    회귀 ( RandomForestRegressor ) ⭐️ ( 7회 작업형 2 회귀문제 제출)

# 보험 요금??? 회귀 모델 RandomForestRegressor
# Insurance Prediction (Regression)
# 오늘 저희는 의료보험 데이터를 활용해 한 사람이 보험료를 얼마나 낼지를 예측하는 회귀 문제를 다뤄보겠습니다. 

# print(x_train.info()) # 불필요컬럼 : 결측치 : 없음 / object : sex, smoker, region
# print(x_test.info()) # 결측치 : 없음 / object : sex, smoker, region
# print(y_train.info())

# 결측치있는지 확인
# print(x_train.isnull().sum())
# print(x_test.isnull().sum())
# print(y_train.isnull().sum())

# 불필요 컬럼 삭제
x_train = x_train.drop(columns=['id'])
x_test_id = x_test.pop('id')
y_train = y_train.drop(columns=['id'])

# 원핫 인코딩 : sex, smoker / 라벨 : region
ocol = ['sex', 'smoker']
x_train = pd.get_dummies(data = x_train, columns = ocol)
x_test = pd.get_dummies(data = x_test, columns = ocol)

from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
x_train['region'] = encoder.fit_transform(x_train['region'])
x_test['region'] = encoder.transform(x_test['region'])

# 스케일링
from sklearn.preprocessing import RobustScaler
scaler = RobustScaler()
rcol = ['age', 'bmi']
x_train[rcol] = scaler.fit_transform(x_train[rcol])
x_test[rcol] = scaler.transform(x_test[rcol])

# 데이터 분리
# from sklearn.model_selection import train_test_split
# x_train1, x_test1, y_train1, y_test1 = train_test_split(x_train, y_train, test_size = 0.2)

# 하이퍼 파라미터 값 찾기 ( 이떄는 데이터 분리한 x_test1을 사용함)
# from sklearn.ensemble import RandomForestRegressor
# model3 = RandomForestRegressor(n_estimators = 100, max_depth=5)
# model3.fit(x_train1, np.ravel(y_train1))
# model_pred3 = model3.predict(x_test1)

# from sklearn.metrics import mean_squared_error
# rmse2 = np.sqrt(mean_squared_error(y_test1, model_pred3))
# print("Mean Squared Error:", rmse2)

# 실제 제출을 위해 데이터 학습 시키기 ( 이때는 실제 제출할 x_test를 사용함)
from sklearn.ensemble import RandomForestRegressor
model = RandomForestRegressor(n_estimators = 100, max_depth=5)
model.fit(x_train, np.ravel(y_train))
model_pred = model.predict(x_test)

result = pd.DataFrame({'id': x_test_id , 'charges':model_pred})#.to_csv('123.csv', index=False)
print(result)

rmse(y_test['charges'], model_pred)

 

Pixabay로부터 입수된 Pexels님의 이미지 입니다.

 

2023.11.29 - [📂.빅데이터분석기사] - 빅데이터분석기사 실기 임시 정리본

2023.12.01 - [📂.빅데이터분석기사] - [실기] 빅데이터 분석 기사 작업형 1 정리 (Python)