빅데이터분석기사 실기 임시 정리본

📍 실기 준비 참고 자료 : 

판다스 기초 : https://wikidocs.net/book/4639

빅데이터분석기사 실기 체험환경 : https://dataq.goorm.io/exam/3/체험하기/quiz/1

Big Data Certification KR : https://www.kaggle.com/datasets/agileteam/bigdatacertificationkr

퇴근후딴짓 : https://www.youtube.com/watch?v=iOskHbBeV9o&list=PLSlDi2AkDv82Qv7B3WiWypQSFmOCb-G_-

강다린 DARIN : https://www.youtube.com/watch?v=iopLP4wBYw8

 

📍 작업형 2

1단계 : 데이터 파악하기, 데이터 학습 모델 선정(분류, 회귀)
2단계 : 불필요한 데이터, 결측치, object, describe 등 해당 데이터 정리
3단계 : 데이터 전처리하기
4단계 : 데이터 분리하기, 모델 학습 전 최적의 하이퍼파라미터를 찾기 위해 데이터를 분리하여 테스트 할 수 있음
5단계 : 데이터 학습 
6단계 : 제출 형식에 맞게 제출하기

 

📌 3단계 데이터 전처리

• 불필요 데이터 : drop 사용
• 결측치 : isnull()로 확인 가능, fillna()를 통해 값 채워넣기
  • mean() = 평균, mode() = 최빈값 등
  • (최빈값으로 처리 할 시 value_counts()를 통해 확인할 것)
• object : 원핫인코딩, 라벨 인코딩 등으로 데이터를 변환해야함. 처리하기 애매할 경우 삭제를 할 수 있음
  • 원핫인코딩 : pd.get_dummies()
  • 라벨인코딩 : from sklearn.preprocessing import LabelEncoder
• describe : 해당 함수를 통해 스케일링 방법을 선택할 수 있으며 결측치를 어떤 값으로 사용할 지 선택할 수 있다.
• 스케일링 : StandardScaler, RobustScaler, MinMaxScaler 등이 있음
  • 시험에는 이상치에 영향을 잘 받지 않는 RobustScaler을 주로 사용할 수 있음
  • RobustScaler : from sklearn.preprocessing import RobustScaler
  • 데이터 값의 범위가 너무 넓으면 MinMaxScaler 사용

📌 4단계 데이터 분리해 최적의 하이퍼파라미터 찾기

• 데이터 분리 : from sklearn.model_selection import train_test_split
• 하이퍼파라미터 찾기 : 데이터 학습을 통해 n_estimators 와 max_depth의 값을 변경하며 찾기
• 채점 방식에 따라 값 확인 : from sklearn.metrics import roc_auc_score / import accuracy_score / import r2_score 등
• 문제에 맞는 데이터 모델 선택하여 학습시키기
  • 분류 : RandomForestClassifier, XGBClassifier
  • 회귀 : RandomForestRegressor, XGBRegressor  

📌 6단계 제출하기

• 제출 : pd.DataFrame({'id' : test_id, 'pred' : model_pred}).to_csv('123.csv', index = False)

 

📍 작업형 3

• T 검정
  • 쌍체 표본 : from scipy import stats / stats.ttest_rel()
  • 독립 표본 : from scipy import stats / stats.ttest_ind()
  • 단일 표본 : from scipy import stats / stats.ttest_1samp() - alternative='greater'
• 일원배치 ANOVA F 검정 : from scipy import stats / stats.f_oneway()
• 샤피로윌크 : from scipy import stats / stats.shapiro()
• 베르누이이항분포 : from scipy import / stats.binom.pmf()
• 포아송분포 : from scipy import stats
  • stats.possion.pmf() / stats.possion.cdf(?, data) - 특정 값보다 작거나 같은 값이 발생할 확률
• 카이제곱 : from scipy import stats
  • stats.chisquare(data1, data2) / 기대 빈도: stats.chi2_contingency(df)
    
• 로지스틱회귀 : 첫 변수값에 영향을 미칠 변수들 정리 formula = "1 ~ 2 + 3 + 4"
  • from statsmodels.formula.api import logit
  • model = logit(formula, data = data).fit()
  • print(model.params)

 

Pixabay로부터 입수된 Pexels님의 이미지 입니다.