[실기] 빅데이터 분석 기사 작업형 1 정리 (Python)

빅데이터 분석 기사 실기 -  작업형 1 정리본

🚨 모든 코드는 파이썬 기준입니다.

 

1.    함수 사용

def df_events(x):
    if (x['Events'] == 1):
        return x['Sales'] * 0.8
    else:
        return x['Sales']
    
df['RSales'] = df.apply(df_events, axis=1)

 

2.    Merge와 dropna 사용법 ⭐️ ( 7회 작업형 1 dropna 제출 )

# basic1 데이터와 basic3 데이터를 'f4'값을 기준으로 병합하기
df = b1.merge(b3, how='inner', on='f4')

# 병합한 데이터에서 r2결측치를 제거하기
df = df.dropna(subset=['r2'])

 

3.    정렬

# 오름차순 : 1, 2, 3, 4
df = df[df['f2'] == 0].sort_values('age', ascending = True).head(20)

# 내림차순 : 4, 3, 2, 1
df = df.reset_index().sort_values('f5', ascending = False)

 

4.    IQR ⭐️ ( 7회 작업형 1 제출 )

Q1 = np.percentile(df['Fare'], 25)
Q3 = np.percentile(df['Fare'], 75)
IQR = Q3 - Q1
 
out1 = df[df['Fare'] < (Q1 - 1.5 * IQR)]
out3 = df[df['Fare'] > (Q3 + 1.5 * IQR)]

 

5.    올림, 내림, 버림

up = np.ceil(df['age']).mean()
down = np.floor(df['age']).mean()
drop = np.trunc(df['age']).mean()

 

6.    스케일링 후 왜도 첨도 구하기

df['SalePrice'] = np.log1p(df['SalePrice'])
spskew2 = df['SalePrice'].skew() # DataFrame.skew() 왜도
spkurt2 = df['SalePrice'].kurt() # DataFrame.kurt() 첨도

 

7.    그룹으로 묶기 ⭐️ ( 7회 작업형 1 제출 )

# 'city'와 'f2'을 기준으로 묶어 그룹 합계 계산
df2 = df.groupby(['city','f2']).sum()

 

8.    값 대체

# 'f4'컬럼의 값이 'ESFJ'인 데이터를 'ISFJ'로 대체
df['f4'] = df['f4'].replace('ESFJ', 'ISFJ')

 

9.    상위, 하위 값 구하기

# 상위 5%와 하위 5%
low = df['f5M'].quantile(0.05)
high = df['f5M'].quantile(0.95)

 

10. 날짜 변환

df['Date'] = pd.to_datetime(df['Date'])
df['year'] = df['Date'].dt.year
df['month'] = df['Date'].dt.month
df['wo'] = df['Date'].dt.dayofweek # 평일과 주말 나눌 때 사용

 

11.  동일한 개수로 나누기

동일한 개수로 나이 순으로 3그룹으로 나눈 뒤 각 그룹의 중앙값을 더하시오
df['range'] = pd.qcut(df['age'], q=3, labels=['1', '2', '3'])

 

12.  중복데이터 발생 시 뒤에 데이터 삭제

df = df.drop_duplicates(subset=['age'])

 

13.  그 외 자주 사용되는 함수

이름	사용법
분산	df['f1'].var()
평균	df['f5'].mean()
중앙값	df['f1'].fillna(df['f1'].median())
최빈값	df['f1'].fillna(df['f1'].mode()[0])
표준편차	df[conI]['f1'].std()
누적합	df[con]['f1'].cumsum()

 

Pixabay로부터 입수된 Pexels님의 이미지 입니다.