빅데이터분석기사 필기 정리본

 개념 요약 정리본

실기 공부하기전 개념 정리할 겸 시험 보기전에 암기했던 개념위주로 간단 정리글을 남깁니다. 

 

참고로 빅데이터분석기사(빅분기) 필기는 내용이 방대하다보니 해당 글만으로는 부족할 수 있으니 참고만 하시고 다른 정리글도 함께 참고하시길 바랍니다.

 

1과목에서 4과목까지 구분하는 것이 크게 의미가 없어 나눠서 작성하지않겠습니다.

합격 후기글에 참고한 공부 자료가 정리되어있습니다!

2023.10.15 - [📂.빅데이터분석기사] - 빅데이터분석기사 7회 필기 합격 후기 (교재 X)

 

 정형 데이터

행과 열, 데이터 속성, 관계형 데이터베이스, 스프레드 시트 등

 

 반정형 데이터

스키마, 메타데이터, 일관성이 없음, XML, HTML, 웹로그 등

 

 비정형 데이터

스키마 X, 잠재적 가치가 높다, SNS, 텍스트, 이미지, 영상 등

 

 DW 데이터웨어하우스

사용자 의사결정에 도움을 주는 데이터 베이스

비휘발성, 시계열성, 주제치향성, 통합성

 

 DM 데이터마트

소규모의 데이터 웨어하우스

 

 데이터 레이크

가공하지 않은 데이터를 저장, 시스템이나 저장소를 말함

 

ETL 데이터 저장 기술

데이터 저장소(DW, DM)로 이동시키는 저장기술

순서 : 추출 -> 변환 -> 적재

 

 빅데이터 변화

사후처리, 전수조사, 양, 상관관계

위기요인 및 통제방안 : 데이터 오용(분석 알고리즘 허용), 사생활 침해(책임제), 책임원칙 훼손(강화)

 

 가트너의 비즈니스 분석

묘사, 진단, 예측, 처방

1) 묘사 분석 : 가장 기본

2) 진단분석 : 묘사 분석에서 알아낸 것을 통해 원인 이해

3) 예측 분석 : 미래 예측

4) 처방분석 : 예측을 바탕으로 최적화

 

마이데이터

개인이 데이터의 주권을 가짐

 

분석 성숙도

도입단계 -> 활용 -> 확산 -> 최적화

 

분석 업무 주체에 따른 3가지 조직구조

1) 집중 구조 : 우선순위를 정해 각 부서별 진행, 이원화 가능성이 존재

2) 기능 구조 : 전사적 핵심분석이 어려울 수 있음

3) 분산구조 : 신속하며 분석 수준 상향 평준화가 가능

 

데이터 거버넌스

정책과 프로세스를 다룸, 규정 강조모델

체계 요소 : 데이터 표준화, 데이터 관리체계, 데이터 저장소 관리, 표준화 활동

 

하둡에코시스템

다양한 서브프로젝트의 모임

수집, 저장, 처리, 분석, 실시간 SQL 질의로 구분됨

1) 코디네이터

Zookeeper : 분산환경

 

2) 리소스 관리

YARN : 클러스터 자원, 스케줄링

 

3) 데이터 저장

HBase : HDFS 기반

Kudu :  데이터 읽기 고속화

 

4) 데이터 수집

Chukwa : 로그 수집기, 실시간

Flume : 안정적, 스트리밍 데이터 기반

Kafka : 분산 메세징 시스템

Scribe : 다수 서버, 실시간

 

5) 데이터 처리

Pig : 피그 라틴언어 제공, SQL과 유사

Spark : 인메모리 기반

Hive: 하둡기반, Hive SQL 쿼리 언어

Mahout : 머신러닝 담당

Impala : 자체 분석

Presto : 메모리 기반

Tajo : 국내, 자체 분산 처리 엔진

 

6) 워크플로우 관리

Oozie : 하둡 작업

Airflow : 에어비엔비

Azkaban : 링크드인

Nifi : 데이터 흐름

 

기계 학습(머신러닝)

지도 학습 : 정답 레이블 존재, 예측

비지도 학습 : 정답 레이블이 없음, 현상 설명, 패턴 도출

준지도 학습 : 지도학습 + 비지도 학습

강화 학습 : 보상을 최대로하는 행동 선택

 

가명 정보

데이터를 결합해 특정 개인을 식별할 수 있음

 

익명 정보

데이터를 마음대로 사용 가능, 개인을 식별할 수 없음

 

프라이버시 모델

k- 익명성, l- 다양성, t- 근접성, m- 유일성

 

분석 방법론 분석 절차

분석 기획 -> 데이터 준비 -> 데이터 분석 -> 구현

 

분석 과제 

시급성 기반 : 3 -> 4 -> 2

난이도 기반 : 3 -> 1 -> 2

 

분석 문제 정의

1) 상향식 접근 방식 : 문제 정의 X, 문제를 지속적으로 개선

    프로세스 분류 -> 흐름 분석 -> 분석 요건 식별 -> 정의

 

2) 하향식 접근 방식 : 분석 과제 O

    문제 탐색 -> 정의 -> 해결방안 탐색 -> 타당성 검토

 

분석 문제 해결 방안

 

1) 상향식 : 발견 -> 통찰

2) 하향식 : 최적화 -> 솔루션

	분석의 대상 (WHAT)
분석의 방법 (HOW)		Known	Unknown
	Known	최적화 Optimization	통찰 Insight
	Unknown	솔루션 Solution	발견 Discovery

 

KDD 

패턴, 지식을 찾기 위해 정리된 데이터 마이닝 프로세스

선택 -> 전처리 -> 변환 -> 데이터 마이닝 -> 해석

1) Phase 2) Task 3) Step

각 계층의 자세한 설명은 생략

 

CRISP - DM 

각 단계간 피드백을 통해 완성도를 높임

업무 이해 -> 데이터 이해 -> 데이터 준비 - > 모델링 -> 평가 -> 전개

1) 단계 2) 일반화 테스크 3) 세분화 테스크 4) 프로세스 실행

 

SEMMA

기술, 통계 중심의 방법론

추출 -> 탐색 -> 수정 -> 모델링 -> 평가

 

데이터 전처리 방법

데이터 정제, 통합, 축소, 변환 (삭제는 없음

 

데이터 분석 절차 

문제 인식 -> 연구조사 -> 모형화 -> 자료 수집 -> 자료 분석 -> 결과 공유

 

정확도와 정밀도

정확도 (Accuracy), 편향 (Bias)이 좋으면 실제 답과 유사한 것을 의미

정밀도 (Precision), 분산(Variance)이 좋으면 유추한 값이 서로 큰 차이가 없음을 의미

 

둘은 Trade off 관계(상충 관계)이다.

 

데이터 수집 기술

FTP : 파일 송수신 프로토콜

Open API : 실시간 데이터 수신

RSS : 웹사이트에 글 공유, XML 기반 (ex. 블로그, 뉴스)

Streaming : 네트워크를 통해 미디어 데이터 실시간 수집

 

비식별화 기술

가명 처리, 총계 처리, 데이터 삭제, 범주화, 마스킹

 

차등 정보 보호

노이즈추가, 보호와 분석을 모두 진행 가능

 

재현 자료 

원재료가 없고, 통계적으로 생성한 자료

 

데이터 품질 기준

완전성, 일관성, 유용성, 적시성, 정확성, 타당성

 

저장 방식

GFS(구글 파일 시스템) : 대규모 클러스터 서비스 플랫폼, client, master, chunk server

HDFS(하둡 파일 시스템) : GFS와 코드 유사, 대용량 파일을 분산 서버에 저장

NoSQL : 빅데이터 저장 기술, Mango DB, Cassandra

 

* 정형 데이터 : DB, 반정형 데이터 : NoSQL, 비정형 데이터 : 분산 파일 시스템

 

ROI

투자 비용 요소

Volume (크기), Variety(형태), Velocity(속도) => 가트너의 3V

+ Value(가치) => 4V

+ Veracity(진실성) => 5V

+ Validity(정확성), Volatility(휘발성) => 7V

 

평가 지표

정확도 (Accuracy) : 예측값과 실제값이 정확한 비율

정밀도 (Precision) : 긍정으로 예측한 값 중 실제 긍정 값인 비율

특이도(Specificity) : 실제 부정 값 중 부정으로 예측한 비율

민감도(Sensitivity)= 재현율(Recall) = 참 긍정률 (TP Rate) : 실제 긍정 값 중 긍정으로 예측한 비율

F1 - Score : 정밀도 + 민감도(=재현율)의 조화 평균, 값은 0~1 범위

* 각 비율을 계산하는 방법은 꼭 공부하는 것이 좋음.

 

ROC 곡선

가로축 : FP Rate, 세로축 :  TP Rate, 왼쪽 꼭대기에 가까울 수록 분류 성능이 좋다고 판단

AUC(진단 정확도) : 값은 0.5~1 범위, 0.5는 랜덤, 1은 좋은 모형을 의미

 

경사 하강법

기울기를 낮은 쪽으로 이동하며 최적의 매개변수를 탐색

* 매개변수 최적화 : 가중치, 편향을 찾음

 

모멘텀 : 기울기, AdaGrad : 학습률

미니배치 : 전체 데이터를 나눈 작은 단위

 

과대 적합

훈련 데이터에 최적화 되어서 새로운 데이터를 예측하지 못하는 현상

과대 적합 방지 방법

1) 정규화 : 패널티 적용, 노이즈를 찾아 줄이는 것이 목적

- 릿리(L2) :  제곱합, 높은 상관관계

- 라쏘(L1) : 절대값, 변수 선택

- 드롭아웃

 

2) 데이터 분할

- 학습(Traning) 데이터

- 평가(Validation) 데이터

-검증(Test) 데이터

 

3) k-fold 분할

무작위로 k개의 데이터로 분할

(k-1) 학습데이터, 1개는 검증 데이터로 사용

 

앙상블 기법

분석 모형을 융합, 동일한 학습 알고리즘으로 여러 모델을 학습

1) 보팅(Voting) : 여러개의 분석 모형 결과 종합 (Hard : 다수결, Soft : 평균)

2) 배깅(Bagging) : 샘플 복원 추출 방식 (ex. RandomForest : 의사결정 나무 기반, 투표, 다수결 방식)

3) 부스팅(Boosting) : 약한 분석 모형 여러개를 연결하여 강한 분석 모형을 만듬, 해석이 쉬우나 속도가 느림, 오버피팅 가능성 존재

4) 스태킹(Stacking) : 개별 알고리즘으로 예측한 데이터 기반으로 다시 예측

 

비즈니스 기여도 평가 지표

평가지표 : 최종 모형이 실제 업무에서 적용되면 어떤 개선 효과가 있는지를 평가

요소 : 투자대비 효과, 순 현재 가치, 내부 수익률, 총 소유비용, 투자 회수 기간

 

데이터 시각화

목적 : 데이터 분석, 의사소통(정보 전달, 설득)

1) 시간 시각화 : 시간에 따른 데이터 변화 / 트렌드

막대그래프, 선차트, 영역차트

 

2) 공간 시각화 : 회귀분석 모델은 활용 불가, 위.경도 사용

카토그램(왜곡), 코노플레스(=단계구분도, 색상), 버블맵

 

3) 비교 시각화 : 2차원 데이터 효과적 표현, 차이점, 유사성

히트맵, 스타차트, 평행좌표그래프(경향성 파악), 체르노프 페이스

 

4) 분포 시각화 : 데이터 최대값, 최소값, 전체 분포 표현

파이차트, 도넛 차트, 트리맵(계층적)

 

5) 관계 시각화 : 다변량 데이터 사이에 존재하는 변수 간 연관성 / 분포 / 패턴

산점도, 버블차트, 히스토그램

 

6) 시공간 시각화 : 지도데이터, 격자 데이터, 패널데이터(복수의 시간에 걸쳐서 추적해 얻는 데이터)

카토그램, 코노플레스, 버블플롯

 

7) 인포그래픽 : 복잡한 데이터를 그래픽으로 이해하기 쉽게 표현하는 시각화 방법(그래픽 + 텍스트)

 

아래의 게시글에 데이터 시각화 예시와 함께 잘 설명되어있다.

https://ohaengsa.tistory.com/entry/빅데이터분석기사-데이터-시각화-개념-및-기출문제

 

시각화 절차

구조화 -> 시각화 -> 시각표현

 

분석 모형 리모델링

빅데이터 모형의 지속적인 성과 모니터링으로 편차가 지속적으로 하락하면 기존 모형에 개조 작업을 하는 것

분기, 반기, 연 단위가 바람직하다. 정기적으로 재평가 후 필요하면 모형을 재조정한다.

 

딥러닝

1) CNN(합성곱 신경망) : 이미지 처리, 자연어 처리

2)RNN(순환 신경망) : 문장, 시계열 데이터, 데이터가 순환하며 과거의 정보를 기억하는 동시에 최신 데이터 갱신

3) 텍스트 마이닝 : 특정 단어의 출현 빈도, 단어 간 연관성 파악

 

* 스트라이드 : 필터의 이동량

 

 

초매개변수(하이퍼파라미터)

학습률, 의사결정나무의 깊이, 신경망의 은닉층 개수, 서포트벡터 머신의 코스트 값, KNN의 K의 개수 등

데이터에 비해 너무 간단하면 과소 적합, 너무 복잡하면 과대 적합이 발생한다. 

 

분석 기법 선정

	종속 변수
독립 변수		연속형	이산형 / 범주형
	연속형	회귀분석 k - 최근접 이웃기법 인공신경망	로지스틱 회귀분석 k - 최근접 이웃기법 판별 분석
	이산형 / 범주형	회귀분석 의사결정나무 인공신경망	로지스틱 회귀분석 의사결정나무 인공신경망

 

군집 분석

유사성에 기초, 집단의 특성 분석

1) 계층적 군집 : 병합 방법, 분리 방법, 거리측정 방법(최단 연결법, 최장 연결법, 중심 연결법, 평균 연결법, 와드 연결법)

2) 비계층적 군집(k-평균 군집 알고리즘)

- k값 선정 기법

  1. 실루엣 기법 : 각 군집 간 거리, 1에 가까울 수록 멀어서 최적화가 잘 된 것

  2. 엘보우 : 기울기가 완만한 부분에 해당하는 클러스터 선택

  3. 덴드로그램 : 계측정 군집분석의 덴드로그램 시각화 이용

 

시계열 분석

시간에 영향 받음, 이론적으로 결측값이 없음

이동평균 모형(MA), 자기회귀모형(AR)

비정상성을 확인하는 방법

1) 자기상관함수(ACF) : 선형 관계 함수

2) 부분자기상관함수(PACF) : 두 시점 사이에 영향 주는 다른 요인 제외한 ACF, P+1 시차 이후 급격히 감소함

 

* AR 오차항 = 백색 잡음

백색 잡음 정의 조건 : 서로 독립, 평균 0, 분산이 일정한 값

 

Pixabay로부터 입수된 Pexels님의 이미지 입니다.