빅데이터 분석기사 필기 요약 : 1과목 (2)

1. 빅데이터 플랫폼의 요소 기술

 - 데이터 생성 기술

 - 수집 기술

 - 저장 기술

 - 공유 기술

 - 처리 기술

 - 분석 기술

 - 시각화 기술

 

 

2. ETL (Extract, Transform, Load) 

 - 원천 데이터로부터 필요한 데이터를 추출하여 적재하고자 하는 데이터 웨어하우스에 맞게 변환하여 적재하는 과정

 

 

3. 빅데이터 수집 기술

 - 크롤링

 - 로그 수집기

 - 센서 네트워크

 - RSS Reader/Open API

 - ETL

 

 

4. 맵 리듀스의 데이터 처리과정

 Split (분할) - Map(맵 처리) - Shuffle(셔플) - Reduce(리듀스)

 

 

5. 빅데이터 플랫폼의 등장 배경

 - 비즈니스 요구사항 변화

 - 데이터 처리 복잡도 증가

 - 데이터 규모 증가

 - 데이터 구조의 변화

 - 데이터 분석 유연성 증대

 - 데이터 처리의 신속성 요구

 

 

6. 빅데이터 플랫폼의 부하 제어 기능

 - 컴퓨팅 부하 제어

 - 저장 부하 제어

 - 네트워크 부하 제어

 

 

7. 딥러닝 분석 기법

 - CNN

 - RNN 

 - LSTM

 - Auto-encoder

 

 

8. 기계학습의 종류

 - 지도학습

 - 비지도학습

 - 준지도학습

 - 강화학습

 

 

9. 애노테이션 (Annotation)

 데이터상의 주석 작업으로 딥러닝과 같은 학습 알고리즘이 무엇을 학습하여야 하는지 알려 주는 표식 작업

 

 

10. 개인정보 판단기준

 - 생존하는 개인에 관한 정보

 - 개인에 관한 정보

 - 정보의 내용이나 형태 등은 제한이 없음

 - 개인을 알아볼 수 있는 정보

 - 다른 정보와 쉽게 결합하여 개인을 알아볼 수 있는 정보

 

 

11. 빅데이터를 활용하기 위한 기본 3법

 - 개인정보보호법

 - 정보통신망 이용촉진 및 정보보호 등에 관한 법률

 - 신용정보의 이용 및 보호에 관한 법률

 

 

12. 개인정보 비식별화 절차

 사전검토 - 비식별 조치 - 적정성 평가 - 사후관리

 

 

13. 비식별화 

 - 개인으로 인식될수 있는 가능성을 가진 데이터를 식별하기 어려운 형태로 가공하는 과정

 

 

14. 비식별화 방법

 - 가명처리

 - 총계처리

 - 데이터 삭제 

 - 데이터 범주화 

 - 데이터 마스킹 방법

 

 

15. 빅데이터로 인한 위기 요인

 - 사생활 침해

 - 책임 원칙의 훼손

 - 데이터의 오용

 

 

16. 익명화

 - 빅데이터를 활용하는 과정에서 사생활 침해를 방지하기 위하여 데이터에 포함된 개인정보를 삭제하거나 알아볼 수 없는 형태로 변환하는 방법