데이터 청년 캠퍼스 부산대학교

데이터 청년 캠퍼스 부산대학교

Spark를 이용한 빅데이터 분석 과정

과정개요

  • 운영대학

    부산대학교

  • 과정 개요 및 특징

    · 지역산업과 연계한 신산업 등 4차 산업혁명 기술 교육과정 개설․운영 및 전문가 멘토 지원 · 지역혁신클러스터인 해양·금융·영화 클러스터의 산학연관 협력체계 구축 · ‘데이터 프리존’ 등의 민간 및 공공데이터 활용 체계 마련 · Spark를 통한 실시간 데이터분석 · MLlib를이용한머신러닝 이해 · 빅데이터 시스템 구축

  • 교육기간

    이론실습 : 2019. 7. 1 ~ 8. 9 / 09:00-17:00 프로젝트 : 2019. 8. 12 ~ 8. 28  / 09:00-17:00 (84H) // 2019.8.29 / 09:00-16:00 (6H)

  • 교육인원

    66 명

  • 준비사항

    · 노트북 지참 필수 (CPU i5, 메모리 8G 권장)

  • 우대사항

    · 관련 전공자 우대(전기컴퓨터공학부, 통계학과 등) · 성적우수자 및 학과 지도교수 추천을 받은 학생 · IT 또는 SW 관련 국가, 국제 공인자격증 소지자 · 빅데이터관련 기업 추천 채용 예정자 · 빅데이터, 프로그래밍 관련 동아리 활동 경험자, 대회 수상자

상세 커리큘럼

구분 교과목명 주요 내용 시간
온라인교육 2019.06.17 ~ 06.28 -
교육 내용  자바 기초문법활용하기  빅데이터 분석 시스템 구축을 위한 Basic & Advanced Java 프로그래밍 35H
자바웹 어플리케이션 프로그래밍 SpringFrame Work, Spring Boot를 활용한 웹 서비스 시스템 구축 35H
 데이터베이스 빅데이터 저장 시스템의 이해, RDBMS & NoSql의 활용 35H
빅데이터수집 Hadoop와 Spark를 활용한 데이터 수집 - 맵리듀스 이해 HDFS로 데이터 로딩, 맵 동작 이해하기, 셔플링과 정렬, 리듀스 동작 이해하기 - 파일을 Hive 테이블로 가져오기 - Spark를 사용하여 데이터를 Hive로 가져오기 35H
빅데이터분석 Spark를 통한 실시간 데이터분석  - Spark를 구성하는 컴포넌트 실습 - RDD의 개념 학습 - Spark 애플리케이션 작성 35H
머신러닝 및 시각화 MLlib를이용한머신러닝 이해하기 분류 데이터 로딩, 알고리즘 학습, 모델 평가 및 예측 오류 메트릭스, 혼합 메트릭스, 분류 알고리즘 선택 - 회귀분석 회귀 분석 모델 개발 및 평가, 보편적인 문제의 해결책 - 클러스터링 클러스터링 알고리즘, 모델의 평가 - D3.js를 이용하여 빅데이터를 웹에 시각화 하기 35H
프로젝트 개발 팀 프로젝트 90H
프로젝트보완 프로젝트 보완
 

교육장소

교육장부산대학교