빅데이터 파이썬 개발자과정

과목명

모듈

세부과정

응용 SW/파이썬/머신러닝

응용SW 기초기술 활용 / 프로그래밍 언어 활용

• Software 개론, 자바 언어의 이해, JDK11 설정

• Eclipse JAVA Application 개발 환경 설정

• 컴파일, 자바 프로그램의 구조

• 데이터 형(data type), 연산자(Operator)

• 제어문의 실습

• OOP 특성, Class, Method, 생성자, Package, 예외처리

• Call By Reference, 메소드로 객체의 전달

• 추상 메소드, 추상 클래스(Abstract Class), 인터페이스(Interface)

• File IO 프로그램 개발

• Network 프로그램의 개발

• JDBC 프로그램의 개발

서버 프로그램 구현 및 통합구현 (JSP/Servlet,Spring)

• Data Type, Variable, Operator(연산자), 제어문

• function(함수), 시스템 지원 전역 함수의 사용, 가변인수

• 객체 지향 프로그래밍

• Event의 처리(INPUT, BUTTON, SUBMIT)

• Ajax(Asynchronous JavaScript and XML), XMLHttpRequest 객체

• JSON(JavaScript Object Notation) 출력의 Ajax 처리

• Javascript framework jQuery 설치

• selector를 이용한 DOM Element(태그)의 검색

• jQuery Ajax 요청의 처리, GET, POST 방식과 한글 처리

• Bootstrap 활용

• WAS - TOMCAT 9 설치

• JSP 스크립트 기본 문법, JSP 스크립틀릿 코드의 생성 및 실행

• Page 지시자(Directive), class import, request 내부 객체 실습

• response 내부 객체, out 내부 객체, application 내부 객체의 사용

• GET, POST Form Data 전송 방식

• CSS(Cascading Style Sheet)의 사용

• JSP 기반 로그인/로그아웃, Cookie, Session의 활용

• servlet원리, servlet을 이용한 폼 데이터의 처리, Servlet 실습

• Spring기반 MVC의 원리, STS Spring MVC의 개발 구조 분석

• Maven 의존성 추가, Local 저장소의 설정, settings.xml

• EL(표현 언어, Expression Language)의 사용

• JSTL(JSP Standard TAG Library)의 사용

• 모델 2 기반의 게시판 작성

• STS(Spring Tool Suite) 설치(권장)

• Data Management(SQL Development) 설정

• DI(Dependency Injection)의 구현

• AOP(Aspect Oriented Programming)의 구현

• Spring JDBC 사용하기 / Transaction

• 로그처리

• MyBATIS 설치 및 사용

• Spring 기반 로그인 처리

• Spring 기반 게시판 기능 구현

• Spring 기반 시큐리티 구현

• Filter, Interceptor의 활용

파이썬

• 파이썬 설치와 환경 설정,Anaconda (Python 3) 설치

• juypter notebook 사용하기

• 내장 데이터 타입, 숫자, 시퀀스, 매핑, set 타입

• 연산자, 제어문의 실습, 함수의 제작 실습

• 모듈과 패키지, datetime 모듈, 상속, import

• 객체지향 프로그래밍, 클래스 제작

• Class 선언, 클래스 멤버, 메소드, 인스턴스 멤버, 메소드의 실습, 생성자, 소멸자, 모듈 분리

• try ~ except를 사용한 예외 처리

• 파일 입출력 처리

• 네트워크 프로그래밍, 네트워크 Server/Client의 제작

• MySQL DBMS 사용하기

• DBMS 응용 Application 제작

머신러닝

기본 코드 실습

넘파이 - 데이터 타입, 행렬

사이킷 런을 활용한 머신러닝

회귀 알고리즘 - K 최근접/선형회귀

규제 선형 모델 - 릿지,라쏘

로지스틱 회귀

트리 회귀

실습 - 자전거 대여 수요 예측

실습 - 화이트 와인 찾기

K 평균 알고리즘에 대한 이해

군집 평가/평균 이동

실습 - 이미지 분류

인공 신경망 모델 만들기

심층 신경망 만들기

실습 - 영화 리뷰 분류하기

빅데이터

빅데이터 수집 시스템 개발

• Web Scraping 기초 – urllib 라이브러리에 대한 이해

• BeautifulSoup 설치 및 실습

• 다음 뉴스, Naver 뉴스 crawling

• 게시판 crawling

• Selenium을 활용한 crawling

• Scrapy를 활용한 crawling

빅데이터 플랫폼 아키텍처 설계/

빅데이터 저장 시스템 개발

• 빅데이터 저장 모델 설계

- 파일 시스템과 운영체제에 대한 이해

- 데이터의 종류 및 데이터베이스에 대한 이해

• 빅데이터 저장 관리 시스템 구성

- MongoDB 특징, 구조, MongoDB 설치, 서버 실행 및 종료

- Database 생성 및 삭제, Collection 생성 및 삭제

- 몽고DB 데이터 입력

- MongoDB와 Python 연동

• 빅데이터 적재 모듈 개발

- 크롤링 결과를 몽고DB 저장하기

- 몽고DB 저장을 위한 데이터 변환, 데이터 완성, 데이터 저장

- 데이터 분석을 위한 다양한 몽고DB검색 문법

• Oracle XE 19g 개발자 버전 설치, 최소 설치 사양

• SQL Developer 설치

• Sql developer sql 파일 생성, RDBMS 테이블 결합 JOIN ERD 제작

• self join ERD 제작

• DDL(Data Definition Language) 명령어 실습

• Single-Row Function(단일행 함수) 실습

• GROUP BY, HAVING, Group Functions(그룹화 함수), SubQuery

• Transaction, Sequence, Index 관리

• VIEW 제작

• 데이터 사전(Data Dictionary), 제약 조건의 조회, 추가, 삭제

• PL/SQL의 이해, PL/SQL의 종류, PL/SQL의 구조, Script

• Stored Procedure Create & Execution - IN/OUT 매개변수

• Stored Procedure INSERT, SELECT, UPDATE, DELETE의 이용

• Stored Function, Trigger

빅데이터 처리 시스템 개발

• 빅데이터 처리 시스템 설계

• 실시간 분산처리를 위한 시스템 환경에 대한 이해

• AWS를 활용한 분산처리 시스템 구축하기

• 데이터 파이프라인을 통한 자동화에 대한 이해

• 빅데이터 처리 시스템 구성

• 데이터 레이크 아키텍처에 대한 이해

• Apache Spark 에 대한 이해

• Spark RDD

• Spark Dataframes

• 빅데이터 분산 처리 수행 모듈 개발

• AWS Data Pipeline

• 데이터 순환구조에 대한 이해

• Crontab

빅데이터 분석 시스템 개발

• 데이터 유형에 따른 구분

• 분석시스템 유형에 따른 특징

• Numpy를 활용한 수치 데이터 다루기

• pandas 설치 및 사용법

• 텍스트 마이닝 알고리즘을 통한 텍스트 분석

• 텍스트 마이닝 알고리즘을 통한 형태소 분석

• 그래프 기반 분석 알고리즘을 통한 소셜 분석

• matplotlib과 seaborn을 활용한 데이터 시각화

• 지도학습 알고리즘과 비지도 학습 알고리즘에 대한 이해

빅데이터 품질관리 시스템 개발

• 빅데이터 품질 관리 시스템 시스템 설계서 작성 및 검토

• 빅데이터 품질 관리 하드웨어 및 소프트웨어 설치

• 빅데이터 품질 기준 관리 모듈 개발

• 빅데이터 품질 관리 모듈 테스트

빅데이터 플랫폼 요구사항 분석

• 빅데이터 플랫폼 구축을 위한 요구사항 수집 – 기능/비기능

• 빅데이터 플랫폼 요구사항 정의하기

• 빅데이터 플릿폼 요구사항 검증하기

빅데이터 플랫폼 테스트

• 요구사항을 기반으로 빅데이터 플랫폼 테스트 계획을 수립

• 상세 설계된 빅데이터 플랫폼 세부 시스템의 단위기능에 대하여 기

능 테스트 시나리오를 작성

• 요구사항 명세와 아키텍처 설계서를 기반으로 빅데이터 플랫폼의

• 비기능 요소를 식별하고 평가기준을 수립

• 작성된 빅데이터 플랫폼 테스트 시나리오를 기반으로 동적 테스트

를 수행하고 결함여부와 개선의견을 포함하는 테스트 결과서 작성

프로젝트

• 프로젝트 주제, 주제 결정, 프로젝트 주요 기술 결정

• 프로젝트 주제 개인 역활의 결정, 개발 요소 파악하기

• 개발 요소 등록

• Amateras UML 객체 분석 설계 툴 설치

• 데이터베이스 설계 ERD 툴 설치

• 요구사항의 파악, 요구 사항 정의(Defining Requirement)

• Usecase Diagram 작성 실습

• 팀 통합 프로젝트 및 개인별 개발 프로젝트의 생성

• 빅데이터 플랫폼 아키텍처 설계

• 빅데이터 품질관리시스템 개발

• DBMS 설계, DBMS 정규화(Normalization)

• AmaterasERD 파일 생성, 모델링(논리적/물리적) 실습

• Import, TABLE 구조 생성, SQL 생성

• Local 저장소의 설정

• Maven 설정, Spring 환경 설정

• 화면 Layout, Action TAG를 이용한 Mneu 페이지의 제작

• JSP Template 설정

• 화면구현(User Interface Design, Prototype, Storyboard)

• Prototype 제작 실습

• VO(DTO), XML, DAO, Controller 기초 코드 작업

• 컨텐츠별 CRUD 구현

• Frontend 제작

• 파이썬을 통한 웹 데이터 수집 및 DBMS에 저장

• R Studio에서의 파일 데이터 분석 및 시각화 제작

• 텐서플로 케라스 연동 각종 예측 시스템 개발

• 수집 및 분석된 데이터 Spring 프레임워크로 웹 서비스 구축 및 테스트

• Github 소스 통합 구현

• 프로젝트 통합 및 변경 사항 수정

• 프로젝트 운영 테스트 및 수정

• 프로젝트 문서화 작업 및 발표