자바취업반 - 자바기반 인공지능 빅데이터분석 구축과정

순번

과목명

모듈

세부과정

1

응용SW엔지니어링

프로그래밍 언어활용(JAVA/Python)

• Software 개론, 자바 언어의 이해, JDK1.8.0 설정

• Eclipse JAVA Application 개발 환경 설정

• 데이터 형(data type), 연산자(Operator)

• 제어문의 실습

• OOP 특성, Class, Method, 생성자, Package, 예외처리

• Call By Reference, 메소드로 객체의 전달

• 추상 메소드, 추상 클래스(Abstract Class), 인터페이스(Interface)

• File IO 프로그램 개발

• JDBC 프로그램의 개발

• 파이썬 설치와 환경 설정,Anaconda (Python 3) 설치

• Conda를 이용한 Python 3 기반 가상환경 생성

• 내장 데이터 타입, 숫자, 시퀀스, 매핑, set 타입

• 연산자, 제어문의 실습, 함수의 제작 실습

• 모듈과 패키지, datetime 모듈, 상속, import

• 객체지향 프로그래밍, 클래스 제작

• Class 선언, 클래스 멤버, 메소드, 인스턴스 멤버, 메소드의 실습, 생성자, 소멸자, 모듈 분리

• try ~ except를 사용한 예외 처리

데이터베이스 요구사항 분석

• 실제 업무에 사용되는 문서에서 데이터베이스 요구사항 도출하기

• 사용자 인터뷰를 통해 수집된 요구사항을 업무 주제별로 분리

• 데이터 관리의 정확성을 위해 요구사항을 적절한 크기 또는 범위의 내용으로 분해 또는 통합

데이터베이스

구현

• DBMS의 개요, DBMS(Data Base Management System) 설치하기

• 계정의 생성, 권한 부여, DCL문, DML문, DDL문

• 조인, 서브쿼리사용, 뷰와 인덱스 처리

• 관계형 데이터베이스 모델링, 정규화와 JOIN

• Commit과 RollBack처리

• 사용자생성과 권한 부여

SQL 활용

• PL/SQL문법, 커서의정의, 프로시져, 함수를 사용한 처리

• 트리거, 뷰, 데이터베이스 Function 구현

• 트랜젝션과 권한 설정

• 기업데이터베이스 구축

• 데이터베이스 보안

요구사항 확인/

애플리케이션 요구사항 분석

• 요구사항의 파악, 요구 사항 정의(Defining Requirement)

• Usecase Diagram 작성 실습

• Usecase 제작에 따른 컨텐츠 구성도 등록

애플리케이션 설계

• 요구사항을 참고하여 비기능 요구사항 분석

• Application, DBMS, Framework등 시스템 간 연계 설계

• JSON, HTML등 시스템간 송수신 데이터 형식 설계

• Rest를 이용한 타시스템간 연동 설계

화면 설계

• HTML 파일의 제작 실습(H, BR, IMG, A, UL, OL, LI)

• 스크립틀릿(Scriptlet) 실습

• JSP 코드상에서의 태그의 사용, HTML 기반 JSP 결과 출력

• 표현식(Expression), P, DIV, SPAN, DL, DT, DD, pre, xmp 태그

• Page 지시자(Directive), class import, request 내부 객체 실습

• response 내부 객체, out 내부 객체, application 내부 객체의 사용

• GET, POST Form Data 전송 방식, TEXT, TEXTAREA, PASSWORD, CSS

• placeholder, autofocus, <SELECT> ~ <OPTION>, RADIO 태그

• CHECKBOX 태그

• CSS(Cascading Style Sheet)의 사용, SPAN, DIV 기본 사용법, A 태그

화면 구현(Javascript, jQuery, Bootstrap)

• Data Type, Variable, Operator(연산자), 제어문

• function(함수), 시스템 지원 전역 함수의 사용, 가변인수

• 객체 지향 프로그래밍

• Event의 처리(INPUT, BUTTON, SUBMIT)

• Ajax(Asynchronous JavaScript and XML), XMLHttpRequest 객체

• JSON(JavaScript Object Notation) 출력의 Ajax 처리

• Javascript framework jQuery 설치

• selector를 이용한 DOM Element(태그)의 검색

• jQuery Ajax 요청의 처리, GET, POST 방식과 한글 처리

• Bootstrap 활용

인터페이스 설계/인터페이스 구현

• Interface 구현과 추상화

• Interface 기반 빈의 생성 및 할당

• Spring Controller Interface 구현

• Spring Process, DAO Interface 구현

• MyBATIS Interface 구현

서버 프로그램 구현(JSP, Spring, Spring Boot 2)

• TOMCAT 8 Install

• JSP 스크립트 기본 문법, JSP 스크립틀릿 코드의 생성 및 실행

• Page 지시자(Directive), class import, request 내부 객체 실습

• response 내부 객체, out 내부 객체, application 내부 객체의 사용

• GET, POST Form Data 전송 방식

• CSS(Cascading Style Sheet)의 사용

• JSP 기반 공지사항의 제작 및 응용

• JSP 기반 회원 관련 제작

• JSP 기반 로그인/로그아웃, Cookie, Session의 활용

• STS(Spring Tool Suite) 설치(권장)

• Data Management(SQL Development) 설정

• servlet원리, servlet을 이용한 폼 데이터의 처리, Servlet 실습

• Spring기반 MVC의 원리, STS Spring MVC의 개발 구조 분석

• Maven 의존성 추가, Local 저장소의 설정, settings.xml

• EL(표현 언어, Expression Language)의 사용

• JSTL(JSP Standard TAG Library)의 사용

• DI(Dependency Injection)의 구현

• MyBATIS 설치 및 사용

• Spring 기반 공지사항의 제작 및 응용

• Spring 기반 자료실의 제작 및 응용

• Spring 기반 회원(관리자) 관련 기능의 제작 및 응용

• Spring boot 2 기반 공지사항의 제작 및 응용

• Spring boot 2 기반 자료실의 제작 및 응용

• Spring boot 2 기반 회원(관리자) 관련 기능의 제작 및 응용

• Filter, Interceptor의 활용

• AOP(Aspect Oriented Programming)의 구현

• Transaction 구현

• AOP + MyBATIS + Oracle기반 선언적 Trancation

통합 구현

• Github 회원 가입 설정, 저장소(Repository) 생성 및 삭제

• EGit 설정, 팀장이 Github에 공유할 프로젝트 생성

• test 프로젝트 최초로 등록하기(프로젝트 최초 공유)

• 팀장이 Github에 공유할 새로운 프로젝트 생성, 팀 프로젝트 등록하기

• 팀원이 Github에서 프로젝트 소스를 최초로 Eclipse(STS)P로 가져오기

• 개발 소스 통합

정보시스템 이행

• Ubuntu download 및 VMware Player 15.5.1 설정

• Ubuntu 18.04.4 LTS VMWare 설정

• TAR 명령어, JAVA, Tomcat 설치

• MariaDB 10.3.21 다운로드 및 설정

• 업로드할 프로젝트 설정

• 웹 서비스의 운영상의 분류,

• Linux 기반 웹 호스팅 서비스의 신청, DBMS의 설정

• FTP(File Transfer Protocol) 설정

• DBMS접속 및 테이블 생성, MariaDB Client HeidiSQL 설정

• FTP(File Transfer Protocol) 설정

• SSH 접속, 톰캣 서버 재시작

• 조건 그래프, 3차원 산점도 그래프 제작 실습

• ggplot2 package를 이용한 시각화

애플리케이션 테스트 수행(JUNIT)

• 요구사항을 기반으로 테스트 계획을 수립

• JAVA 테스트, 메소드 실행 추적을 위한 Eclipse 사용

• JSP, Beans(DAO, Process) 테스트

• Spring 4.3.20 + DataSource 테스트, spring-jdbc 모듈 추가 JUNIT 테스트

• Spring + MyBATIS + Oracle 테스트

• @RunWith, @ContextConfiguration, @Before, @Test, @After 테스트 실습

2

빅데이터 시스템 구축

빅데이터 플랫폼 요구사항 분석

• 빅데이터 플랫폼의 기능 및 비기능 요구사항에 대한 자료 수집 계획 수립

• 요구사항의 중요도 및 비즈니스 측면의 영향성을 분석하여 요구사항별 우선순위 지정

• 빅데이터 플랫폼 구축의 기능 및 비기능 요구사항과 제약사항을

정리하고 명세서 작성

빅데이터 플랫폼 아키텍처 설계

• 빅데이터 플랫폼 요구사항 명세서에 따라 빅데이터 플랫폼 구축에

필요한 하드웨어 및 소프트웨어 기능 자료를 검토하고 하드웨어와

소프트웨어 규격서를 작성

• 인프라구조 설계를 위하여 하드웨어와 소프트웨어 통합연동에서

고려해야 하는 사항을 검토

• 빅데이터 플랫폼 요구사항에 따른 규격서를 바탕으로 하드웨어

구조, 소프트웨어 구조를 설계

빅데이터 수집시스템 개발

• Flume플럼

• Chukwa척와

• Scribe스크라이브

• SQOOPSQl-to-hadOOP; 스쿱

• Kafka카프카

• OpenRefine오픈리파인

• JSONJavaScript Object Notation; 제이슨

• BSONBinary javaScript Object Notation; 비슨

• Thrift쓰리프트

• Protocol Buffers프로토콜 버퍼스

• Avro에이브로

빅데이터 저장시스템 개발

• HDFSHadoop Distributed File System

• DynamoDB다이나모DB

• MongoDBMONGOus DB; 몽고DB

• CouchDBCluster Of Unreliable Commodity Hardware DB; 카우치DB

• Cassandra카산드라

• HBaseHadoop dataBASE; H베이스

• RedisREmote DIctionary System; 레디스

• Riak리악

• Hypertable하이퍼테이블

• ZooKeeper주키퍼

빅데이터 처리시스템 개발

• Cascading캐스캐이딩

• Cascalog캐스칼로그

• Mrjob미스터잡

• S4Simple Scalable Streaming System

• MapR맵알

• Acunu아큐누

• Azkaban아즈카반

• Oozie우지

• Greenplum그린플럼

• EC2Elastic Compute Cloud

• R 프로그래밍 언어

• Pipes파이프

• Mechanical Turk미케니컬 터크; Mturk

• Datameer데이터미어

• InfoSphere BigInsights인포스피어 빅인사이트

데이터 분석

텍스트 데이터 분석

• 텍스트 마이닝 기술

• 오피니언 마이닝 기술

• 리얼리티 마이닝 기술

• 군집화 기술

• 소셜 네트워크 분석 기술

• 그래프 마이닝 기술

• 빅데이터를 처리하는 기존 알고리즘 변형 기술

• 최신 빅데이터 분석 연구

• 빅데이터 주요 분석 기술

탐색적 데이터 분석

• CSV, XLS, TXT: 공공데이터포털

• CSV 데이터

• 엑셀 데이터

• TXT 데이터

• XML과 JSON: 서울열린데이터광장

• XML 데이터

• JSON 데이터

• 데이터베이스

• dbplyr와 pool 패키지

• R 내장 데이터셋

빅데이터 분석 결과 시각화

• ggplot2 패키지

• ggplot2 구성 요소와 문법 구조

• ggplot2 치트시트

• ggThemeAssist 패키지

• ggplot2와 ggThemeAssist 함께 활용하기

머신러닝 기반 데이터 분석

• Jupyter Notebook 커널 연동, 개발 환경 구성

• 머신러닝 개론

• 선형 회귀(Linear Regression), 성적 예측 모델 구현

• 평균 제곱근 오차(RMSE: Root Mean Square Error)

• 정규 분포 난수의 생성, 균등 분포 난수의 생성

• 경사 하강법(gradient decent)

• 다중 선형 회귀(Multiple Linear Regression) 모델

• 로지스틱 회귀(Logistic Regression) 모델의 구현,

• 하이퍼파라미터 최적화

• 기울기 소실 문제와 활성화 함수, 손실 함수

• 수치 예측 모델의 개발

• 분류(Classification) 모델 개발

• 통계 및 기하기반 머신러닝 알고리즘

3

빅데이터 시스템 구축 프로젝트

빅데이터 시스템 구축 프로젝트

1. 파일럿 프로젝트 도메인 분석

2. 분산 환경의 실시간 빅데이터 분석 시스템 아키텍처 설계

3. 아키텍처에 따른 하드웨어 검토 및 개발, 테스트,운영환경 구축

4. 데이터 수집 관련 기술 검토

5. 데이터 저장소 데이터 수집 기능 구현

6. 웹크롤링 기반 데이터 수집 기능 구현

7. 수집 데이터와 하둡 연동 기능 구현

8. 데이터 적재 관련 기술 검토

9. 배치 기반 데이터 적재 기능 구현

10. 실시간 데이터 적재 기능 구현

11. 데이터 탐색 및 처리와 관련된 기술 검토

12. 데이터 탐색 기능 구현

13. 데이터 처리 기능 구현

14. 워크플로우를 활용한 데이터 처리 자동화

15. 데이터 분석 관련 기술

16. 실시간 데이터 분석 기능 구현

17. 분석 결과를 외부 시스템과 연동하는 기능 구현