ETT(Extraction, Transformation, Transportation)

ETT(Extraction, Transformation, Transportation)은 소스데이터로부터 데이터를 추출하고 정제/변환하여 타겟DB에 적재하는 기능을 의미한다.

 

이 ETT는 DW 아키텍쳐 구성요소간 데이터 일관성 및 통합성을 유지시키는 역할을 수행한다.

 

ETT의 주요 절차는 다음과 같다.

 

1. 데이터 추출 : 데이터 원천으로부터 필요한 데이터를 추출하는 과정

 - 레코드 변경시간, DBMS의 로그정보 및 사용자로그 정보 이용

 

2. 데이터 전달 : 데이터를 데이터웨어하우스에 전달하는 과정

 - 이기종간 데이터 전달시 오류 없이 수행될수 있도록 조치 필요, 큐 및 미들웨어 사용

 

3. 데이터 정제 : 원천 데이터의 정합성을 검증하여 정확한 데이터로 만드는 과정

 - 필수 데이터 처리, 데이터 타입 처리, 날짜 금액등 단위 처리, 범위 처리, 중복 처리등등

 

4. 데이터 변형 : 소스 데이터의 형식, 내용을 검증하여 가치 있는 데이터로 만드는 과정

 - 데이터 표준화, 완전성, 정확성, 유효성 만족

 

5. 데이터 입력 : 추출, 전달, 정제, 변형이 완료된 데이터를 최종적으로 데이터웨어하우스 DB에 입력하는 과정

 - 입력시간 최소화가 가장 중요

 

6. 데이터 가공 : 최소 정보들을 가강하여 집계나 통계 데이터를 생성하는 과정

 

7. 데이터 검증 : 데이터 품질에 대한 주기적 정합성 겅증 과정

 - 전체 검증, 세부 검증