[Cloud] 3주차-1. 데이터

⭐ 데이터의 구분

구조화 데이터 (Structured Data)

정해진 스키마에 맞춰 저장된 데이터

• Table 형태
• 검색, 분석이 쉬움
• 예시: DB 테이블, 엑셀

반구조화 데이터 (Semi-structured Data)

형식은 있지만, 고정되어 있지 않은 데이터

• Document 형태
• 태그나 키로 구조를 표현
• 예시: JSON, AVRO, ORC, Parquet

비구조화 데이터 (Unstructured Data)

정해진 구조가 전혀 없는 데이터

• File 형태
• 분석하려면 추가 처리 필요
• 예시: 이미지, 영상, 음성, 자유 텍스트

 

⭐ OLTP(온라인 거래 처리)와 OLAP(온라인 분석 처리)

OLTP(Online Transaction Processing)

• '운영'계 데이터 및 데이터를 처리하는 방법을 의미
• 트랜잭션을 DB 서버가 처리하고, 그 결과를 요청한 사용자에게 결과값을 되돌려주는 과정
• 데이터는 한번에 한 트랜잭션으로 저장

OLAP(Online Analytical Processing)

• '분석'계 데이터 및 데이터를 처리하는 방법을 의미
• 데이터 웨어하우스, DB에 저장되어 있는 데이터를 분석하여 사용자에게 유의미한 정보를 제공해주는 처리 방법
• 데이터는 큐브에 주기적으로 로드, 집계, 저장
• * 큐브: 다차원 데이터 분석을 위한 구조

 

⭐ 트랜잭션 워크로드

조직의 활동과 관련된 상호 작용을 추적하는 정보

ACID 특성 (트랜잭션의 4가지 핵심)

• 원자성(Atomicity): 전부 성공하거나, 전부 실패
• 일관성(Consistency): DB는 항상 정해진 규칙을 만족하는 상태 유지
• 격리성(Isolation): 동시에 여러 트랜잭션 실행 시 서로 영향을 주지 않음
• 영속성(Durability): 한 번 완료된 데이터는 영구적으로 저장

 

⭐ 분석 워크로드

데이터 분석 및 의사결정을 위해 사용하는 처리 방식

저장된 데이터를 기반으로 의미 있는 정보를 도출하는 과정

특징

• 요약: 데이터를 집계하여 핵심 정보 제공
• 추세: 시간 흐름에 따른 변화 분석
• 비즈니스 정보: 의사결정에 필요한 인사이트 제공

일괄 처리 vs 스트림 처리

일괄 처리(Batch Processing)	스트림 처리(Strem Processing)
데이터를 모아서 한 번에 처리하는 방식	새 데이터가 도착하면 즉시 실시간으로 처리하는 방식
실시간 처리가 필요하지 않은 작업에 사용	빠른 응답이 필요한 상황에서 사용

 

⭐ 비관계형 데이터

테이블 형식이 아닌 유연한 구조의 데이터

특징

• 필드가 다른 엔티티를 하나의 컬렉션에 함께 저장 가능
• 테이블 형식이 아닌 다양한 스키마 구조를 가짐
• 각 필드는 이름(키)으로 정의되는 경우가 많음
• IoT 및 텔레매틱스, 소매 및 마케팅, 게임, 웹 및 모바일 등 다양한 분야에서 사용

 

⭐ NoSQL(비관계형 데이터베이스)

종류	설명	특징	예시
Key-Value	키(Key)와 값(Value) 형태로 데이터를 저장	구조가 단순하고 조회 속도가 빠름	Redis
Document	JSON과 같은 문서 형태로 데이터를 저장	데이터마다 다른 구조 저장 가능	MongoDB
Column (Wide Column)	컬럼 단위로 데이터를 저장	대량 데이터 처리에 유리	Cassandra
Graph	노드와 관계로 데이터를 표현	데이터 간 관계 분석에 적합	Neo4j