[Cloud] 5주차-1. 반정형 데이터(JSON), Azure Storage

⭐ 반정형 데이터(Semi-structured Data)

유연하지만 구조가 일정하지 않은 데이터

특징

• 정해진 테이블 구조가 없음
• 데이터마다 필드 구조가 달라도 저장 가능
• key-value 형태로 표현되는 경우가 많음
• 배열, 객체 등 다양한 구조 포함
• IoT 및 텔레매틱스, 소매 및 마케팅, 게임, 웹 및 모바일 등 다양한 분야에서 사용

대표 데이터 포맷

• JSON: 데이터를 표현하기 위한 경량 데이터 교환 형식
• AVRO: 스키마 기반의 데이터 직렬화 시스템
• ORC: 컬럼형 저장 방식, 효율적인 압축, 대규모 데이터 처리와 분석에 최적화된 파일 포맷
• Parquet: 컬럼 기반 저장 방식과 효율적인 압축, 다양한 빅데이터 도구와의 호환성과 높은 쿼리 성능을 제공

⭐ JSON

데이터를 표현하기 위한 가볍고 단순한 구조의 포맷

구조

• 객체: 이름(key)과 값(value) 쌍
• 배열: 순서가 있는 리스트

{
  "name": "Jane Smith",
  "age": 35,
  "hobbies": ["reading", "swimming"]
}

특징

• 가독성: 사람이 읽고 쓰기 쉬운 텍스트 기반 형식
• 언어 독립성: 대부분의 프로그래밍 언어에서 JSON 파싱 및 생성 가능
• 경량성: XML에 비해 더 작은 크기로 데이터 표현 가능

데이터 타입

• string
• number
• boolean (true / false)
• null
• object
• array

장점

• 구조가 직관적이라 이해하기 쉽다
• 웹 환경에서 빠르게 동작한다
• 다양한 시스템에서 동일하게 사용 가능하다

단점

• 복잡한 데이터 타입을 직접 표현하기 어렵다
• 주석을 쓸 수 없다

 

⭐ Azure Storage (비정형 데이터 저장)

주요 Storage 종류

• Blob: 이미지, 영상, 로그 저장
• File: 파일 공유 시스템
• Queue: 메시지 처리
• Table: NoSQL 데이터 저장
• Disk: VM 디스크

 

⭐ Azure Storage Accounts (스토리지 계정)

Microsoft Azure에서 클라우드 데이터를 저장하고 관리하기 위한 기본 단위로, 

안전하고 확장 가능하며 다양한 데이터 유형에 적합한 저장 서비스를 제공

• 확장성 및 가용성: 대규모 데이터도 자동으로 확장되며, 안정적으로 서비스 제공
• 다양한 데이터 유형 지원: 구조화 / 비정형 / 반정형 데이터 모두 저장 가능
• 보안 및 규정 준수: 데이터 암호화, 접근 제어 등 다양한 보안 기능 제공
• 데이터 복제 옵션: 데이터 손실 방지 및 안정성 확보
  • LRS: 동일 지역 내 복제
  • GRS: 다른 지역까지 복제
  • RA-GRS: 읽기 전용 접근 가능