일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- HIVE
- java
- bigdata engineer
- 맛집
- 여행
- bigdata engineering
- 삼성역맛집
- 코엑스맛집
- Iceberg
- 영어
- 자바
- 백준
- Kafka
- 코딩
- 개발
- hadoop
- pyspark
- Data Engineer
- Trino
- Linux
- Spark
- BigData
- 코딩테스트
- Data Engineering
- apache iceberg
- 프로그래머스
- 용인맛집
- 코테
- Apache Kafka
- 알고리즘
- Today
- Total
목록지구정복과정 (531)
지구정복

1. 대량 데이터발생에 따른 테이블 분할 개요 잘 설계되어 있는 데이터 모델이라고 할지라도, 대량의 데이터가 하나의 테이블에 집약되어 있고, 하나의 하드웨어 공간에 저장되어 있으면 성능저하가 발생함 또한 하나의 테이블에 매우 많은 컬럼이 존재하여 디스크의 많은 블록을 점유하는 경우에도 성능이 저하될 수 있음 대량의 데이터가 저장된 테이블의 인덱스의 경우에도 인덱스의 트리구조가 너무 커져 DML처리를 할 때 성능이 저하되는 경우가 발생함(인덱스 뎁스가 깊어지면 조회시에도 성능저하가 발생할 수 있음) *참고 - 로우체이닝(Row Chaining), 로우마이그레이션(Row Migration) 로우체이닝(Row Chaining) : 로우 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개..

1. 반정규화를 통한 성능향상 전략 가. 반정규화의 정의 반정규화(=역정규화, De-Normalization): 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발(Development)과 운영(Maintenance)의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미 좁은 의미 : 데이터를 중복하여 성능을 향상시키기 위한 기법 넓은 의미 : 성능을 향상시키기 위해 정규화된 데이터 모델에서 중복, 통합, 분리 등을 수행하는 모든 과정 참고 : 비정규화는 정규화를 수행하지 않음을 의미 반정규화를 설계단계에서 수행하지 않는 경우 아래와 같은 현상발생 성능이 저하된 데이터베이스가 생성될 수 있다. 구축단계나 시험단계에서 반정규화를 적용할 때 수정에 따른 노력비용이 많이 들..

1. 정규화를 통한 성능 향상 전략 정규화는 기본적으로 데이터의 중복을 제거하여 주고, 데이터가 관심사별로 처리되는 경우가 많아 정규화를 통해서 대체적으로 성능이 향상됨 데이터베이스에서의 성능은 DML작업성능과 Select 작업성능으로 크게 구분됨 DML작업성능과 Select작업성능은 Trade-off 되는 경우가 많음 아래그림을 통해 일반적으로 정규화된 모델은 DML작업시 반정규화된 모델에 비해 처리성능이 향상됨 단, Select작업성능은 초리 조건에 따라 저하될 수도 있음 정규화 vs 반정규화 반정규화만이 조회성능을 향상시킨다는 고정관념에서 탈피해야함, 정규화된 경우가 오히려 성능이 뛰어난 경우가 많음 2. 반정규화된 테이블의 성능저하 사례1 위 그림에서 화살표 왼쪽은 반정규화(2차 정규화:모든속성은..

1. 성능 데이터 모델링의 정의 성능이 저하되는 데이터모델은? 잘못 설계된 데이터 모델구조로 인한 성능저하 데이터가 대용량으로 누적 됨에 따라 발생하는 성능저하 잘못 생성된 인덱스로 인한 성능저하 2. 성능 데이터 모델링 수행시점 데이터의 증가가 빠를수록 성능저하에 따른 성능개선비용이 기하급수적으로 증가함 3. 성능 데이터 모델링 고려사항 데이터 모델링을 할 때 정규화를 정확하게 수행한다. 정규화된 모델은 데이터를 주요 관심사별로 분산시키는 효과가 있기 때문에 그 자체로 성능을 향상시키는 효과가 존재 데이터베이스 용량산정을 수행한다. 어떤 엔터티(테이블)에 데이터가 집중되는지 파악가능 데이터베이스에 발생되는 트랜잭션의 유형을 파악한다. CRUD 매트릭스, 시퀀스 다이어그램 등을 이용하여 파악 화면에서 처..