일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 코테
- 개발
- apache iceberg
- 코엑스맛집
- Data Engineering
- Linux
- HIVE
- 백준
- BigData
- 코딩
- 여행
- Data Engineer
- 자바
- hadoop
- Kafka
- 알고리즘
- Trino
- 용인맛집
- java
- bigdata engineer
- pyspark
- Apache Kafka
- 맛집
- Iceberg
- 영어
- 삼성역맛집
- Spark
- bigdata engineering
- 프로그래머스
- 코딩테스트
- Today
- Total
목록지구정복과정 (532)
지구정복

1. 슈퍼타입/서브타입 모델의 성능고려 방법 가. 슈퍼/서브타입 데이터 모델의 개요 Extended ER모델이라고 부르기도 하며, 최근에 데이터 모델링을 할 때 자주 쓰이는 모델링 방법 업무를 구성하는 데이터의 특징을 공통(슈퍼타입)과 차이점(서브타입)의 특징을 고려하여 효과적으로 표현가능 나. 슈퍼/서브타입 데이터 모델의 변환 슈퍼/서브타입의 잘못된 변환 사례 트랜잭션은 항상 일괄로 처리하는데 테이블은 개별로 유지되어 Union연산에 의해 성능 저하 트랜잭션은 항상 서브타입 개별로 처리하는데 테이블은 하나로 통합되어 있어 불필요하게 많은 양의 데이터가 집약되어 있어 성능이 저하되는 경우 트랜잭션은 항상 슈퍼+서브 타입을 공통으로 처리하는데 개별로 유지되어 있거나 하나의 테이블로 집약되어 있어 성능이 저..

1. 대량 데이터발생에 따른 테이블 분할 개요 잘 설계되어 있는 데이터 모델이라고 할지라도, 대량의 데이터가 하나의 테이블에 집약되어 있고, 하나의 하드웨어 공간에 저장되어 있으면 성능저하가 발생함 또한 하나의 테이블에 매우 많은 컬럼이 존재하여 디스크의 많은 블록을 점유하는 경우에도 성능이 저하될 수 있음 대량의 데이터가 저장된 테이블의 인덱스의 경우에도 인덱스의 트리구조가 너무 커져 DML처리를 할 때 성능이 저하되는 경우가 발생함(인덱스 뎁스가 깊어지면 조회시에도 성능저하가 발생할 수 있음) *참고 - 로우체이닝(Row Chaining), 로우마이그레이션(Row Migration) 로우체이닝(Row Chaining) : 로우 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개..

1. 반정규화를 통한 성능향상 전략 가. 반정규화의 정의 반정규화(=역정규화, De-Normalization): 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발(Development)과 운영(Maintenance)의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미 좁은 의미 : 데이터를 중복하여 성능을 향상시키기 위한 기법 넓은 의미 : 성능을 향상시키기 위해 정규화된 데이터 모델에서 중복, 통합, 분리 등을 수행하는 모든 과정 참고 : 비정규화는 정규화를 수행하지 않음을 의미 반정규화를 설계단계에서 수행하지 않는 경우 아래와 같은 현상발생 성능이 저하된 데이터베이스가 생성될 수 있다. 구축단계나 시험단계에서 반정규화를 적용할 때 수정에 따른 노력비용이 많이 들..

1. 정규화를 통한 성능 향상 전략 정규화는 기본적으로 데이터의 중복을 제거하여 주고, 데이터가 관심사별로 처리되는 경우가 많아 정규화를 통해서 대체적으로 성능이 향상됨 데이터베이스에서의 성능은 DML작업성능과 Select 작업성능으로 크게 구분됨 DML작업성능과 Select작업성능은 Trade-off 되는 경우가 많음 아래그림을 통해 일반적으로 정규화된 모델은 DML작업시 반정규화된 모델에 비해 처리성능이 향상됨 단, Select작업성능은 초리 조건에 따라 저하될 수도 있음 정규화 vs 반정규화 반정규화만이 조회성능을 향상시킨다는 고정관념에서 탈피해야함, 정규화된 경우가 오히려 성능이 뛰어난 경우가 많음 2. 반정규화된 테이블의 성능저하 사례1 위 그림에서 화살표 왼쪽은 반정규화(2차 정규화:모든속성은..