⌨️

파티셔닝 샤딩

•

트랜잭션 롤백이 적용되어 UserServiceTest 클래스의 testTransactionRollback() 테스트 케이스가 통과한다.

•

트랜잭션 서비스와 애플리케이션 서비스가 분리되었다.

•

파티셔닝을 할 때 나누는 방법은 여러가지이다.

◦

지역/기수/해싱

•

둘의 성능차이

◦

select * from fruit where fruit_name=’ap%’;

◦

select fruit_name from fruit where fruit_name=’ap%’;

파티셔닝 (Partitioning)

◦

정의:

하나의 데이터베이스 내에서 큰 테이블이나 데이터를 여러 작은 단위(파티션)로 분할하는 방법입니다.

◦

특징:

▪

논리적/물리적 분할:

같은 서버나 데이터베이스 인스턴스 내에서 데이터를 분할하여 관리할 수 있습니다.

▪

관리 효율성:

데이터 백업, 인덱스 생성, 쿼리 최적화 등 관리 측면에서 유리합니다.

▪

예시:

날짜, 범위, 해시값 등에 따라 테이블을 여러 파티션으로 나누는 경우.

샤딩 (Sharding)

◦

정의:

데이터베이스를 여러 서버(혹은 노드)에 분산하여 저장하는 방식입니다. 즉, 파티셔닝의 한 형태로 볼 수 있지만, 분산 시스템에서 주로 사용됩니다.

◦

특징:

▪

분산 저장:

데이터가 여러 물리적 서버에 걸쳐 저장되므로, 단일 서버의 성능 한계를 극복하고 수평적 확장이 가능합니다.

▪

독립적인 관리:

각 샤드는 독립적인 데이터베이스 인스턴스로 운영되어 장애 격리, 부하 분산 등 분산 처리의 이점을 제공합니다.

▪

예시:

대규모 사용자 기반의 웹 애플리케이션에서, 사용자의 ID나 지역 등을 기준으로 데이터를 여러 서버에 분산 저장하는 경우.

요약

◦

파티셔닝:

단일 데이터베이스 내에서 데이터를 여러 파티션으로 나누어 관리하는 기법. 주로 관리 효율성이나 성능 최적화를 위해 사용됨.

◦

샤딩:

여러 서버에 데이터를 분산 저장하여, 시스템의 수평적 확장과 부하 분산을 달성하기 위한 기법.

이처럼 파티셔닝은 같은 시스템 내의 데이터 분할을 의미하며, 샤딩은 분산 시스템 환경에서 데이터를 여러 서버에 나누어 저장하는 형태로 볼 수 있습니다.

노드 분산

"노드를 분산한다"는 말은 데이터나 작업을 하나의 중앙 서버에 집중시키지 않고, 여러 개의 독립적인 서버(노드)로 나누어 저장하거나 처리하는 것을 의미합니다. 구체적으로:

•

여러 서버에 데이터 분산:

예를 들어, 대용량 데이터베이스에서 데이터를 하나의 서버에 모두 저장하는 대신, 데이터를 여러 서버(노드)에 분산하여 저장함으로써 한 서버에 부하가 집중되지 않게 합니다.

•

수평적 확장:

노드를 분산함으로써 필요에 따라 서버를 추가(스케일 아웃)하여 전체 시스템의 성능을 높일 수 있습니다. 한 서버에 문제가 생겨도 다른 서버가 계속 작동하므로 장애에 강한 시스템을 구축할 수 있습니다.

•

부하 분산:

사용자 요청이나 작업을 여러 노드에 분산시켜 처리하면, 각 노드에 걸리는 부하가 줄어들어 응답 속도와 안정성이 개선됩니다.

즉, "노드를 분산한다"는 것은 시스템을 여러 서버에 나누어 분산시켜, 성능 향상, 확장성, 그리고 장애 대응력을 높이는 분산 시스템의 기본 개념을 의미합니다.

질문 목록

•

그러면 저 테이블에 대한 모든 조회마다 파티션 기준이 꼭 들어가야겠네요? 또 파티션이 너무 많아질 경우에는 어떻게 되나요??

•

파티셔닝 기준에 따라 일부 쿼리는 조회 성능이 오히려 저하될 수도 있으려나요?

•

샤딩의 기준은 어떻게 잡나요? 샤딩을 통해 여러 서버로 DB를 분할하면 사용자가 샤딩 기준에 따라 Datasource를 정해줘야하나요?

•

샤딩을 진행하면 db 서버를 분리하는건데 트랜잭션 관리는 따로 진행해주어야하는건가요?

•

레인지 파티셔닝 != 샤딩인건가요??,,

•

DB 는 결국 하나의 파일로 관리한다.

페이징 처리

•

offset 

◦

스킵한다 라고 표현

◦

limit 을 카운트해야 한다(다 읽음).

•

cursor

◦

where 절을 먼저 읽기 때문에 데이터가 많아졌을 때 유리하다

◦

단점은??

서버 캐시, 검색 엔진, 메시지 큐

요구사항 힌트

•

20개는 cache 를 이용한다.

•

검색 엔진을 이용한다.

•

상품 정보가 변경되었을 때

◦

write 한 뒤

▪

메시지 큐

▪

캐시에 바로 write

고민할 부분

•

서비스 데이터 특성

•

서비스에서 특별히 고려해야 할 중요 기능

•

개선한 인프라 아키텍처에서 발생할 수 있을 것으로 예상되는 문제

•

문제에 대한 해결 방안 아이디어

•

규모 확장성(scalability)

•

성능(performance)