11장 뉴스 피드 시스템 설계

•

뉴스 피드

◦

지속적으로 업데이트되는 스토리들

◦

사용자 상태 정보, 사진, 비디오, 링크, 앱 활동, 팔로잉, 페이지, 좋아요를 포함

문제 이해 및 설계 범위 확정

•

중요 기능

◦

새로운 스토리를 올리고, 다른 사람의 스토리를 본다

•

스토리 정렬

◦

최신순

•

사용자가 가질 수 있는 친구는 최대 5000

•

트래픽 규모는 매일 천만명(10M DAU)

•

스토리에는 이미지나 비디오 등의 미디어 파일 포함 가능

개략적 설계안

피드 발행

•

사용자가 스토리를 포스팅하면 해당 데이터를 캐시와 DB에 기록

•

새 포스팅은 친구의 뉴스 피드에 전송

•

POST /v1/feed

•

인자: body, Auth 헤더

•

포스팅 저장

◦

새 포스팅을 DB 와 캐시에 저장한다.

•

포스팅 전송

◦

새 포스팅을 친구의 뉴스 피드에 푸시한다. 이 데이터는 캐시에 보관하여 빠르게 읽을 수 있도록

•

알림

◦

친구들에게 새 포스팅을 알린다.

피드 생성

•

뉴스 피드는 모든 친구의 포스팅을 최신순으로 모아서 만듦

•

GET /v1/feed

•

인자: Auth 헤더

•

뉴스 피드 서비스: 캐시에서 뉴스 피드를 가져온다.

•

뉴스 피드 캐시: 뉴스 피드를 렌더링할 때 필요한 피드 ID 를 보관

피드 발행 상세 설계

•

웹 서버

◦

인증과 포스팅 수 제한

•

포스팅 전송(fanout) 서비스

◦

어떤 사용자의 새 포스팅을 그 사용자와 친구 모두에게 전달하는 과정

쓰기 시점 팬아웃(push 모델)

•

새로운 포스팅을 기록하는 시점에 뉴스 피드 갱신, 즉 포스팅이 완료되면 해당 사용자의 캐시에 해당 포스팅 기록

•

장점

◦

뉴스 피드가 실시간으로 갱신

◦

새 포스팅이 기록되는 순간 뉴스 피드가 이미 갱신되므로 뉴스 피드를 읽는 데 드는 시간이 짧아진다.

•

단점

◦

친구가 많은 사용자의 경우 많은 시간이 소요될 수 있는 hotkey 문제(친구 목록 조회, 조회된 친구 모두 갱신)

◦

서비스를 자주 이용하지 않는 사용자의 피드까지 갱신

읽기 시점 팬아웃(pull 모델)

•

피드를 읽는 시점에 뉴스 피드 갱신

•

장점

◦

활성화된 사용자에게만 자원 소모가 가능

◦

hotkey 문제 방지

•

단점

◦

뉴스 피드를 읽을 때 많은 시간이 소요됨

설계 결론

•

조회가 많이 발생하므로 대부분의 사용자에 대해서는 푸시 모델 사용

•

친구나 팔로워가 아주 많은 사용자의 경우 풀 모델을 사용하여 시스템 과부하 방지

•

안정 해시를 통해 요청과 데이터를 고르게 분산하여 핫키 문제를 줄인다.

그래프 DB 에서 친구 ID 목록 조회, 그래프 DB 는 친구 관계나 친구 추천 관리 적합

친구 ID 목록으로 사용자 정보 캐시에서 친구 정보 조회

친구 정보에서 mute 했는지 확인

일부 사용자에게만 보이기로 설정했는지 확인

친구 목록과 새 스토리 포스팅 ID 를 메시지 큐에 넣는다.

작업 서버가 메시지 큐에서 데이터를 꺼내 뉴스 피드 캐시에 넣는다. 뉴스 피드 캐시는 <포스팅 ID, 친구 ID> 형태의 맵

피드 읽기 상세 설계

•

이미지나 비디오와 같은 미디어 파일은 CDN 에 저장

뉴스 피드 캐시에서 포스팅 ID 목록 조회

뉴스 피드에 표시할 사용자 정보를 사용자 캐시와 포스팅 캐시에서 가져와 뉴스 피드 목록 반환

캐시 구조

•

뉴스 피드 시스템 핵심 컴포넌트

•

캐시를 다섯 계층으로 나눔

•

뉴스 피드: 뉴스 피드의 ID 보관

•

컨텐츠: 포스팅 데이터 보관, 인기 컨텐츠는 따로 보관

•

소셜 그래프: 사용자 간 관계 정보 보관

•

행동: 포스팅에 대한 사용자 행위 정보 보관(좋아요, 답글 등)

•

횟수: 좋아요 수, 팔로워 팔로잉 수 등 정보 보관

마무리

설계를 진행하고 기술을 선택할 때는 그 배경에 어떤 트레이드 오프가 있는지 잘 이해하고 설명할 수 있어야 한다.

논의해 보면 좋을 것들

•

서버 규모 확장, SQL vs NoSQL, DB 다중화, 일관성 모델, DB 샤딩

•

가능한 많은 데이터를 캐시할 방법

•

메시지 큐로 컴포넌트 사이 결합도 낮추기