7장. 분산 시스템을 위한 유일 ID 생성기 설계 분산 시스템을 위한 유일 ID 생성기 설계 관계형 DB의 Auto Increment 키는 분산환경에서는 한개의 DB서버로는 힘들디. 여러 DB 서버의 경우 지연 시간을 낮추기가 힘들다. 분산 시스템에서 유일성이 보장되는 방법 다중 마스터 복제 UUID 티켓 서버 트위터 스노플레이크 접근법 다중 마스터 복제 DB의 Auto_increment 기능을 활용하는방법이다 다음 id의 값이 1만큼 증가시켜 얻는것이 아닌, k만큼 증가시킨다.(k는 서버의 개수이다.) 해당 서버가 이전 ID 값에 전체 서버의 수 K를 더한 값이 생성된다. DB개수를 늘리면 초당 생산 가능 ID 개수를 늘릴수 있지만 단점이 존재한다. 단점 여러 데이터 센터에 걸쳐 규모를 늘리기 어려움 ID의 유일성은 보장되지만 그 값이 시간 흐름에 맟.. 대규모 시스템 설계 2023. 11. 26. 22:55
5장. 안정해시 5장. 안정해시해시 키 재배치 문제서버들에 부하를 균등하게 나누는 보편적인 방법ServerIndex = hash(key) % N(서버개수)이 방법은 서버 풀 크기가 고정되어 있고, 데이터 분포가 균동할 때는 잘 동작한다.서버가 추가되거나 기존 서버가 삭제되는 경우 N의 개수가 변경되어 데이터의 분배가 한쪽으로만 치우질수 있는 문제가 발생한다.안정 해시수평적 규모 확장성을 달성하기 위해서 요청 또는 데이터를 서버에 균등하게 나누기 위한 보편적인 기술정의해시 키 재배치 문제를 효과적으로 해결할 수 있는 기술.안정 해시는 해시 테이블의 크기가 조정될 때 평균적으로 오직 K(키의개수)/N(슬롯개수)개의 키만 재배치하는 해시 기술전통적 해시 테이블은 슬롯의 수가 변경되면 대부분의 키를 재배치작동원리해시 공간과 해.. 대규모 시스템 설계 2023. 11. 19. 22:57
4장. 처리율 제한장치 설계 4장.처리율제한장치설계 사례 - 사용자는 초당 2회 이상 새 글을 올릴 수 없다. - 같은 IP 주소로 하루에 10개 이상의 계정을 생성할 수 없다. - 같은 디바이스로 똑같은 글에 추천을 할 수 없다 처리율 제한 장치를 적용한다면 DoS에 의한 자원 고갈 방지 서버를 많이 두지 않아도 되며, 우선순위가 높은 API에 자원 할당이 더 자유로워 질수 있으므로 비용절감 서버 과부화 방지 처리율 제한 장치의 위치선정 API 서버와 같은 위치 중간에 미들웨어 처리 제한 장치를 두기 보통 클라우드 MSA경우 해당 위치의 API 게이트웨이 라고 불리는 컴포넌트에 구현 처리율 제한, SSL 종단, 사용자 인증, IP 허용목록, 관리의 기능을 담당 처리율 제한 알고리즘 토큰 버킷 버킷에 담을 수 있는 토큰의 개수는.. 대규모 시스템 설계 2023. 11. 19. 22:29
임시 4장.처리율제한장치설계 사례 - 사용자는 초당 2회 이상 새 글을 올릴 수 없다. - 같은 IP 주소로 하루에 10개 이상의 계정을 생성할 수 없다. - 같은 디바이스로 똑같은 글에 추천을 할 수 없다처리율 제한 장치를 적용한다면 DoS에 의한 자원 고갈 방지 서버를 많이 두지 않아도 되며, 우선순위가 높은 API에 자원 할당이 더 자유로워 질수 있으므로 비용절감 서버 과부화 방지 처리율 제한 장치의 위치선정 처리율 제한 알고리즘 토큰 버킷 장점 구현이 쉽다 메모리 사용 측면에서 효율적 짧은 시간에 집중되는 트래픽 처리 가능, 버킷에 남아있는 토큰이 있기만 하면 요청은 시스템에 전달된다. 단점 버킷 크기와 토큰 공급률을 적절히 튜닝하는 것이 엄청 까다로울것이다. 누출 버킷 고정 윈도 카운터 이동 윈도 로.. 대규모 시스템 설계 2023. 10. 26. 22:35
