가상 면접 사례로 배우는 대규모 시스템 설계 기초 中 4장. 처리율 제한 장치의 설계를 읽으며 기록한 포스팅입니다.들어가며Resilience4j Rate Limiter를 사용해 보면서 ip당 특정 엔드포인트 처리율 제한을 구현한 적이 있었다.Rate Limiter에는 어떤 종류가 있고, 어떤 사례에서 쓰이는지 알아보고 싶던 때에 좋은 책에 필요한 목차가 있어 해당 내용을 정리하였다.처리율 제한(Rate Limiter)서버의 부하를 제어하기 위해 단위 시간당 허용 가능한 요청 수를 제한하는 기술이다.예를 들어 다음과 같은 제한을 둘 수 있다.SNS 서비스에서 하루 글쓰기 횟수 제한친구 추가, 팔로우 요청 횟수 제한API 호출 횟수 제한이러한 제한을 두지 않으면 서비스는 짧은 시간 내에 부하가 급격히 증가하..

Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.Kafka의 확장 기능에 대해 알아보며,이를 어떻게 활용하는 게 좋을 지 몇 가지의 케이스를 통해 알아보도록 한다.Kafka Connect외부 소스와의 연동 : 카프카-카프카 상호연결외부 시스템과 Kafka 간의 데이터 수집 / 전송• Source Connectors: 외부 시스템에서 데이터를 읽어와 Kafka에 넣음.• Sink Connectors: Kafka에서 데이터를 읽어와 외부 시스템에 씀.• Converters: 데이터를 Kafka와 외부 시스템 간에 변환(JSON, Avro 등).• Transforms (SMT): 스트림 데이터를 실시간으로 수정.Kafka St..

Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.enable.auto.commitJava Consumer Api에서 오프셋은 정기적으로 커밋된다디폴트로 at-least once 전략 사용오프셋은 .poll()을 호출했을 때와 auto.commit,interval.ms 이 경과되었을 때 커밋된다auto.commit.interval.ms 는 지정하지 않는다면 5000mspoll()을 부르기 전에 메시지가 확실히 처리되도록 보장할 것그렇지 않은 경우에는 enable.auto.commit을 비활성화하고 대부분의 처리를 별도의 스레드로 옮겨야 함그리고 적절한 오프셋을 수동으로 설정하여 .commitSync() 또는 .commitA..

Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.ACKS정상적으로 메시지를 수신했는지에 대한 플래그ACK = 13.0 버전 미만은 default"리더"로부터 ACK를 수신하면 제대로 Write가 수행되었다고 판단한다만일 리더가 다운된다면, replica들이 제대로 메시지를 복제하지 않았을 가능성이 있다.ACK가 수신되지 않았다면 producer는 재시도ACK = all(-1)3.0 버전 이후부터 default모든 ISR(in-sync Replica)에서 메시지가 수신됨min.insync.replicasACKS=all로 메시지를 보낼 때 최소 동기화된 파티션 복제본(리더 포함)의 수이는 브로커에 기입min.insync.re..

진행 사항현재까지 진행된 상황은Route53에서 도메인 구입(https://diggingcode.tistory.com/50)SSL 인증서 발급(https://diggingcode.tistory.com/51)ALB 생성이다.이번 포스팅에서는 https://diggingcode.tistory.com/52 에 이어대상 생성 & ALB 내 리스너를 설정하며 HTTPS를 적용해주고자 한다. 목표현재 달성하고자하는 바를 간단하게 설명해 보자면 다음과 같다.구매한 sample.com 도메인의 subdomain을 사용jenkins.sample.com를 EC2 3333 포트에 라우팅api.sample.com를 EC2 8080 포트로 라우팅발급받은 인증서를 사용하여 HTTPS 접속을 가능케 함진행 과정서브도메인 생성 및 ..

현재까지 진행된 상황은Route53에서 도메인 구입(https://diggingcode.tistory.com/50)SSL 인증서 발급(https://diggingcode.tistory.com/51)이다.이번 포스팅에서는 EC2에 라우팅 할 ALB를 생성해 준 다음 SSL을 ALB에 적용시켜보고자 한다.ALB + ACM 를 선택한 이유NGINX를 통한 리버스 프록시 설정 + certbot 라이브러리를 통하여 인증서를 발급받는 방법도 있다.그러나 유효기간이 존재해 갱신해주어야 하는 번거로움이 있기도 했다. (스크립트를 통해 갱신도 가능)이런 점과 더불어 ALB의 추가적인 기능을 테스트 해 보고 싶기도 했기 때문에 ACM에서 발급받은 인증서를 적용시켜 보았다.추후 관리 차원에서도 ALB를 사용하는 것이 더 ..