Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.Kafka의 확장 기능에 대해 알아보며,이를 어떻게 활용하는 게 좋을 지 몇 가지의 케이스를 통해 알아보도록 한다.Kafka Connect외부 소스와의 연동 : 카프카-카프카 상호연결외부 시스템과 Kafka 간의 데이터 수집 / 전송• Source Connectors: 외부 시스템에서 데이터를 읽어와 Kafka에 넣음.• Sink Connectors: Kafka에서 데이터를 읽어와 외부 시스템에 씀.• Converters: 데이터를 Kafka와 외부 시스템 간에 변환(JSON, Avro 등).• Transforms (SMT): 스트림 데이터를 실시간으로 수정.Kafka St..

Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.enable.auto.commitJava Consumer Api에서 오프셋은 정기적으로 커밋된다디폴트로 at-least once 전략 사용오프셋은 .poll()을 호출했을 때와 auto.commit,interval.ms 이 경과되었을 때 커밋된다auto.commit.interval.ms 는 지정하지 않는다면 5000mspoll()을 부르기 전에 메시지가 확실히 처리되도록 보장할 것그렇지 않은 경우에는 enable.auto.commit을 비활성화하고 대부분의 처리를 별도의 스레드로 옮겨야 함그리고 적절한 오프셋을 수동으로 설정하여 .commitSync() 또는 .commitA..

Apache Kafka Series - Learn Apache Kafka for Beginners v3를 수강하며 기록한 내용입니다.ACKS정상적으로 메시지를 수신했는지에 대한 플래그ACK = 13.0 버전 미만은 default"리더"로부터 ACK를 수신하면 제대로 Write가 수행되었다고 판단한다만일 리더가 다운된다면, replica들이 제대로 메시지를 복제하지 않았을 가능성이 있다.ACK가 수신되지 않았다면 producer는 재시도ACK = all(-1)3.0 버전 이후부터 default모든 ISR(in-sync Replica)에서 메시지가 수신됨min.insync.replicasACKS=all로 메시지를 보낼 때 최소 동기화된 파티션 복제본(리더 포함)의 수이는 브로커에 기입min.insync.re..

진행 사항현재까지 진행된 상황은Route53에서 도메인 구입(https://diggingcode.tistory.com/50)SSL 인증서 발급(https://diggingcode.tistory.com/51)ALB 생성이다.이번 포스팅에서는 https://diggingcode.tistory.com/52 에 이어대상 생성 & ALB 내 리스너를 설정하며 HTTPS를 적용해주고자 한다. 목표현재 달성하고자하는 바를 간단하게 설명해 보자면 다음과 같다.구매한 sample.com 도메인의 subdomain을 사용jenkins.sample.com를 EC2 3333 포트에 라우팅api.sample.com를 EC2 8080 포트로 라우팅발급받은 인증서를 사용하여 HTTPS 접속을 가능케 함진행 과정서브도메인 생성 및 ..

현재까지 진행된 상황은Route53에서 도메인 구입(https://diggingcode.tistory.com/50)SSL 인증서 발급(https://diggingcode.tistory.com/51)이다.이번 포스팅에서는 EC2에 라우팅 할 ALB를 생성해 준 다음 SSL을 ALB에 적용시켜보고자 한다.ALB + ACM 를 선택한 이유NGINX를 통한 리버스 프록시 설정 + certbot 라이브러리를 통하여 인증서를 발급받는 방법도 있다.그러나 유효기간이 존재해 갱신해주어야 하는 번거로움이 있기도 했다. (스크립트를 통해 갱신도 가능)이런 점과 더불어 ALB의 추가적인 기능을 테스트 해 보고 싶기도 했기 때문에 ACM에서 발급받은 인증서를 적용시켜 보았다.추후 관리 차원에서도 ALB를 사용하는 것이 더 ..

https://diggingcode.tistory.com/50이전 포스팅에 이어 ACM(Amazon Certificate Manager)을 통해 HTTPS 설정을 위한 인증서를 발급받아보도록 한다.ACM을 통해 인증서를 발급 받아본 적은 없어 쉬운 과정이라도 기록해보고자 한다.인증서는 퍼블릭 인증서를 요청한다. 서브도메인으로 api.my.domain, jenkins.my.domain 등을 등록할 계획이기에 아래와 같이 와일드카드를 포함한 *.my.domain 형식으로 등록해주었다.