[MSK] AWS MSK와 EC2(SpringBoot) 연결 -1 (ft. IAM/TLS 사전작업)

Amazon에서 IAM과 함께 MSK 사용하기IAM 자격 증명 정책아마존 서비스에서 IAM 자격증명 정책을 이용하면 Access / denied 조건을 지정하여 작업할 수 있다.그 지정 대상으로는 특정 행위, 자원, 키 등이 존재한다. 이 지정 작업은 JSON 기반으로 돌아가는데, 가령 예를 들어서 다음과 같이 설정할 수 있는 것이다 ( Amanzon Managed Streaming for Apache Kafka 참조)// ex1"Action": ["kafka:action1", "kafka:action2"]// ex2"Action": "kafka:Describe*"// ex3"Resource": "*" 이제 A라는 IAM역할자에게 특정 권한만 부여하고자 한다면 이 사람에게 리소스 기반 정책을 주면 된다...

• format_list_bulleted ✏️ 개발 공부/Infra
• · 2024. 9. 6.
• textsms

[Kafka] 이중화 서버에서 Kafka의 데이터를 순서 보장하여 읽기

원하는 시나리오1. Producer 서버에서 채팅 메시지를 kafka로 전송할 것이다2. Listner를 통해서 kafka에 저장된 메시지를 이중화된 Consumer 서버 중 하나가 받을 것이다3. 이때, 각각의 Consumer 서버는 순서대로 메시지를 처리할 수 있어야 한다 (중복처리, 중복 메시지 발송이 일어나지 않도록) 채팅 메시지가 읽히는 순서를 보장하기 위해서 SpringBoot 서버, kafka 서버 각각을 어떻게 설정해야하는가?  Kafka 설정하기파티션(Partition) 설정파티션은 kafka에서 메시지가 병렬 처리될 수 있는 단위이다. 그러나, 메시지 순서를 보장하려면 특정 토픽에 대해서 단일 파티션을 사용해야한다. Kafka가 파티션 내에서만 메시지 순서를 보장하기 때문이다. 따라서,..

• format_list_bulleted ✏️ 개발 공부/Infra
• · 2024. 9. 4.
• textsms

서버 이중화 아키텍처

👼🏻 귤씨, 뭐하고 지냈어요?🍊 제가 자격증이 없었어서요, 정처기랑 SQLD를 준비해봤어요👼🏻 어때요! 잘 됐어요?🍊 저도 알고싶은데, 2주 뒤에 알 수 있어요. 🗨️ 용어정리👼🏻: 이중화에 관해서 공부하겠다구요! 관련 용어들부터 봐봐요NameDescriptionAP 서버(Application Server)1. 서버 그 자체 2. 네트워크가 연결되어있다면 그 네트워크를 통해 Endpoint 간 통신을 할 수 있는 Server 3. HTTP, TCP, UDP 등 다양한 프로토콜을 전달받아 클라이언트에 서비스 제공Hot Standby1. 항상 Active 시스템과 동일한 데이터를 유지하여 대기하는 구성 2. 장애 발생 시, 즉시 전환 가능 3. 다운타임 최소화Cold Standby1. 장애 ..

• format_list_bulleted ✏️ 개발 공부/Infra
• · 2024. 6. 6.
• textsms

[AWS] 아마존 웹 서비스의 주요서비스를 알아보자 (EC2, S3, Lambda)

이러한 이유로, AWS를 제대로 해야겠다 결심 (oo )> 공식 홈페이지로 가자. 아마존 웹서비스의 주요 서비스로 이런 게 있다. 이중 내가 경험해 본건 EC2와 S3. 뭘 알고 썼던 건 아니다. 이젠 좀 알고 써 보자. 왜 주요서비스를 알아야 하는가 에초에 가장 기본적인 방법은 이렇다 1️⃣ Amazon EC2를 이용한다 2️⃣ EC2를 통해 가상 서버를 띄운다 3️⃣ Docker 컨테이너를 배포한다 더 편하게 쓰고 싶지 않은가? AWS에선 유저의 규모와 요구사항에 대한 솔루션을 제공하고자 많은 컨테이너 서비스를 만들었다 🍊: 긍까, 준비해줬다는데 써보자는 거지. 규모에 따른 컨테이너 관리 서비스 제공 나의 프로젝트(웹, 컨테이너)가 간단하다면? 다음과 같은 서비스를 이용할 수 있다. Amazon Li..

• format_list_bulleted ✏️ 개발 공부/Infra
• · 2022. 3. 13.
• textsms

[AWS] Amazon Web Service를 Heroku와 비교해보자.

AWS Elastic Computing2 인프라(서버)로서의 서비스 인프라를 위한 비용을 결제하는 것이다 사용자를 도와주는 플랫폼은 없다 서버를 만들었으니 내가 직접 커스텀을 하면 된다 git 설치, zip파일 업로드 등 Heroku 플랫폼으로서의 서비스 코드만 올리면 됨 플랫폼이 코드를 이해하고, 그 프랫폼에 접근하기 위한 비용만 내면 됨 5분안에 설정이 끝남. 헤로쿠에 code push 헤로쿠가 해당 코드를 자체적으로 이해하고 설치하고 도메인 이름을 내놓음 AWS(인프라)와 Heroku(플랫폼)의 결정요소 시간 시간이 없다? 우분투, 유닉스 서버 포트 등에 대해 배울 시간이 없다면 Heroku 서버에 대해 배울 정성이 있다? AWS 비용 Heroku가 더 비싸다 Heroku는 AWS위에서 작동하니까...

• format_list_bulleted ✏️ 개발 공부/Infra
• · 2022. 3. 13.
• textsms

[04] Docker, mySQL바탕의 Dockerfile 만들기(feat.database폴더)

이 글은 도커사용을 위한 가이드 글이 아닙니다. 개인학습 기록용 포스팅입니다. 저번에 뜬 404페이지 오류를 수정하려 갖가지 방법 다 해봐도 안 되길래 뛰어넘겠다. 대략적으로, 제대로 실행되었다면 의도한대로 백엔드와의 연결이 되지 않은 상태로 페이지가 열린다. 따라서 "초기화면은 휑하다. " ctrl+c로 터미널을 종료하고, 컨테이너랑 이미지를 삭제해주자 docker stop $(docker ps -aq) docker rm $(docker ps -aq) docker image prune -a 이번엔 database폴더에서 도커를 실행해보자 # dababase폴더로 가자 이번엔 database폴더의 Dockerfile을 이용하여 msql가져오기. => mysql 5.7버전의 이미지를 다운받아 개조할 것이다..

• format_list_bulleted ✏️ 개발 공부/Infra
• · 2021. 4. 12.
• textsms