728x90
반응형
SMALL
[

나의 주니어 개발 일기 검색 결과

해당 글 98건
728x90
반응형
LIST

Spring Integration Udp 통신중 버퍼 크기로 인한 트러블 슈팅

Spring Integration Udp 통신중 버퍼 크기로 인한 트러블 슈팅실제 udp 통신으로 6000 크기의 바이트 데이터들을 받고 있음 그러나 문제 터짐나는 6654 크기의 바이트 패킷을 받았지만 디버깅 결과 2048 이라는 잘린 패킷을 받음 @ServiceActivator(inputChannel = "udpInputChannel") public void receiveUdpMessage(Message message) { log.info("udpInputChannel {}",Thread.currentThread().getName()); byte[] bytes = (byte[]) message.getPayload(); ...패킷이 잘렸기 때문에 정상적인..
나의 주니어 개발 일기/트러블슈팅 2024. 7. 5. 14:19

카프카 기본 구조 정리

카프카카프카는 링크드인 에서 만들어진 고성능 분산 이벤트 스트리밍 플랫폼` 도입이전파편화된 데이터 수집 및 분배 아키텍처를 운영하는데 큰 어려움을 겪음타킷 애플리케이션 장애 발생시 소스 애플리케이션에 직접적으로 영향을 줌카프카 등장 도입후카프카를 중앙 배치함으로써 소스/타킷 애플리케이션 간 의존도 완화기존 1:1 매칭 파이프라인의 의존도 타파구성요소주키퍼카프카의 메타데이터 관리, 브로커의 health check 담당 카프카 또는 카프카 클러스터아파치 프로젝트 애플리케이션으로 여러대의 브로커를 구성한 클러스터를 의미 브로커카프카 애플리케이션이 설치된 서버 또는 노드 프로듀서카프카로 메시지를 pub 하는 클라이언트 컨슈머카프카로부터 메시지를 consume 하는 클라이언트 토픽카프카는 메시지 피드를 토픽으로 ..
나의 주니어 개발 일기/카프카(kafka) 2024. 6. 26. 13:50

CQRS란?

CQRS란?Command and Query Responsibility Segregation 약자로서,데이터 저장소로부터 읽기와 업데이트 작업을 분리하는 패턴이다.전통적인 아키텍처에서는 DB 데이터를 조회/업데이트를 할 때 같은 데이터 모델이 사용되었다.그러나 애플리케이션이 복잡해진다면 이는 여러 문제를 야기한다.1.표현 데이터의 불일치 및 가시성 저하조회에 사용되는 모델이 업데이트에 사용된다면 자칫 모든 데이터를 업데이트를 할 수 있는 건가? 라고 잘못된 판단을 할 수 있다.2.단일 책임원칙 위배조회성 모델은 대게 자주 변경되기 쉽다. 만약 특정 데이터를 보여주면 안되지만 업데이트시 꼭 필요한 데이터라면? 관리가 힘들어진다. 책임을 분리하자. 이를 해결하기 위해? CQRS 두두등장!!CQRS는 읽기와 쓰..
나의 주니어 개발 일기/헷갈렸던 개념들 2024. 5. 29. 10:02

스핀락, 뮤텍스, 세마포어

교착상태공유 자원을 두고 서로 다른 접근자가 경쟁하는 과정, 서로 자원을 소유하려다 보니 누구도 소유할 수 없는 상황을 교착상태라고 한다. 교착 상태가 되기 위한 필수 4가지 조건. 1개라도 해당 사항이 없으면 교착상태가 아니다상호 배제(mutual exclusion)점유 대기비선점순환 대기 임계영역공유 데이터의 일관성을 보장하기 위해 하나의 프로세스/스레드만 진입해서 실행가능한 영역하나의 프로세스/스레만 진입해서 실행한다는것 = mutual exclusion 이라고 한다.  스핀락, 뮤텍스, 세마포어경쟁 조건을 완화하기 위한 방법들 중 상호 배제 방법, 또는 동기화 방법 이라고도 부른다. 스핀락스핀락은 자원을 소유할 수 있을때까지 지속적으로 물어본다.public class SpinLockExample ..
나의 주니어 개발 일기/헷갈렸던 개념들 2024. 5. 28. 14:36

빅오 표기법이란?

빅오 표기법이란?알고리즘의 효율성을 표기해주는 표기법, 알고리즘의 시간 복잡도와 공간 복잡도를 나타내는데 주로 사용시간 복잡도는 시간의 효율성을, 공간 복잡도는 메모리의 효율성을 의미왜 빅오(Big-O) 표기법을 사용하지?알고리즘의 최소한의 성능이 보장되도록 최악의 실행 시간을 표기한다. 때문에 가장 많이 사용된다.특징상수항을 무시한다.O(N+1)의 복잡도는 상수를 무시해 O(N)으로 표기한다.계수를 무시한다.O(5N)의 복잡도는 계수를 무시해 O(N)으로 표기한다.최고차항만 표기한다.O(3N^3+2N^2+N+5)의 복잡도는 O(N^3)으로 표기한다.빅오 표기법 종류O(1)가장 빠르다. 대표적으로 Queue의 삽입/삭제, Stack의 삽입/삭제, 배열의 인덱스 접근과 같은 연산이 이와 같다. O(log ..
나의 주니어 개발 일기/알고리즘 2024. 5. 14. 17:10

Pinpoint 를 통해서 모니터링을 해보자

pinpoint란?대규모 분산 시스템에서 성능 분석, 문제 진단 및 처리 하는 플랫폼이다.내부적으로 서버 상태를 실시간으로 모니터링 할 수 있는 다양한 시각지표를 제공한다.구성도pinpoint는 Agent+Manager 로 구성된다.Agent는 애플리케이션의 모니터링을 위한 수집 정보를 Pinpoint Collector로 전달한다.Pinpoint Collector는 Agent로 부터 받은 정보를 HBASE에 적재한다.Pinpoint Web은 적재 데이터를 Web으로 표출해준다.1. pinpoint 설치$ git clone https://github.com/naver/pinpoint-docker.git$ cd pinpoint-docker$ docker-compose pull$ docker-compose u..
나의 주니어 개발 일기/Docker(도커) 2024. 5. 13. 11:08

클러스터드 인덱스 vs 넌클러스터드 인덱스

클러스터드 인덱스 vs 넌클러스터드 인덱스인덱스는 구조로서 보통 레코드에 빠르게 접근하기 위해 사용된다.DB에서는 두 종류의 인덱스가 존재한다. 그 차이를 알아보자.  인덱스가 없는 경우의 구조데이터가 삽입된 순서대로 페이지가 구성된다.  클러스터드 인덱스테이블 전체가 정렬된 인덱스가 되는방식, 실제 데이터와 무리를 지어 인덱싱되므로 클러스터드 인덱스라 부른다.데이터와 함께 전체 테이블이 물리적으로 정렬된다. Create, Delete, Update 할때마다 재정렬된다.클러스터드 인덱스는 테이블 당 하나만 만들 수 있다.mysql 에서는 자동으로 PK를 설정하면 클러스터드 인덱스가 된다.(default)  넌클러스터드 인덱스넌클러스터드 인덱스는 보조 인덱스(Secondary Index)라고도 불린다.인덱..
나의 주니어 개발 일기/DB 2024. 5. 8. 16:51

커버링 인덱스 사용했을때 성능차이

테스트 환경 약 360만건 정도 되는 테스트 데이터에서 조건에 충족하는 데이터들을 찾을때 과연 커버링 인덱스를 사용하면 얼마나 큰 성능차이가 존재할까? ​ 기본으로 PK는 IDX로 지정되있으며, 인덱스는 type 컬럼으로 추가했다. sql select * from Test r WHERE r.`type`= '005' ORDER BY r.IDX 커버링 인덱스 사용 미사용 커버링 인덱스 사용과 미사용의 차이는 32/ms -> 2.48/s로 77배차이 ㄷㄷㄷ;; 실제로 엄청난 차이를 만들어낸다.
나의 주니어 개발 일기/DB 2024. 4. 23. 14:18

nGrinder 로 API 부하테스트 하기 with 도커

1. nGrinder Controller, nGrinder Agent 설치 및 실행 docker-compose.yml version: '3.8' services: controller: image: ngrinder/controller restart: always ports: - "9000:80" - "16001:16001" - "12000-12009:12000-12009" volumes: - ./ngrinder-controller:/opt/ngrinder-controller agent: image: ngrinder/agent restart: always links: - controller $ docker-compose up 2. nGrinder 웹 접속 http://호스트아이피:9000/login admi..
나의 주니어 개발 일기/Docker(도커) 2024. 3. 29. 15:27

Docker-compose로 DB 스키마 자동생성 하는 방법

version: '3' services: mysql: container_name: dev-db image: mysql:8.0.34 volumes: - /hdd/apps/test/data/mysql:/var/lib/mysql:rw - /hdd/apps/test/initdb.d/test.sql:/data/application/init.sql - /hdd/apps/test/data/logs/mysql:/var/log/mysql environment: MYSQL_ROOT_PASSWORD: 1234 MYSQL_DATABASE: test MYSQL_USER: test MYSQL_PASSWORD: test123 TZ: Etc/GMT ports: - 625:3306 command: - --default-authenti..
나의 주니어 개발 일기/Docker(도커) 2024. 3. 28. 15:11

RABBITMQ 에서 Queue에서 Consume 하고 있는 대상을 명확히 식별하고 싶을때

Consumer Tag를 이용해보자. RabbitMQ 모니터링 사이트에서 Queue 정보를 확인 했을 때 누가 Consume 하고있는지 Consumer tag 로 확인이 가능하다. 그러나 Consumer tag 값은 mq가 랜덤으로 생성한 값이기 때문에 명확한 식별이 안됀다. Consumer Tag를 이용해 명확한 식별자를 만들어주자. 1. Consumer 단에서 mq factory 생성시 `setConsumerTagStrategy` 를 사용하여 내가 원하는 식별자 이름을 주입하자. @Bean public SimpleRabbitListenerContainerFactory rabbitListenerContainerFactory( SimpleRabbitListenerContainerFactoryConfigu..
나의 주니어 개발 일기/RabbitMQ 2024. 3. 18. 09:27

쿠버네티스 환경세팅시 Could not find a version that satisfies the requirement ansible==8.5.0 오류 발생

쿠버네티스 환경세팅시 Could not find a version that satisfies the requirement ansible==8.5.0 오류 발생 yum 업데이트 $ yum update 기존 ansible 버전 제거 $ pip uninstall ansible 또는 $ yum remove ansible ansible 버전확인 $ ansible --version requirement.txt 설치 $ pip3 install -r requirement.txt 하.. 다 제거하거 설치하려고 하니깐 다른 오류 등장 Could not find a version that satisfies the requirement ansible-core~=2.16.0 위 로그 참고하여 2.16.0 설치 $ pip ins..
나의 주니어 개발 일기/쿠버네티스 2024. 3. 8. 17:21

DOCKER COMPOSE의 환경변수 사용 방법

DOCKER COMPOSE의 환경변수 사용 방법 version: '3' services: mysql: image: mysql:8 restart: unless-stopped environment: MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD} 위와 같이 ${}으로 환경변수 호출하여 사용하는 것을 알 수 있다. 만약 민감정보라면 컴포즈에 직접 값이 노출되는것 보다는 환경변수로 사용하는것이 더 안전한 방법이다. 환경변수 사용방법 1. 쉘 환경변수 사용 cli 환경에서 변수 선언을 한다. 이 값은 전역적으로 선언된다. $ export MYSQL_ROOT_PASSWORD=1234 convert 로 적용됬는지 확인하자 $ docker compose convert # environme..
나의 주니어 개발 일기/Docker(도커) 2024. 3. 8. 14:17

RABBITMQ 심화속성 정보

db 업데이트 작업의 의존성 분리 db 서버에 대한 쓰기 작업 수를 제한함으로써 확장 문제를 해결하는 동시에 새로운 사이트 추가로 인해 발생하는 부하를 제어 db에 부하가 생기면 시스템 성능에 문제를 준다. 애플리케이션의 의존성 제거 mq를 사용해 느슨하게 결합된 설계로 변경함으로써 애플리케이션 아키텍처는 어디상 db 쓰기 성능에 영향을 받지 않으며 핵심 애플리케이션의 코드를 수정하지 않고도 데이터를 처리하는 새로운 애플리케이션을 쉽게 추가 db쓰기 의존성 제거 db와 강결합된 구조는 동기/비동기 애플리케이션 모두에서 성능상의 병목이 발생할 가능성이 있다. RABBITMQ 심화속성 정보 Properties의 expiration 값이나 큐 정의시 x-message-ttl 값으로 데이터 만료기능을 설정할 수..
나의 주니어 개발 일기/RabbitMQ 2024. 3. 6. 17:29

RABBITMQ HA,클러스터 구성방법

RabbitMQ 클러스터 구성시 모든 노드는 hostname 기반으로 통신한다. rabbitmqctl cluster_status 명령어를 실행하면 rabbit@호스트네임 을 확인할 수 있다. 클러스터를 위한 준비사항 서버끼리의 RabbitMQ 버전을 통일화 한다. 클러스터 된 노드들 끼리 hostname 으로 찾을수 있어야 한다. /etc/hosts 파일에서 세팅해주자. 포트 설정 4369, 25672, 5672, 5671, 15672 포트가 열려있는지, 방화벽에 막히지는 않는지 확인하자. .erlang.cookie 값은 모드 노드가 같은 값을 갖고 있어야 한다. 클러스터 시작 상황 물리적으로 다른 서버 192.168.0.1(master), 192.168.0.2(slave) 를 클러스터링 해야한다. 19..
나의 주니어 개발 일기/RabbitMQ 2024. 3. 5. 10:00

Docker overlay2 경로 이동 방법

Docker overlay2 경로 이동 방법 $ df -h 현재 docker overlay는 /var/lib/docker 경로에 존재한다. $ docker info | grep Root 이 경로를 다른데 바꿔줘보자 1. 원하는 경로로 /var/lib/docker 파일복사 $ cp -r /var/lib/docker /원하는경로 2. /etc/docker/daemon.json 파일 수정 { ## 17.05이상버전부터 호환된다, ## 이하버전은 "graph" : "/원하는경로" 로해야한다. "data-root" : "/원하는경로" } 3. 도커 재시작 $ systemctl restart docker.service 4. 루트 디렉토리 변경 전 컨테이너 목록과 동일한지 확인 $ docker ps -a 5. 정상 ..
나의 주니어 개발 일기/Docker(도커) 2024. 2. 27. 13:58

Rabbit MQ Queue 정보를 다른 Rabbit MQ 서버로 이전하는 방법

Rabbit MQ Queue 정보를 다른 Rabbit MQ 서버로 이전하고 싶을땐? 1. 사이트에서 다운로드 한다. 또는 1.RABBITMQ CLI로 다운로드 한다. rabbitmqadmin export ./definitions.file.json 2. Rabbitmq.conf를 만든다. mq에 대한 기본 정보들이 기입되어 있으며 management.load_definitions 값에 queue 정보가 정의되어있는 definitions.file.json 이 위치 경로를 입력한다. rabbitmq.conf listeners.tcp.default = 5672 management.tcp.port = 15672 ## ## Security, Access Control ## ============== ## loopb..
나의 주니어 개발 일기/RabbitMQ 2024. 2. 20. 16:51