코드library

NVIDIA에서 오픈소스 소프트웨어로 제공되는 머신러닝 모델 inference 서버

1. 아키텍쳐

Model Repository에 모델 파일들을 올려놓으면 클라이언트가 api로 추론 요청 후 결과를 받을 수 있다.

간단한 사용 예

2. Model Repository [—model-repository]

서빙할 모델 파일들을 저장. 서버의 로컬 또는 클라우드 저장소도 가능

launch할때 옵션으로 여러 개 선택 가능

2-1. Model Management [—model-control-mode]

• none
  • Repository의 모든 모델 로드, 가동 중에는 Rspository 변경 사항이나 management 요청을 무시
• explicit [—load-model]
  • —load-model 옵션으로 명시된 모델만 로드, 없으면 아무것도 로드하지 않음
• poll [—repository-poll-secs]
  • 모든 모델을 로드 후 주기적으로 변경 사항을 감지하여 재로드, management 사용 불가

2-2. Model Configuration

config.pdtxt 파일에 작성, 필수 옵션 = backend, max_batch_size, input, output

출처 

https://peaceatlast.tistory.com/25

https://github.com/triton-inference-server/server

1. AMQP와 MQTT의 핵심 차이

AMQP (Advanced Message Queuing Protocol) VS MQTT (Message Queuing Telemetry Transport)

• AMQP = “기업용 신뢰성 있는 메시지 시스템”
• MQTT = “IoT 디바이스용 가벼운 실시간 프로토콜”

2. RabbitMQ란?

RabbitMQ는 AMQP 프로토콜을 구현한 오픈소스 메시지 브로커
Erlang 언어로 만들어졌고, 안정성과 신뢰성이 매우 높다.

기본 구조

RabbitMQ는 아래 4단계 구조로 메시지를 전달한다.

① Producer

• 메시지를 생성해서 브로커로 보냄.

② Exchange (교환기)

• 메시지를 적절한 Queue로 라우팅.
• Exchange 타입에 따라 라우팅 방식이 다름:
• 타입설명

  Direct	라우팅키 정확히 일치하는 큐로 전달
  Fanout	연결된 모든 큐에 브로드캐스트
  Topic	와일드카드 기반 토픽 매칭 (sensor.#, *.info 등)
  Headers	메시지 헤더 값 기반으로 라우팅

③ Queue

• 메시지를 실제로 저장하는 버퍼.
• 여러 Consumer가 동시에 구독할 수 있음.
• 메시지는 한 번 소비되면 큐에서 삭제됨(기본 설정).

④ Consumer

• 큐를 구독해서 메시지를 받아 처리.

RabbitMQ의 장점

1. 메시지 보장 (Durability, Acknowledgement)
   • 메시지를 디스크에 저장해 시스템 다운되어도 복구 가능.
   • ack 메커니즘으로 소비 확인 후 메시지 삭제.
2. Exchange 기반 라우팅
   • 단순 PUB/SUB보다 훨씬 유연한 라우팅 가능.
3. 다양한 프로토콜 지원
   • 기본 AMQP 외에도 MQTT, STOMP, HTTP 등 플러그인으로 확장 가능.
4. 클러스터링 / 고가용성
   • 여러 노드로 구성 가능, HA Queue도 지원.
5. 관리도구 (Management Plugin)
   • 웹 UI (http://localhost:15672)
   • 메시지 수, 큐 상태, 연결 현황 실시간 모니터링 가능.
6. 성숙한 에코시스템
   • Python(pika), Node.js, Go, Java 등 대부분 언어 클라이언트 지원.

3. 정리 요약

항목 AMQP MQTT RabbitMQ