배경 설명

• 회사에서 개발된 여러 개의 서비스를 통합 웹 플랫폼에서 제공하는 기획이 통과됨.
• 이에 Java SpringBoot 백엔드 서버 개발을 중단하고, 이미 구축되어 있는 Python Django 백엔드에 통합하기로 함. (통합된 회원 관리 시스템 목적)
• Python으로 구현된 RAG LLM 모델 API와 Spring 서버간의 웹소켓 통신 테스트까지 진행했었는데, 이제는 해당 모델 API와 Django 서버가 통신 가능하도록 해야 하는 상황.
• 해당 프로젝트 매니징을 맡게 되어 백엔드 개발자와 API 개발자의 통신 테스트를 중재해야 함. 이 과정에서 백엔드 개발자가 고려해야 할 내용들을 미리 조사해 보았음.

내부 API 이용 서비스의 특징

• Retrieval Augmented Generation 모델로, OpenAI의 gpt 모델을 LLM으로 이용함
• 쿼리의 전처리, 회사에서 구축한 DB 내에서 BM25+Cosine Similarity 하이브리드 방식의 Retrieval, 2차적인 Scoring, 항목별 분석 수행, 최종결과 도출 등 멀티단계로 이루어짐
• 프론트 서버에서 가급적 단계별 출력을 사용자에게 보여주는 것을 목적으로 함
• 이를 위해 백엔드의 Proxy(중계) 기능이 필수적임

고려할 내용

1. ASGI 서버 선택

   1. Django Channels의 공식 서버인 daphne를 사용 가능

2. settings.py에서 ASGI_APPLICATION을 지정

   1. settings.py에 config.asgi.application과 같이 지정
   2. Django Channels를 사용한다면 ASGI_APPLICATION에서 Channels 라우팅(ProtocolTypeRouter)을 설정해야 함(프로토콜에 따라 다른 라우팅 규칙 적용)

3. 비동기 View / Consumer 구현 방식 결정

   1. 가장 일반적인 방식은 Channels의 AsyncWebsocketConsumer를 사용하는 것
   2. receive()도 async def receive(self, text_data) 형태로 비동기 함수 정의
   3. WebSocket 메시지 전송도 await self.send(…)로 처리해서 동시에 여러개의 메시지를 병렬적으로 보낼 수 있게 함

4. 내부 API와의 WebSocket 스트리밍 통신

   1. 아래와 같은 예시 코드를 이용해 Django↔프론트, Django↔내부API 모두 웹소켓으로 비동기 연결하여 Django 서버가 메시지 중계

      1. 키포인트: while True 안에서 await ws.recv()로 내부 API의 슽리밍 데이터를 받고, 곧바로 await self.send(…)로 프론트에 내보내는 것

      from channels.generic.websocket import AsyncWebsocketConsumer
      import asyncio
      import json
      import websockets # 비동기 라이브러리
      
      class ChatConsumer(AsyncWebsocketConsumer):
      	async def connect(self):
      		await self.accept()
      		
      	async def receive(self, text_data):
      		user_data = json.loads(text_data)
      		query = user_data.get("query")
      		
      		# 내부 API와 WebSocket 연결
      		async with websockets.connect("wss://internal-llm.example.com/stream") as ws:
      			await ws.send(json.dumps({"query":query}))
      			
      			# 내부 LLM이 토큰 단위, 단계 단위로 메시지 스트리밍
      			while True:
      				try:
      					msg = await asyncio.wait_for(ws.recv(), timeout=10.0)
      				except asyncio.TimeoutError:
      					# 타임아웃 처리
      					break
      				except websockets.ConnectionClosed:
      					# 연결 종료
      					break
      					
      				# 받은 메시지를 그대로 프론트에 전송
      				await self.send(msg)
      				
      	async def disconnect(self, close_code):
      		pass
      

o1 pro가 안내해준 테스트 시나리오

• 양측 서버 구동 → 기본 연결 → 간단 메시지 송수신 → 예러 및 예외 상황 → 부하/동시성 테스트

추가적으로 고려할 것

• API 모델이 업데이트되는 경우에도 정상적으로 실행 가능하도록

주의할 점