데이터샤우츠
[2026-04-20 | D-Log] LLM 분산 추론의 병목을 뚫다: 프라파스의 라우팅과 파이프라이닝 최적화 본문
대규모 언어모델(large language model, LLM)의 추론 성능을 끌어올리기 위해 데이터센터 간 장벽을 허무는 시도가 성공했다. 문샷 AI(Moonshot AI)와 칭화대학교(Tsinghua University) 연구진은 서로 다른 데이터센터의 서버를 연결해 추론을 처리하는 아키텍처 프라파스(PrfaaS)를 내놨다. 해당 기술을 적용한 결과 기존 방식 대비 처리량(throughput)이 54% 높아졌다.
기존 LLM 서비스 구조는 데이터센터 하나, 심지어 같은 랙(rack) 안에 갇혀 있었다. 모델이 입력 데이터를 처리해 문맥을 기억하는 정보인 KVCache(Key-Value Cache)를 만드는 단계와, 이를 바탕으로 실제 답변을 한 글자씩 생성하는 단계가 물리적으로 가까워야 했기 때문이다. 해당 정보의 용량이 워낙 커 일반 네트워크로는 전송이 불가능했고, 고성능 전용 네트워크 장비를 갖춘 곳에서만 추론이 가능했다.
이런 제약은 LLM 서비스 효율을 크게 갉아먹었다. KVCache 생성 작업은 연산 능력을 많이 요구하는 반면, 답변 생성 작업은 메모리 대역폭을 많이 쓴다. 두 작업을 분리해 각각 최적화하려 해도, 생성된 KVCache를 다른 서버로 옮기는 과정에서 네트워크 병목이 생겨 전체 시스템이 멈추기 일쑤였다. 기존 집중형 어텐션(dense-attention) 모델은 32K 토큰 요청 하나만 처리해도 초당 60기가비트(Gbps)에 달하는 데이터를 쏟아냈다.
연구진은 문제 해결의 실마리를 모델 구조 변화에서 찾았다. 최근 나오는 모델들은 전체 정보를 모두 처리하는 방식 대신 연산 효율을 높인 하이브리드 어텐션(hybrid attention) 구조를 택한다. 이 방식은 모델의 핵심 층에서만 KVCache를 만들고, 나머지는 크기가 고정된 상태 정보를 사용한다. 그 결과 32K 토큰을 처리할 때 필요한 데이터 전송량이 기존 모델 대비 최대 36배 줄었다. 연구진의 1조 파라미터 모델을 뜯어보니 초당 3.19기가비트 수준까지 떨어져, 일반적인 데이터센터 간 이더넷(Ethernet) 연결로도 감당할 만한 수준이 됐다.
프라파스는 이렇게 가벼워진 데이터를 활용해 추론 과정을 재설계했다. 먼저 연산 성능이 뛰어난 서버들을 모아 '프라파스 클러스터'를 꾸리고, 긴 문맥을 처리하는 작업만 이곳으로 보낸다. 작업이 끝나면 생성된 KVCache를 일반 이더넷 망을 통해 답변 생성 서버로 전송한다. 이때 무작정 모든 작업을 넘기는 것이 아니라 '길이 기반 임계값 라우팅'을 쓴다. 연구진은 19.4K 토큰을 기준으로 잡아, 이보다 긴 요청만 원격 클러스터로 보내고 짧은 요청은 현지 서버에서 바로 처리하도록 설계했다.
안정적인 전송을 위해 세 가지 기술을 더했다. KVCache가 만들어지는 즉시 전송을 시작해 시간을 겹치는 '층별 파이프라이닝', 여러 연결을 동시에 쓰는 '다중 TCP 전송', 네트워크 혼잡을 미리 감지해 속도를 조절하는 '혼잡 모니터링'이다. 여기에 상황에 따라 캐시 정보를 클러스터 간에 옮길지 판단하는 '이중 시간 규모 스케줄러'를 도입해 네트워크 자원을 효율적으로 다뤘다. Moonshot AI와 칭화대 연구진의 논문에서 상세한 기술 구조와 분석 과정을 확인할 수 있다.
과정이 순탄하지만은 않았다. 단순히 데이터 크기를 줄이는 것만으로는 부족했다. 실제 서비스 환경은 요청이 몰리기도 하고 네트워크 상황도 수시로 바뀌기 때문이다. 연구진은 이런 변동성에 대응하고자 스케줄러가 실시간으로 연결 상태와 대기열 길이를 살피면서 라우팅 경로를 유연하게 바꾸도록 설계했다.
그 결과 1조 파라미터 모델을 쓰는 내부 사례에서 기존 균질한 서버 구성 대비 처리량이 54% 늘었다. 동일 하드웨어 비용으로 비교했을 때도 약 15%의 성능 향상을 보였다. 다른 데이터팀 입장에선 모델의 연산 방식에 맞춰 네트워크 부하를 줄이는 '길이 기반 임계값 라우팅'을 활용해, 값비싼 전용 네트워크 없이도 분산 추론 환경을 꾸리는 전략을 검토해 볼 만하다.
참고 출처