[2026-07-23 | D-Log] 넷플릭스는 어떻게 생성형 추천으로 홈 화면 지연을 20% 줄였나

넷플릭스는 기존의 복잡한 다단계 추천 파이프라인을 단일 디코더 전용 트랜스포머 기반 제너레이티브 모델인 GenPage로 대체했다. 사용자 맥락과 행동 이력을 프롬프트로 처리하고 홈 화면의 행과 엔티티, 레이아웃을 자귀회귀 방식으로 통합 생성함으로써, 엔드투엔드 서빙 지연시간을 20% 단축하는 동시에 오프라인 및 온라인 A/B 테스트에서 핵심 사용자 참여 지표를 통계적으로 유의미하게 향상시켰다.

무엇을 바꾸려 했나

넷플릭스의 홈 화면은 단일 추천 목록이 아니라 추천 행과 그 내부의 영화, 시리즈, 게임, 라이브 이벤트 등 다양한 엔티티가 조합된 복잡한 2차원 구조다. 기존 방식은 후보군 생성과 행·엔티티 단위 순위 매기기를 개별적으로 처리하는 다단계 파이프라인에 의존했다. 이 구조는 여러 머신러닝 모델을 동시에 유지보수해야 하는 부담을 초래했고, 각 단계별 최적화 목표가 상충하거나 복잡한 피처 엔지니어링이 지속적으로 요구되는 한계를 보였다. 특히 ‘시청 중인 콘텐츠’ 행처럼 특정 행이 상단에 위치해 사용자 만족을 주더라도 전체 탐색 범위를 줄이는 등 행과 엔티티 간의 복합적 상호작용을 페이지 전체 관점에서 종합 최적화하기 어렵다는 문제가 존재했다.

어떤 데이터를 어떻게 분석했나

넷플릭스는 추천 데이터를 텍스트처럼 다루기 위해 도메인 특화 토크나이저를 설계하고 전체 파이프라인을 프롬프트-응답 구조로 재편했다. 사용자 시청 이력, 프로필 속성, 요청 시각 및 기기 정보 등 맥락 데이터(Context)는 프롬프트 토큰으로 변환되며, 시청 및 찜하기 같은 명시적 신호와 트레일러 시청 같은 암묵적 신호가 함께 포함된다. 수평 및 수직 레이아웃 순서로 직렬화된 홈 화면 행과 엔티티는 응답 토큰(Page)으로 표현된다. 전용 토크나이저는 GPT-5 토크나이저 기준 16개 토큰이 필요한 시청 사건을 [엔티티 ID], [행동 유형], [시간 버킷], [시청기록 버킷]의 4개 토큰으로 압축해 연산 효율과 지연시간을 대폭 개선했다. 모델 구조는 약 2억 개의 파라미터를 갖는 디코더 전용 트랜스포머를 채택했으며, 사전 학습과 사후 학습의 요구조건에 맞추어 입력 임베딩과 출력 투사 가중치를 분리했다. 학습 과정은 2단계로 진행된다. 1단계에서는 긍정적 사용자 피드백을 받은 홈 화면 노출 데이터를 바탕으로 다음 토큰 예측 사전 학습을 수행하여 홈 화면의 구성 구조를 익힌다. 2단계 사후 학습에서는 가중 이진 분류(WBC) 또는 강화학습(RL)을 적용한다. WBC는 수집된 사용자 피드백 기반 스칼라 보상을 토큰 단위 이진 라벨과 가중치로 전환해 신속하게 가치 예측을 학습시킨다. RL 기법으로는 Dr. GRPO 알고리즘과 트랜스포머 기반 전용 보상 모델을 도입하여, 사전 학습 정책 모델과의 KL 페널티 및 비즈니스 규칙 준수 보상을 조합해 전체 페이지 차원의 보상을 직접 최적화한다.

핵심 분석 방법: 도메인 특화 토크나이저(Domain-Specific Tokenizer), 디코더 전용 트랜스포머(Decoder-only Transformer), 다음 토큰 예측 사전 학습(Next-Token Prediction Pretraining), 가중 이진 분류 사후 학습(Weighted Binary Classification Post-training), Dr. GRPO 기반 강화학습(Reinforcement Learning via Dr. GRPO), 시맨틱 임베딩 융합(Semantic Embedding Fusion), 제약 조건 디코딩(Constrained Decoding), 하이브리드 행 디코딩(Hybrid Row Decoding)

그림 1. 사용자 맥락을 하나의 프롬프트로 읽고 홈 화면 전체를 생성하는 GenPage

도입 과정과 난관

GenPage 시스템의 실사용 반영을 위해 실시간 분할 생성(Paginated Recommendation) 체계와 다중 주기 증분 학습 방식을 도입했다. 세션 내 사용자 반응을 실시간 반영하고자, 이전 세션에서 생성된 페이지 토큰과 넷플릭스 실시간 이벤트 로깅 기반의 최신 반응 정보를 프롬프트 뒤에 결합하여 다음 추천 행을 순차 생성한다. 또한 대규모 트랜스포머 모델을 매일 처음부터 다시 학습하는 비용을 줄이기 위해 주기적 대규모 재학습과 일간 증분 학습을 조합했다. 매일 이전 시점의 체크포인트에서 출발해 최신 데이터와 과거 샘플링 데이터를 혼합하여 사후 학습을 이어감으로써 카탈로그 변경과 유저 트렌드를 추적하면서도 치명적 망각 현상을 방지한다. 신규 항목 구분을 위해 엔티티 및 행 유형별 폴백 토큰([Entity_Fallback_Token], [Row_Fallback_Token])을 정의하고 학습 도중 확률적으로 기존 토큰을 폴백 토큰으로 교체해 신규 토큰 유입 환경에 대비하도록 했다.

실전 운영 환경에서는 4가지 엄격한 제약조건이 존재했다. 첫째, 실시간 홈 화면 생성에 따른 서빙 지연시간 제약이다. 둘째, 지속적으로 업데이트되는 카탈로그 내 신규 엔티티의 차가운 시작(Cold Start) 문제다. 셋째, 모델 재학습 데이터가 이전 모델 생성 결과에 편향되어 발생하는 모델 퇴화(Model Degeneration) 및 컴퓨팅 비용 문제다. 넷째, 특정 카테고리 일치, 중복 제거, 특정 행 고정 등 엄격한 제품 및 비즈니스 규칙 준수 요구다.

어떻게 풀어냈나

넷플릭스는 이 장애물들을 전용 기술 기법으로 해결했다. 차가운 시작 문제에는 신규 엔티티 정보를 맥락 토큰에 주입하는 맥락 주입과, 엔티티 ID 임베딩을 시놉시스, 출연진, 장르 등 콘텐츠 기반 임베딩과 결합하는 시맨틱 임베딩 융합 기법을 적용했다. 추론 단계 지연시간을 낮추기 위해 하이브리드 행 디코딩 기법을 개발했다. 행의 전반부 수개 엔티티만 자귀회귀로 생성하고, 나머지 위치의 후보는 단일 순방향 패스로 로짓을 계산해 최상위 항목을 한꺼번에 채워 넣는 방식이다. 비즈니스 규칙 준수 문제는 제약 조건 디코딩을 활용했다. 추론 시 생성 가능한 토큰 로짓에 토큰 단위 마스크를 적용하여 중복을 방지하거나 특정 위치에 특정 행을 강제 고정시켰다. 이 과정은 도메인 특화 토크나이저 덕분에 복잡한 멀티토큰 처리 없이 단순한 토큰 마스킹만으로 완벽히 통제되었다.

그림 2. 콜드 스타트·모델 퇴화·제품 규칙·서빙 지연을 운영 설계로 해결한 흐름

성과와 사회적 변화

성숙하고 고도로 최적화된 기존 다단계 추천 파이프라인과 비교한 온라인 A/B 테스트 결과, GenPage는 배포 결정에 사용되는 핵심 사용자 참여 지표에서 통계적으로 유의미한 상승을 기록하는 동시에 종단 간 서비스 제공 지연시간을 20% 단축했다. 오프라인 실험에서는 모델 파라미터 규모를 늘리는 것보다 프롬프트 데이터를 풍부하게 구성하는 것이 품질 향상에 더 크게 기여함을 확인했다. 또한 강화학습(RL) 기반 사후 학습을 적용했을 때 다양성을 명시적 목표로 설정하지 않았음에도 홈 화면 추천 결과의 다양성이 자연스럽게 증가하는 결과를 얻었다.

주요 성과: 종단 간 서비스 제공 지연시간(End-to-End Serving Latency) 20% 감축 · 출시 결정용 핵심 사용자 참여 지표(Core User Engagement Metric) 통계적으로 유의미한 증가

이 사례에서 읽어야 할 세 가지

도메인 특화 토크나이저를 통한 추천 시스템의 연산 및 제품 제어력 확보

범용 범주형 표현 대신 추천 도메인에 특화된 토크나이저를 도입하여 시청 이력과 홈 화면 구조를 단일 토큰 단위로 압축 생성하도록 설계했다. 이 메커니즘은 생성 인퍼런스의 토큰 길이를 획기적으로 줄여 연산 비용과 지연시간을 낮추는 동시에 제품 개념과 토큰을 1:1로 매핑하는 결과를 낳았다. 비즈니스 규칙과 실시간 추천 제어가 필수적인 기업 환경에서 단순 텍스트 범용 토큰화 방식으로는 엄격한 서비스 제약조건을 충족하기 어렵다. 다른 조직이 자사 도메인에 생성형 AI를 적용할 때도 범용 LLM 토크나이저를 그대로 쓰기보다 고유 비즈니스 개념에 맞춘 맞춤형 토크나이저를 구축해야 인퍼런스 속도와 제어력을 동시에 확보할 수 있다.

하이브리드 디코딩과 제약 조건 마스킹을 활용한 하드웨어 서빙 한계 극복

행 전체를 자귀회귀 방식으로 하나씩 생성하는 대신 행 초반부만 자귀회귀로 결정하고 후반부는 단일 패스로 로짓을 산출해 채우는 하이브리드 디코딩 기법을 적용했다. 자귀회귀 생성 방식이 가진 문맥 표현력이라는 장점을 유지하면서도 실제 서빙 지연시간을 20% 줄이는 실용적 균형점을 찾아냈다. 딥러닝 기반 실시간 추천 시스템을 도입하는 조직들은 모델의 표현력 향상에만 집중하다 실시간 연산 병목에 직면하기 쉽다. 생성형 모델 구축 시 모든 요소를 순차 생성하기보다 도메인 구조에 맞추어 부분 병렬 디코딩과 로짓 마스킹 제어를 결합하는 유연한 아키텍처 설계를 검토해야 한다.

사전 학습과 멀티 케이던스 증분 학습을 통한 모델 최신성 및 퇴화 방지

다음 토큰 예측 사전 학습으로 기본 구조를 익힌 후 가중 이진 분류 및 RL 사후 학습과 일간 증분 학습을 순차적으로 결합하는 구조를 구축했다. 최신 유저 트렌드와 카탈로그 변화를 일간 단위로 반영하면서도 과거 데이터 샘플링을 결합해 모델 퇴화와 치명적 망각 현상을 방지했다. 대규모 트랜스포머 모델을 수시로 전체 재학습하는 것은 막대한 컴퓨팅 비용을 유발하므로 현실적 운영 체계 구축이 필수적이다. 유사 프로젝트를 추진하는 타 조직은 단순 일회성 학습 모델을 넘어서는 주기적 대규모 학습과 일간 증분 학습이 조화를 이루는 데이터 및 파이프라인 수명주기 관리 전략을 우선 마련해야 한다.

다른 조직이 참고할 점

사용자 인프레션 이력 전체처럼 길이가 매우 긴 데이터 소스는 토큰 길이 한계로 인해 수동 요약 과정을 거쳐 프롬프트에 주입되고 있어 엔드투엔드 압축 학습 방식으로의 전환이 향후 과제로 남아있다.

참고 출처

• Netflix TechBlog