멀티모달 모델의 생성 오류를 살필 때는 모델에 전달한 입력이 생성 준비 과정에서도 원래 타입을 유지하는지 확인할 필요가 있다. Transformers v5.20.2는 generate 내부에서 일부 입력의 타입이 유지되지 않아 멀티모달 모델에 문제가 생길 수 있던 부분을 수정한 패치이다.
무엇이 바뀌었나
릴리스 설명이 주요 수정으로 꼽은 지점은 generate 안에서 호출되는 prepare_inputs_for_generation이다. 이 과정에서 일부 입력이 원래 타입을 잃을 수 있었으며, 관련 변경은 Fix inputs dict casting in generate라는 이름으로 포함됐다. 연결된 PR 번호는 #49731이다.
핵심은 새로운 생성 기능의 추가가 아니라 입력을 다루는 동작의 수정이다. 멀티모달 생성 경로를 점검하고 있다면, 모델에 넣기 전의 입력뿐 아니라 생성 준비 과정에서 타입이 유지되는지도 살펴볼 만하다. 다만 릴리스 설명에는 영향을 받는 모델 목록이나 구체적인 재현 입력이 나와 있지 않다.
개발자가 확인할 점
기존 환경에서 멀티모달 generate 문제가 있었다면 사용 중인 Transformers 버전과 오류가 발생한 위치를 먼저 정리하는 편이 좋다. 특히 입력을 준비하는 단계에서 타입과 관련된 문제가 보였다면 이번 수정과 연결해 검토할 근거가 된다. 모든 멀티모달 생성 오류가 이 문제 때문이라고 단정할 수는 없다.
업데이트를 검토할 때는 같은 모델과 같은 입력을 기준으로 생성 경로를 비교하는 방법이 유용하다. 이는 릴리스가 보장하는 테스트 결과가 아니라, 입력 타입 수정이 자신의 코드에 영향을 주는지 살펴보기 위한 점검 방법이다. 릴리스 본문에는 재현 코드가 없어 실행 예시는 생략한다.
함께 실린 수정은 구분해서 보기
같은 패치에는 텍스트만 입력받는 것으로 보고하던 VLM의 입력 모달리티 선언 수정도 포함됐다. 다만 이 변경은 별도 항목이므로 generate의 입력 타입 수정과 같은 원인으로 묶어 해석할 필요는 없다.
그 밖에 bfloat16 전문가 병렬화에서 ep_size < fsdp_size일 때 전문가 그래디언트가 0이 되는 문제와, eager_mask의 호스트에서 디바이스로의 복사를 피하는 변경도 들어갔다. 이번 글에서 살펴본 멀티모달 생성 문제와 직접 연결되는 확인 지점은 prepare_inputs_for_generation의 입력 타입 처리이다.
참고한 원문
'AI News' 카테고리의 다른 글
| [Transformers] v5.20.0 캐시 API 제거와 생성 오류 수정 (0) | 2026.10.21 |
|---|---|
| [개발/AI 브리핑] 2026-03-24 (0) | 2026.03.24 |
| [개발/AI 브리핑] 2026-03-23 (0) | 2026.03.23 |
| # [개발/AI 브리핑] 2026-03-20 (0) | 2026.03.20 |
