기술 해설

AI 만화 번역이 할 수 있는 것과 할 수 없는 것: 실제 성능의 한계

업데이트 2026-07-28

만화 번역에서 AI가 이미 뛰어난 초안을 만들어내는 영역과 함께, OCR, 문화적 맥락, 효과음(SFX), 식자 작업처럼 여전히 사람의 판단이 필요한 부분을 근거를 바탕으로 살펴봅니다.

작년에 한 친구가 저에게 이렇게 물었습니다. "요즘 AI 만화 번역 진짜 쓸 만해? 그냥 원서 이미지 넣으면 읽을 수 있게 번역돼서 나와?"

제 대답은 "맞기도 하고 아니기도 하다"였습니다.

"무슨 일이 일어나고 있는지 내용만 파악하면 된다"라는 뜻이라면 '맞다'입니다. AI는 이미 그 정도는 충분히 해내니까요. 하지만 "이걸 정식으로 출판하거나 공개할 수 있느냐"라는 뜻이라면 '아니다'입니다. 아직은 그 단계와 거리가 멀어도 한참 깁니다.

이건 애매하게 답변을 회피하려는 게 아닙니다. 현재 AI 만화 번역의 기술적 한계를 고려했을 때 가장 솔직한 답변입니다. 그리고 '가능하다'와 '불가능하다'를 가르는 이 경계선이 정확히 어디에 있는가 하는 점이야말로, 이 분야에서 가장 활발히 논의되어야 하면서도 제대로 다뤄지지 않은 핵심 질문입니다.

이 글은 AI 만화 번역의 능력 한계를 다룬 심층 연구 보고서를 바탕으로 작성되었습니다. AI Manga Translator 같은 도구를 사용하고 있거나 만화 번역 워크플로에 AI 도입을 고민 중이시라면, 시간을 내어 읽어볼 만한 가치가 있을 것입니다.

먼저 짚고 넘어가야 할 점: 만화 번역은 단순한 '번역'이 아닙니다

이건 이 분야에서 가장 흔하게 발생하는 오해입니다. 많은 사람들이 만화 번역을 '일본어 대사를 한국어(또는 다른 언어)로 바꾸는 작업' 정도로만 생각합니다. 하지만 틀렸습니다.

실제 작업 과정은 5단계의 계주와 같아서, 어느 한 구간에서라도 바통을 놓치면 전체가 무너집니다.

텍스트 감지 및 OCR—텍스트가 위치한 곳을 찾은 뒤 글자를 정확히 인식하는 단계
문맥 및 연출 이해—누구의 대사인지, 어떤 순서로 읽어야 하는지, 이전 컷과 대사가 어떻게 연결되는지 파악하는 단계
번역—출발어(원어)를 도착어(번역어)로 전환하는 단계
식자 및 식자 수정(Redrawing)—원본 텍스트를 지우고, 알맞은 폰트 크기·줄바꿈·위치를 고려해 말풍선 안에 번역문을 집어넣는 단계
검수(감수)—주어 오역, 인물 이름 혼동, 언어유희 누락, 일관성 깨짐 등을 잡아내는 단계

총 5단계입니다. 이 중 하나라도 실패하면 독자가 보게 될 최종 결과물의 품질은 크게 떨어집니다. 그럼에도 AI 만화 번역에 대한 대부분의 논의는 3단계인 '번역'에만 온통 집착하고 있습니다.

2025년 COLING 학회에 발표된 연구가 이 점을 잘 보여줍니다. 페이지 단위의 시각적 이해(PBP-VIS) 기능을 갖춘 GPT-4 Turbo는 일한(日英) 만화 번역 정량 평가에서 xCOMET 점수 0.776을 기록하며 텍스트 전용 방식보다 훨씬 뛰어난 성과를 보였습니다. 하지만 전문 만화 번역가들이 정밀 품질 평가(MQM)를 진행했을 때, AI 시스템은 160개의 '치명적(critical)' 오류를 낸 반면, 정식 사람이 번역한 본은 107개에 그쳤습니다. 즉, 머신 번역이 평균적으로는 더 매끄럽게 보일지 몰라도 핵심적인 세부 정보를 여전히 놓치고 있다는 뜻입니다. 더 큰 문제는 독자들이 글을 읽을 때 이러한 오류를 눈치채지 못하고 넘어가는 경우가 많다는 점입니다.

바로 이 점이 위험합니다. 번역이 어색해서 위험한 것이 아니라, 틀렸는데도 그럴듯하고 매끄럽게 읽히기 때문에 위험한 것입니다.

진짜 병목 현상은 '번역'이 아니라 'OCR'인 경우가 많습니다

놀라실 수도 있지만, 현재 AI 만화 번역에서 가장 취약한 고리는 기계 번역 엔진 자체가 아닙니다. 그 전 단계인 '텍스트 인식(OCR)'입니다.

만화 OCR(MangaOCR / MangaLMM)에 관한 2026년 연구는 경각심을 깨워줍니다. 연구진은 Llama-3.2-90B-Vision, Pixtral-12B, GPT-4o, Gemini 1.5 Pro 같은 최첨단 멀티모달 모델들을 투입해 만화 컷 안의 텍스트를 정확히 읽어내는 테스트를 진행했습니다. 종합 점수는 어땠을까요? 사실상 모두 '0점'에 가까웠습니다. 반면 만화 데이터로 특화 파인튜닝된 MangaLMM은 71.5점을 기록했습니다.

0점에서 71.5점. 이 격차가 모든 것을 말해줍니다. 만화 속 텍스트는 일반 사진이나 스캔 문서 속 텍스트와 완전히 다릅니다. 만화 텍스트는 범용 OCR 엔진을 무력화하는 다음과 같은 특성을 갖고 있습니다.

그림 곳곳에 산재해 파편화된 효과음(의성어/의태어)
규격화된 폰트가 아닌 손글씨 형태의 레터링
휘어지거나 원근감이 적용되거나, 그림에 일부가 가려진 텍스트
말풍선 밖에 아주 작게 적혀 있어 놓치기 쉬운 해설 및 중얼거림 텍스트
단순히 위에서 아래로, 왼쪽에서 오른쪽으로 읽히지 않는 복잡한 시선 이동 및 읽기 순서

따라서 만화 AI 번역 결과가 터무니없이 엉망이라 느껴질 때, 무작정 번역 모델만 탓할 일은 아닙니다. 앞선 OCR 단계에서 이미 글자를 잘못 인식했을 확률이 높습니다. 아무리 뛰어난 기계 번역 엔진이라도 입력된 텍스트만 번역할 수 있을 뿐입니다. 엉터리 입력에는 엉터리 출력(Garbage In, Garbage Out)만 나올 뿐입니다.

AI가 이미 충분한 제역할을 해내고 있는 영역

제약 사항들을 열거하긴 했지만, 공정하게 평가하자면 AI 만화 번역은 유의미한 진전을 이루어냈습니다. 실전에서 "충분히 쓸 만하다"라고 할 수 있는 대표적인 활용 영역은 다음과 같습니다.

1. 감상 보조 및 원서 내용 파악

이는 AI 만화 번역이 가장 강력한 성능을 발휘하는 분야입니다. 아직 정식 번역되지 않은 만화를 읽고 싶을 때, 인쇄 상태가 깔끔하고 표준 폰트를 사용하며 컷 배치가 무난하다면 페이지 단위 멀티모달 번역으로도 충분히 신뢰할 만한 초안을 얻을 수 있습니다. AI Manga Translator 같은 도구 역시 이러한 목적으로 설계되었습니다. 전문적인 식자/번역 팀(스캔레이션)을 대체하는 것이 아니라, 번역본이 없는 만화를 독자가 빠르게 이해할 수 있도록 돕는 것입니다.

2. 정보 전달형 텍스트

나레이션 캡션, 지명, 메뉴판, 표지판, 신문 헤드라인 등은 등장인물의 대사보다 번역하기 훨씬 쉽습니다. 인물의 말투(어조)를 신경 쓸 필요가 없고, 서사적 맥락이나 언어유희도 포함되어 있지 않기 때문입니다. 문화적 번역 벤치마크인 CanMT 데이터 역시 이를 뒷받침합니다. 지리 및 생태 관련 용어는 추상적인 언어적 표현에 비해 훨씬 높은 번역 정확도를 보여줍니다.

3. 한 페이지 안에서 맥락을 파악할 수 있는 짧은 대화

대사가 짧고 감정이 명확하며, 동일한 페이지 내의 시각적 힌트를 통해 "누가 말하고 있는지", "무엇을 지칭하는지" 파악할 수 있는 경우 AI의 성능은 상당히 뛰어납니다. 연구에 따르면 페이지 단위 시각 정보 분석 기술을 도입했을 때 일한 만화 번역의 정량 점수가 0.758(텍스트 전용)에서 0.776으로 상승했습니다. 시각적 맥락이 텍스트의 모호함을 해소해 준다는 점이 증명된 셈입니다.

하지만 여기서 꼭 짚고 넘어가야 할 치명적인 주의사항이 있습니다. 맥락 정보가 무조건 많다고 좋은 것은 아닙니다. 여러 연구가 동일하게 지목하는 사실은, 문맥 범위를 단일 페이지 이상으로 과도하게 넓히면 오히려 번역 품질이 떨어진다는 점입니다. 가장 이상적인 범위는 계속 늘어나는 거대한 컨텍스트 창이 아니라, '현재 페이지와 바로 인접한 장면'까지입니다.

여전히 인간의 손길이 필수적인 영역

1. 언어유희, 문화적 요소, 그리고 관용구

이 영역은 AI 만화 번역이 넘기 힘든 가장 커다란 장벽이며, 당장 눈에 띄는 돌파구도 보이지 않습니다.

AI 모델이 아무것도 모르는 것은 아닙니다. "여기에 농담이 있다"는 것까지는 종종 파악합니다. 하지만 서사의 흐름을 깨뜨리지 않으면서 타깃 문화권에 딱 맞아떨어지는 표현을 일관되게 만들어내지는 못합니다. CanMT 연구에서는 이를 '지식-적용 격차(knowledge-application gap)'라고 설명합니다. 모델이 가진 문화적 지식과 이를 실제 쓸 수 있는 번역으로 구현하는 능력 사이에 지속적인 단절이 존재한다는 의미입니다. 암시, 언어유희, 풍자와 같은 추상적인 언어적 기호는 문화 번역에서 가장 번역하기 어려운 범주에 속합니다.

만화 특유의 유머, 티키타카식 대화, 캐릭터의 말버릇 등이 대부분 여기에 해당합니다. 예를 들어 '답이 없다(약도 없다)'라는 의미의 중국어 관용구를 직역해 '약이 없다'로 번역하거나, '아빠'를 '엄마'로 옮기는 식의 오류가 발생합니다. 독자가 당장 알아차리지 못할 수도 있지만, 이러한 오역은 캐릭터 간의 관계성과 작품 고유의 감정선을 조용히 왜곡시킵니다.

2. 효과음, 손글씨 텍스트, 그리고 비정형 레이아웃

이 문제는 이미 인식 단계부터 시작됩니다. 일반적인 OCR은 텍스트가 정돈된 가로 줄 형태로 배치되어 있다고 가정합니다. 반면 만화의 효과음(SFX)은 조각나 있거나, 곡선 형태이거나, 여러 사물에 걸쳐 있고, 심지어 컷(패널) 경계를 넘나들기도 합니다. COO 데이터셋이 만화 효과음 주석 달기를 위해 별도로 구축된 것도 바로 이 때문입니다. 최신 Manga109 데이터셋 역시 대사와 효과음 주석의 중첩, 덜 분할된 말풍선 등이 최신 AI의 페이지 구조 이해를 방해할 수 있다고 명시하고 있습니다.

텍스트 인식이 잘못되면 그 어떤 번역 엔진으로도 바로잡을 수 없습니다. 설령 인식이 제대로 되었다 하더라도 효과음 번역 전략은 생각보다 복잡합니다. 음차를 할 것인가("ドカン" → "DOKAN"), 현지 언어에 맞는 의성어로 바꿀 것인가("BOOM"), 아니면 원어 표기를 유지하고 주석을 달 것인가? 이러한 결정은 각 컷의 연출, 감정적 톤, 읽는 리듬에 따라 달라집니다. AI는 아직 이러한 맥락적 판단을 내리기에는 턱없이 부족합니다.

3. 상업적 출판 및 공식 정발

이것이 가장 결정적인 한계선입니다. 단순히 "AI 성능이 부족하다"는 막연한 이유 때문이 아니라, 현재 공개된 학술적·실무적 근거들이 완전 자동화 출판을 전혀 지지하지 않기 때문입니다.

Lippmann 등의 연구에 따르면, 가장 뛰어난 자동화 방식(PBP-VIS)조차 인간의 번역보다 치명적인 오류를 훨씬 더 많이 발생시키는 것으로 나타났습니다. 문학 번역 연구에서도 거대언어모델(LLM)의 결과물은 인간의 번역에 비해 본질적으로 직역에 가깝고, 문체적 다양성이 떨어지며, 캐릭터 고유의 '어조(voice)'가 옅다는 사실이 지속적으로 지적됩니다. 만화 대사에서는 바로 이 '어조'와 '말맛'이 생명입니다. 오픈소스 도구 커뮤니티 역시 이를 잘 알고 있습니다. 주요 만화 번역 도구들의 공식 문서에서는 숙련된 번역가의 감수를 거치지 않은 기계 번역 결과물에 대해 반드시 '기계 번역본'임을 명시하도록 권장하고 있습니다.

미국 저작권법(17 U.S.C. § 101 이하)에 따르면, 저작물의 무단 번역은 원저작자의 배타적 권리를 침해하는 2차적 저작물에 해당합니다. AI의 도움을 받은 번역이라 할지라도 상업적으로 유통하려면 정식 라이선스가 필수적입니다. 미국이 가입해 있는 문학·예술적 저작물 보호를 위한 베른 협약(Berne Convention) 제8조 역시 번역권을 저작자의 배타적 권리의 일부로 보호하고 있습니다.

하이브리드 워크플로우: 현재 가장 현실적인 접근법

"AI가 할 수 있는 일"과 "할 수 없는 일"을 따져보았으니, 이제 가장 실용적인 질문이 남습니다. "그렇다면 AI를 가장 똑똑하게 활용하는 방법은 무엇일까?"

정답은 하이브리드 워크플로우입니다. 가장 성능 좋은 모델 하나를 골라 모든 것을 알아서 처리해 주길 바라는 것이 아니라, 작업 시스템을 검증 및 수정이 가능한 단계를 거치도록 나누고 인간이 개입할 지점을 명확히 설정하는 방식입니다.

추천하는 작업 흐름은 다음과 같습니다.

페이지 입력 → 텍스트 감지 및 영역 분할 → 만화 전용 OCR
→ 읽기 순서 및 장면 맥락 추출 → 번역 생성
→ 용어집 및 스타일 규칙 교정 → 멀티모달 QA → 자동 식자(Typesetting)
→ 인간 감수 및 후편집 → 출시 전 최종 샘플 검수

이 중 가장 자주 간과되면서도 가장 핵심적인 단계는 다음 세 가지입니다.

읽기 순서 및 장면 맥락 추출: 누가 어떤 순서로 말하고 있는지, 이전 컷과 현재 컷이 어떻게 연결되는지 정확히 파악합니다.
용어집 및 스타일 규칙 교정: 단행본 전체에서 캐릭터 이름, 존댓말/반말 호칭 관계, 말버릇이 일관되게 유지되도록 보장합니다.
멀티모달 QA: "겉보기에는 그럴듯하지만 은연중에 스토리를 바꿔버리는" 까다로운 오역을 잡아냅니다.

실무 엔지니어링을 위한 구체적인 제언 몇 가지를 소개합니다.

OCR과 번역 단계를 분리하세요. 블랙박스 형태의 멀티모달 모델에 OCR을 전적으로 맡기지 마세요. 검토 가능하고 인간이 직접 수정할 수 있는 텍스트 레이어를 유지해야 합니다. 만화 텍스트 인식은 범용 OCR에 몇 가지 패치를 더하는 수준으로 해결할 수 있는 문제가 아닙니다.
캐릭터 시트, 용어집(Glossary), 스타일 가이드를 구축하세요. 인물명, 조직명, 존호/경어 체계, 말버릇, 관용적 표현 등은 더 큰 모델로 교체하는 것보다 잘 정리된 용어집을 적용하는 것이 훨씬 효과적입니다. DeepL과 Google Cloud Translation 모두 용어집 기능을 지원하므로 이러한 구조화된 자산을 적극 활용하세요.
자유 형태의 텍스트 대신 구조화된 출력(Structured Output)을 사용하세요. 단순히 번역된 문자열만 출력받지 말고, 모델이 speaker, source_text, translation, register, must_keep_terms, sfx_policy, confidence, needs_human_review 같은 필드를 나누어 출력하도록 설정하세요. 이렇게 해야 검수자와 QA 담당자가 문제의 원인을 정확히 추적할 수 있습니다.
멀티모달 모델은 전 과정이 아닌 '교정' 용도로 활용하세요. 먼저 OCR 추출을 진행한 후 비전 모델이 검토하도록 하는 방식입니다. 예: "이 단어는 등장인물 이름인가, 일반 명사인가?", "생략된 주어가 가리키는 대상은 누구인가?" 엔드투엔드(End-to-End) 블랙박스 방식보다 이처럼 교정자 역할로 사용하는 것이 훨씬 안정적입니다.
리스크에 따라 작업 단계를 나누세요(Tiering). 페이지를 세 가지 리스크 등급으로 분류하세요. 저위험(용어집 적용 및 누락 텍스트 점검 수준), 중위험(인물 관계 및 말투 중심 점검), 고위험(언어유희, 효과음, 전면 레이아웃 집중 감수). 리소스(인간의 시간)는 가장 중요한 곳에 집중 투입해야 합니다.

결론: 현실적이고 유용한 관점

AI 만화 번역의 현주소를 한 문장으로 요약하자면 다음과 같습니다.

AI는 이제 '맥락 파악'과 '초안 작성'을 안정적으로 해낼 수 있지만, 전문 만화 번역가와 식자(Letterer)를 대체하기까지는 여전히 먼 길이 남아있습니다.

이는 모호한 회피성 발언이 아닙니다. 2023년부터 2026년까지 발표된 여러 학술 논문, 오픈소스 도구들의 실제 현장 피드백, 그리고 전문 번역가들의 품질 평가를 통해 검증된 결론입니다.

실제로 출판 가능한 수준의 품질을 목표로 하는 팀이라면 '완전 자동화'는 올바른 전략이 아닙니다. 올바른 전략은 이것입니다. AI를 활용해 반복적인 기계적 작업을 최대한 줄이고, AI가 실패할 가능성이 가장 높으며 그 실패 비용이 가장 큰 영역에 인간의 노력을 집중하는 것입니다.

즉, AI는 인간 번역가를 대체하는 최종 병기가 아닙니다. 만화 번역 제작 파이프라인 전체를 혁신하는 전단 단계의 효율화 도구입니다. 이러한 프레임을 제대로 이해한다면 AI 만화 번역에 대한 기대치가 지나치게 높거나 낮아지지 않고, 딱 필요한 만큼의 현실적인 기준을 갖추게 될 것입니다.

본 아티클은 COLING 2025 만화 번역 연구, MangaOCR/MangaLMM 벤치마크, MMTIT-Bench 텍스트-이미지 번역 평가, CanMT 문화 번역 벤치마크 등 2023~2026년 공개된 학술 연구 및 오픈소스를 바탕으로 작성되었습니다.

만화 페이지 번역하기

이미지나 PDF를 업로드하고 레이아웃을 유지한 채 번역하세요.

만화 번역