技術解説

AIマンガ翻訳にできること・できないこと：実力と限界のリアル

更新 2026-07-28

マンガ翻訳においてAIがすでに優れた下訳を作成できる領域と、OCR、文化的背景、オノマトペ（SFX）、レタリングで今なお人間の判断が必要な領域を、実証データに基づき徹底解説します。

昨年、友人からこんな質問をされました。「AIを使ったマンガ翻訳って、実際のところどこまで使えるの？未翻訳の原作マンガをそのまま読み込ませて、ちゃんと読めるレベルになる？」

私の答えは「イエスであり、ノーでもある」です。

「ストーリーの大枠を理解したい」という意味ならイエス。AIはすでに十分な実力を備えています。しかし「商業作品として出版・配信できるか」という意味ならノーです。残念ながら、まだその領域にはほど遠いのが現状です。

これは曖昧に言葉を濁しているわけではありません。現在のAIマンガ翻訳の到達点を客観的に見つめたとき、最も誠実な答えがこれなのです。そして、この「イエス」と「ノー」の境界線がどこにあるのか——それこそが、現在この分野で最も議論されておらず、かつ最も重要なテーマなのです。

本記事は、AIマンガ翻訳の「可能限界」を検証したリサーチレポートに基づいて執筆しています。AI Manga Translator などのツールを使っている方や、自身のマンガ翻訳ワークフローにAIの導入を検討している方にとって、一読の価値がある内容となっています。

まず前提として：マンガ翻訳は単なる「翻訳」ではない

これは、AIマンガ翻訳を語るうえで最もありがちな誤解です。多くの人は「マンガ翻訳＝日本語の台詞を英語（あるいは他の言語）に変換すること」と考えがちですが、それは間違いです。

実際の制作プロセスは、5つの区間からなるリレーのようなものです。どこか一つの区間でもバトンを落とせば、全体が破綻します。

テキスト検出・OCR：画像内のどこにテキストがあるかを特定し、文字として正確に認識する
文脈・コマの理解：誰の発言か、どの順番で読むべきか、前のコマとどう繋がっているかを読み解く
翻訳：原文の意味を保持したままターゲット言語へ変換する
写植・レタッチ：元の文字を消去し、適切なフォントサイズ・改行・配置で吹き出し内に収める
校正・レビュー：主語の誤認、固有名詞の間違い、ダジャレやニュアンスの欠落、表記揺れなどをチェック・修正する

これら5つの工程のうち、どれか一つでも崩れれば、読者の目に触れる最終的なクオリティは損なわれます。しかし、世間の「AIマンガ翻訳」に関する議論のほとんどは、3つ目の「翻訳」工程にしかスポットを当てていません。

COLING 2025で発表された研究が、この問題を如実に物語っています。ページ全体の視覚理解（PBP-VIS）を取り入れた GPT-4 Turbo は、日本語から英語へのマンガ翻訳において、自動評価スコア（xCOMETで0.776）上はテキストのみの手法を大幅に上回る好成績を収めました。しかし、プロのマンガ翻訳者が人間による品質評価（MQM）を実施したところ、公式のプロ訳による重度のエラー（critical errors）が107件だったのに対し、AIシステムは160件もの致命的なエラーを出していたのです。つまり、一見するとAIの文章は自然で滑らかに見えますが、ストーリーの根幹に関わる重要なディテールで誤訳を連発しており、しかもその誤訳は一読しただけでは気づきにくいという危険性を孕んでいます。

これこそがAIマンガ翻訳の真の危険性です。「文章がぎこちない」ことではなく、「一見すると自然で正しそうに見えるのに、実は間違っている」ことなのです。

本当のボトルネックは「翻訳」ではなく「OCR」にある

意外に思われるかもしれませんが、現在のAIマンガ翻訳において最大の弱点となっているのは、翻訳エンジンそのものではなく、その前段階にある「文字認識（OCR）」です。

マンガ特化型OCR（MangaOCR / MangaLMM）に関する2026年の研究成果は、業界に大きな衝撃を与えました。研究者たちが Llama-3.2-90B-Vision、Pixtral-12B、GPT-4o、Gemini 1.5 Pro といった最新の汎用マルチモーダルモデルにマンガのコマ内のテキストを正確に読み取らせたところ、そのスコアはほぼゼロという結果でした。一方で、マンガデータに特化してファインチューニングされた MangaLMM は71.5という高スコアを記録しました。

「ほぼゼロ」と「71.5」。この圧倒的な差がすべてを物語っています。マンガにおける「テキスト」は、一般的な写真の看板やスキャン文書の文字とは根本的に異なるのです。 マンガ特有のテキスト表現は、汎用OCRの認識ロジックを容易に破壊します。

コマ全体に飛び散るように描かれた擬音・効果音（オノマトペ）
標準フォントではない手書きの描き文字
湾曲したり、遠近感で歪んだり、背景に一部隠れたりしている文字
吹き出しの外に小さく添えられたナレーションやモノローグ（見落とされやすい）
単純な左から右／上から下ではない、変則的なコマ割りやセリフの追う順番

したがって、マンガのAI翻訳結果が「なぜか支離滅裂だ」と感じたとき、すぐに翻訳モデルの性能を疑うのは早計です。多くの場合、前段階のOCRの時点ですでに読み取りを失敗しています。どれほど優れた機械翻訳（MT）エンジンであっても、渡されたテキストが壊れていれば、当然ながら壊れた翻訳しか出力できません（Garbage in, garbage out）。

それでもAIが「十分使いものになる」領域

課題ばかりを挙げましたが、公平を期すために言えば、AIマンガ翻訳は確実に進化を遂げています。以下のようなユースケースであれば、すでに「実用レベル」に達していると言えます。

1. 読書補助 / 原作マンガ（Raw）の内容把握

これこそが、現在AIマンガ翻訳が最も真価を発揮する領域です。まだ公式翻訳版が出ていない作品を読みたい場合、活字のように綺麗なフォントで書かれた標準的なレイアウトの作品であれば、ページ単位のマルチモーダル翻訳によって十分理解可能なレベルの翻訳が得られます。AI Manga Translator のようなツールも、まさにこうした目的のために設計されています。プロの海賊版制作（スキャンレーション）や公式翻訳の代替を目指すのではなく、公式版が存在しない言語の読者が素早くストーリーを把握するための「読書アシスタント」としての役割です。

2. 補足情報・説明テキスト

ナレーション、地名、メニュー、街頭の看板、新聞の見出しといった客観的なテキストは、登場人物の対話（台詞）に比べてはるかに翻訳のハードルが下がります。キャラクターごとの口調や文脈の一貫性を意識する必要がなく、ダジャレなどの言葉遊びも含まれにくいためです。文化翻訳のベンチマークである CanMT のデータもこれを裏付けており、地理的・生態学的な専門用語の翻訳精度は、抽象的な言語表現に比べて顕著に高いことが示されています。

3. ページ内の情報で文脈が自己完結する短い会話

台詞が短く、感情表現がストレートで、「誰が誰に話しかけているか」「何を指しているか」が同じページ内のコマ（視覚情報）から明白な場合、AIは非常に安定した精度を発揮します。研究においても、テキスト情報のみ（0.758）からページ全体の視覚情報を加味した手法（0.776）へと変更することで評価スコアが向上しており、視覚的文脈が曖昧さの解消に大きく貢献することが証明されています。

ただし、ここには重要な注意点があります。「コンテキスト（文脈情報）は長ければ長いほど良い」というわけではないのです。複数の研究が「単一のページを超えてコンテキスト領域を広げすぎると、かえって翻訳精度が低下する」という結論で一致しています。現時点で最も精度が高くなるのは、「該当ページ＋直前直後のシーン」程度に文脈を限定した場合であり、やみくもに文脈ウィンドウを広げれば良いというものではありません。

人間の介在が依然として不可欠な3つの領域

1. ダジャレ、文化的元ネタ、慣用句

これはAIマンガ翻訳における最も高い壁であり、今のところ大きな突破口の目処は立っていない。

AIモデルもまったく無知なわけではなく、「ここにジョークがある」こと自体は理解している場合が多い。しかし、ストーリーの流れを損なわずに、翻訳先の文化で成立する自然な表現へ安定して変換することはまだできない。CanMTの研究では、これを「知識と適用のギャップ（knowledge-application gap）」と呼んでいる。モデルが持っている文化的な知識と、それを実用的な翻訳として出力する能力との間に、埋まらない溝が存在するのだ。暗喩、ダジャレ、皮肉といった抽象的な言語表現は、文化的翻訳において最も難易度が高い領域である。

マンガのコメディ要素、ツッコミや煽り文句、キャラクター固有の決め台詞の多くが、まさにこの領域に該当する。例えば、中国語の成語で「救いようがない（つける薬がない）」を意味する表現を文字通り「薬がない」と直訳してしまったり、「我が父」を「我が母」と訳し間違えたりするケースだ。読者がすぐには気づかない誤訳かもしれないが、キャラクター同士の関係性や作品の持つ感情的なトーンは、知らず知らずのうちに書き換えられてしまう。

2. 擬音・擬態語（オノマトペ）、手書き文字、変則的なレイアウト

この領域における問題は、翻訳の前段階である「認識」のフェーズから始まる。一般的なOCRはテキストが整然とした横書きのブロック内に収まっていることを前提としている。しかし、マンガのオノマトペ（効果音）は細かく分裂していたり、曲がっていたり、複数の描画オブジェクトに跨がっていたり、コマ枠を飛び出していたりすることが日常茶飯事だ。だからこそ、マンガのオノマトペのアノテーションに特化したCOOデータセットが開発されたのである。Manga109データセットの最新バージョンでも、セリフとオノマトペの注記の重なりや、過度に結合・分割された吹き出しが、最新AIによるページ構造の理解を誤らせる要因になると明確に指摘されている。

文字認識が間違っていれば、どんなに優秀な翻訳エンジンであっても正しく訳すことはできない。仮に正確に認識できたとしても、オノマトペの翻訳戦略は一筋縄ではいかない。音をそのまま翻字するのか（「ドカン」→「DOKAN」）、現地の音表現にローカライズするのか（「BOOM」）、あるいは日本語の表記をそのまま残して注釈を添えるのか。その判断は、コマごとの作画、感情的なトーン、コマ送りのリズムによって変わる。AIがこのような文脈に応じた高度な判断を下せるようになるには、まだ程遠いのが現状だ。

3. 商業出版・公式リリース

ここが最大の決定打だ。単に「AIの精度がまだ不十分だ」という漠然とした理由からではなく、現時点で公表されているデータやエビデンスを見る限り、完全自動化による出版を裏付ける根拠が存在しないからである。

Lippmannらの研究では、最もすぐれた自動化手法（PBP-VIS）であっても、人間の翻訳と比較して重大な誤訳（クリティカル・エラー）の発生率が大幅に高いことが実証されている。文芸翻訳分野の研究でも繰り返し指摘されている通り、大規模言語モデル（LLM）の出力は人間による翻訳に比べて本質的に直訳的であり、文体のバリエーションに乏しく、キャラクターの「声（個性・語り口）」が弱くなりがちだ。そしてマンガのセリフにおいて、この「声」の力強さは何よりも欠かせない要素である。オープンソースのツール開発コミュニティもこの現実を認識している。主要なマンガ翻訳ツールのドキュメントには、経験豊富な翻訳者によるレビューを経ずに機械翻訳のまま公開する場合は、その旨を明記（ラベル表示）するよう推奨する注意書きが添えられている。

また法的な観点からも、米国著作権法（17 U.S.C. § 101 et seq.）において、無断での翻訳は無許諾の二次的著作物の作成とみなされ、原作者の専有権（独占的権利）を侵害することになる。AIを活用した翻訳であっても、商業的に配信・出版するには適切なライセンス契約が不可欠だ。米国も加盟している「文学的及び美術的著作物の保護に関するベルヌ条約」の第8条においても、翻訳権は著作者の持つ専有権の一部として明確に保護されている。

ハイブリッド・ワークフロー：現時点で最も現実的なアプローチ

ここまでの「何ができて、何ができないか」を踏まえた上で、最も実践的な問いが残る。それは**「AIを最も賢く活用するにはどうすればよいか？」**という点だ。

その答えがハイブリッド・ワークフローである。最強のAIモデルを1つ選んで全てを任せ切りにするのではなく、システム全体を検証可能かつ修正可能なパイプラインに分解し、人間がチェックすべき明確なタッチポイント（介入地点）を組み込む手法だ。

推奨されるワークフローは以下の通りである。

ページ入力 → テキスト検出・領域分割 → マンガ特化型OCR
→ 順序・文脈抽出（読む順番・シーン文脈） → 翻訳生成
→ 用語集・文体ルール校正 → マルチモーダル品質保証（QA） → 自動組版（写植）
→ 人間によるポストエディット → 公開前のスポットチェック

この中で、特に見落とされがちでありながら極めて重要なのが以下の3つのステップだ。

順序・文脈抽出（Reading Order & Scene Context Extraction）: 誰がどの順番で発言しているか、そして各コマが前のコマとどのように繋がっているかを正確に捉えられているかを左右する。
用語集・文体ルール校正（Glossary & Style Rule Correction）: キャラクターの名前、敬称、決め台詞などが、単行本1巻を通してブレずに統一されているかを左右する。
マルチモーダル品質保証（Multimodal QA）: 「一見正しく見えるが、ストーリーを密かに書き換えてしまっている」ような見落としやすい誤訳を検知する。

以下に、具体的なエンジニアリング上の推奨事項を挙げる。

OCRと翻訳を分離する。 OCR作業をブラックボックス化したマルチモーダルモデルに丸投げしてはならない。人間がレビュー・修正できるテキストレイヤーを独立して保持すること。マンガの文字認識は、一般的なOCRのマイナーチェンジ程度で解決できるものではない。
キャラクター設定資料、用語集、スタイルガイドを構築する。 固有名詞、組織名、敬語の階層関係、決め台詞、決まった言い回しなどは、モデルのパラメータ規模を大きくするよりも用語集（グロッサリー）を用意する方が遥かに効果的だ。DeepLもGoogle Cloud Translationも用語集機能に対応しているため、こうした構造化アセットを活用すべきだ。
フリーテキストではなく構造化データとして出力させる。 単なる翻訳済みの文字列ではなく、speaker（話者）、source_text（原文）、translation（訳文）、register（語体・トーン）、must_keep_terms（必須保持用語）、sfx_policy（効果音処理方針）、confidence（信頼度）、needs_human_review（要人間確認フラグ）といったフィールドをモデルに出力させる。これにより、査読者やQAチームが問題の発生箇所を正確に特定できるようになる。
マルチモーダルモデルは「すべてを処理するため」ではなく「検証・補正」のために使う。 まずテキスト抽出（OCR）を行い、その後にビジョンモデルに「この単語は人の名前か、それとも普通名詞か？」「省略された主語は誰を指している可能性が高いか？」といったチェックを行わせる。エンドツーエンドのブラックボックスとして使うよりも、校正役（コレクター）として使う方が処理がはるかに安定する。
リスクに応じた段階的アプローチをとる。 ページを3つのリスクレベルに分類する。低リスク（用語集と抜け漏れチェックのみ）、中リスク（人間関係の対話トーンやキャラクターの「声」を中心に確認）、高リスク（ダジャレ、オノマトペ、ページ全体のレイアウトまで入念に精査）。人間のリソースは、最も重要度の高い部分に集中投下しよう。

結論：地に足のついた実用的なアプローチ

AIマンガ翻訳の現状を1文で要約するなら、こうなる。

「AIは『構造の理解』と『下訳（下書き）の作成』を高精度でこなせるようになったが、プロのマンガ翻訳者やレタラー（写植職人）に取って代わるには、いまだ大きな隔たりがある。」

これは言葉を濁しているわけではない。2023年から2026年にかけて発表された複数の学術論文、オープンソースツール開発の現場からのフィードバック、そしてプロの翻訳者による品質評価に基づいた確かな結論である。

商業出版に耐えうる品質を目指すすべてのチームにとって、正しい戦略は「完全自動化」ではない。**「AIを使って定型・機械的な作業を極力削減し、AIが最も失敗しやすく、かつ失敗した際のリスクが大きい部分に人間のリソースを集中させること」**である。

言い換えれば、AIは人間の翻訳者をリプレイスする最終兵器ではなく、マンガ翻訳の制作チェーン全体を刷新する上流の効率化ツールなのだ。この位置づけを正しく理解すれば、AIマンガ翻訳に対する期待が過大になることも過小評価になることもなく、真に適切な期待値を持つことができるだろう。

※本記事は、COLING 2025のマンガ翻訳研究、MangaOCR/MangaLMMベンチマーク、MMTIT-Bench（テキスト・画像翻訳評価）、CanMT（文化的翻訳ベンチマーク）など、2023年〜2026年の公開研究データおよびオープンソース知見に基づいています。

漫画ページを翻訳する

画像または PDF をアップロードし、レイアウトを保ったまま翻訳します。

漫画を翻訳