Geminiで画像の文字を読み取り、照合する方法

Geminiで画像の文字を読み取り、照合する方法

こんにちは。Osukeラーニング、運営者の「osuke」です。

写真の案内文を写したい、画像の表を文字にしたい。Geminiへ頼むと読みやすい回答が返ってきますが、番号の末尾や時刻の区切りまで原文と同じかは、別に確かめたいところです。この記事では、文字の転記を頼む方法から、元画像と照合して使える部分を決めるところまで説明します。

当サイトでは2026年11月18日、自作の架空の文字表を全体画像と拡大画像で各1回検証しました。実際の入力、回答画面、5行の照合結果も掲載します。カメラ写真の精度比較ではなく、画像の文字を読み取った後の確認例としてご覧ください。画像入力以外も含めた使い方は、Geminiの基本操作と機能を整理した総合ガイドから確認できます。

記事のポイント

  • 全文の転記と要約を分けて頼む質問文
  • 元画像と実回答を行・数字・記号で照合した例
  • 小さい文字や表の列順で迷ったときの確認方法
  • 読み取った結果を使う・再確認する・保留する基準

Geminiで画像の文字を読み取る手順

画像の範囲を決め、転記を依頼し、原画像と照合する3段階の手順図
文字を使う前に、対象範囲・転記・原画像との照合を順番に進めます。

最初に写す範囲と必要な項目を決め、転記だけを頼み、最後に元画像へ戻って確認します。画像を送れたことと、文字を正しく写せたことを分けると、つまずいた段階も見つけやすくなります。

文字を写す目的と対象を決める

まず「何に使う文字か」を一つ決めましょう。イベントの案内から受付時刻だけを知りたい場合と、表の全行を別の資料へ移したい場合では、必要な出力が違います。前者は対象の行を指定でき、後者は見出し、列名、行の順番も残す必要があります。文字を読む依頼に計算や予定の提案まで混ぜると、元の記載とGeminiが整理した内容を見分けにくくなります。

画像は、送信する前に自分でも開いて確かめます。四隅が欠けていないか、表の右端に単位が残っているか、本文と注記を区別できるかが確認点です。例えば金額だけを切り出し、列見出しの「税込」「税別」を外してしまうと、数字を読めても使い方を誤るおそれがあります。文字の大きさだけでなく、意味を決める周囲の情報も一緒に残してください。

パソコン版では、質問欄付近のファイル追加から画像を選び、添付の表示を確かめて質問を送ります。Googleも写真などをアップロードして内容を質問する方法を案内しています。ただし、アップロードできることは、画像内の全文が正確に写る保証ではありません。形式や利用条件は、Google公式のファイルアップロード・分析の案内を確認できます。

初めてなら、住所や氏名が入らない短いメモを1枚選び、「表の項目と内容を順番どおりに写す」と範囲を絞ると、回答を検収しやすくなります。いきなり書類一式を送るより、欲しい形式と確認方法が合うかを先に試せます。ファイルを選べない、添付が終わらないといった問題は文字の誤読とは別なので、写真を添付できない・送信できない場合の確認手順で入口から切り分けてください。

  • 使う目的、写す範囲、残す項目を先に決める
  • 数字の周囲にある単位・列名・注記を残す
  • 添付の成功と、転記内容の確認を別々に行う

全文と要約を分けて指示する

文字をそのまま使いたいときは、「内容を教えて」より「画像に見えるとおりに転記して」と頼む方が、求める作業が伝わります。「分かりやすく整理して」と添えると、文の順番、表記、細かな注記が整理される可能性があります。原文が必要な段階では、要約や言い換えを後へ回し、読めない文字の記し方も最初に決めるのが扱いやすいです。

今回の検証では、読めない文字を「□」、行自体が読めなければ「判別できない」と書くよう指定しました。これは正答を保証する特別な言葉ではなく、判断できない範囲を隠さないための依頼です。「必ず全部埋めて」と頼むと、読めない箇所まで完成したような表になり、確認すべき場所が見えにくくなります。空いていることを失敗と決めず、検収の目印にします。

下の質問文は、実際に2枚へ同じ条件で送ったものです。本文を2列の表にするのは、検証用の原画像が「項目」「内容」の2列だからです。自分の画像が3列なら、その列名と読む順番へ変えてください。文字表ではなく文章を写す場合は、表の指定を外し、「見出しと段落を保つ」と置き換えます。出力形式を原画像に合わせることが大切です。

添付した画像の見出し、列見出し、各行の文字を、画像に見えるとおりに日本語で転記してください。
画像の内容から推測して補わず、読み取れない文字は「□」、行そのものが読めなければ「判別できない」と記してください。
本文は「項目」「内容」の2列の表にし、行の順番を保ってください。
時刻、管理番号、数量、金額の単位や記号も画像で確認できる範囲だけ転記してください。
最後に、人が元画像で再確認すべき箇所だけを挙げてください。
正解の文字列や数値を推測で埋めないでください。

転記を確認してから要約が欲しくなったら、「以下は確認済みの転記です。この文字列を変えず、別欄に要約してください」と段階を分けます。例えば受付時間を原文欄へ残し、案内文だけを短くする形です。転記と要約を別の欄へ置けば、後からどこが原文かをたどれます。回答を短くすることと、原文の文字を省かず残すことを同時に一つの欄へ求めないようにしましょう。

  • まず転記を確認し、要約はその後に頼む
  • 読めない文字の表示を決め、推測で埋めないよう指定する
  • 表の列数と列名は自分の画像に合わせる

見本の文字と回答を照合する

検証に使ったのは「作業メモ(検証用)」という架空の文字表です。受付時間、管理番号、数量、単価、備考の5行を用意し、同じ文字表が小さく入った全体画像と、文字部分を大きくした画像を作りました。どちらも1600×1600ピクセルのPNGです。撮影した写真ではなく、文字列を固定して作ったデジタル画像なので、反射や手ぶれへの性能はこの試行では分かりません。

架空の作業メモ全体。受付時間、管理番号、数量、単価、備考の5行が小さく配置された自作文字表
入力した全体画像。自作の架空文字表で、カメラで撮影した写真ではありません。
全体画像と同じ5行の文字部分を大きくした検証用の作業メモ
入力した拡大画像。同じ原文を用意し、全体画像とは別の新しいチャットで各1回試しました。

2026年11月18日、パソコンのChromeでGeminiを開き、別々の新しいチャットへ各画像を1枚ずつ、同じ質問文で送信しました。回数は各条件1回、画面のモード表示は両方ともHydrogenでした。この表示から正式なモデルの版や契約プランを推定してはいません。また、先に正解の数字を質問へ書くこともせず、返ってきた表を固定した原文へ照合しています。

項目原文両条件の実回答
受付時間18:30~19:0518:30〜19:05
管理番号AB-101AB-101
数量12個12個
単価1,280円1,280円
備考青い箱に保管青い箱に保管
2026年11月18日の照合。全体・拡大の両条件で内容と数字は対応。受付時間の区切り記号には文字列の表記差があります。

両方とも、元の5行の内容と順番、時刻の数字、管理番号、数量、金額は対応しました。一方、受付時間の区切りは原文の「~」に対し、回答は「〜」でした。前者はU+FF5E、後者はU+301Cという別の文字です。内容値5行のうち4行は文字列が完全一致し、時刻1行にはこの表記差がありました。「数字が合う」と「一字一句同じ」を分けて記録した結果です。

全体画像に対しGeminiが返した5行の転記結果。時刻の区切りに原文との表記差がある
全体画像への実回答。元の5行と数字は対応しました。受付時間の区切りは「〜」となっています。アカウント情報と会話URLを除いた実画面。
拡大画像に対しGeminiが返した5行と、下部の空行に引用表示が付いた実回答
拡大画像への実回答。下部の空欄に入力画像名の引用表示が付いています。引用を元のデータと混同しないよう確認します。

拡大画像への回答では、表の末尾に空欄の行があり、入力画像名の引用表示も付いていました。元画像の表下部にも空欄があるため、架空のデータを足したとは判定していません。ただし、コピー先でこの行や引用表示を追加の記録として扱わない確認は必要です。今回の2条件から拡大の精度優位は確認できず、別の写真やすべてのモデルで同じ結果になるとも言えません。

  • 元の5行は両条件で対応。時刻の区切り記号には表記差があった
  • 空欄や引用表示は、元のデータとは分けて扱う
  • 各1回の結果を一般的な認識率や拡大の効果へ広げない

小さい文字は範囲を変えて確かめる

小さい文字を見直すときは、まず元のファイルを残し、必要な部分を別画像として用意します。全体が分かる画像と文字が読める範囲の画像を分けると、どの部分を写したのかを確かめやすくなります。これは画像の範囲を整理する方法であり、拡大しただけで欠けた画素やぼけた文字が元どおりになるという意味ではありません。

切り出す範囲は、対象の文字だけでなく見出しや単位まで含めます。例えば表の単価欄だけを拡大するなら、品名と金額の対応が分かるよう、必要な行と列名を残します。ページの一部なら「全体の右上の表」と位置も記録できます。拡大図にだけ別のページが混ざっていないか、元画像と同じ内容かを先に見比べると、後で結果の違いを説明しやすくなります。

今回の全体画像と拡大画像では、数値の読み取り結果に差は確認できませんでした。したがって、「小さい文字は拡大すれば正確になる」という成功例にはしていません。範囲を変えてみる価値があることと、結果が良くなることは別です。試す場合も同じ項目を確認し、行が増減したか、記号が変わったか、読めない箇所が残るかを見ます。良い方だけを残すのではなく、違いを記録してください。

元の写真を拡大しても自分で文字を確かめられないなら、撮り直せるか、元のPDFや案内文を入手できるかを考えます。撮影の際に文字が見切れない位置を選び、表面の反射や傾きを減らすのは、確認可能な入力を作るための工夫です。この撮影条件を変えた実験は本記事では行っていません。AIが具体的な答えを出したとしても、原画像で裏付けられない数字は未確認のままにします。

  • 全体画像は残し、切り出し元と対応を確認する
  • 文字だけでなく単位・見出し・必要な隣の列も残す
  • 元画像で確認できなければ、拡大後の回答だけで確定しない

数字や行抜けを点検する

回答の見た目が整っていても、先に行数を数えます。今回ならデータは5行なので、受付時間から備考までが同じ順であるかを見ます。見出し行や空白行をデータ件数へ混ぜないことも確認点です。項目が一つ抜け、その下の値が上へずれていると、数字そのものが読めていても別の項目へ対応してしまいます。数える単位を決めてから、項目と値の組を見比べます。

次に、使い方を変えてしまう箇所から照合します。時刻なら開始と終了、管理番号なら英字と数字、数量なら単位、金額なら桁と区切りを確認します。今回のAB-101は「AB」と「101」とハイフンを一組として見ます。これは今回誤読されたという意味ではなく、似た形の文字をまとめて雰囲気で読まず、原画像の記載へ戻るための検収方法です。

金額の表で合計も欲しい場合は、転記の確認後に計算します。「合計が合っているから各行も正しい」とは判断しません。同額の行が入れ替わったり、一つの欠落と別の重複が相殺されたりすれば、合計だけでは対応の誤りが分からないためです。元の単価1,280円と数量12個を写す作業と、その積を求める作業を分ければ、間違いがどちらで起きたかも追えます。

点検するもの今回の見本での確認次の行動
行数と順番受付時間から備考の5行欠落・重複・値のずれを照合
番号と単位AB-101、12個、1,280円桁・英数字・単位を原画像へ確認
文字の厳密な一致「~」と「〜」は別の文字用途に応じて原文の表記を保持
表以外の表示空行と入力画像の引用表示データと説明を分けてコピー
転記を別の資料へ使う前の検収例。原画像で確かめられない項目は未確認のまま残します。

毎回全文を細かく見るのが大変なら、まず使う範囲を小さくします。今回のような5行のメモなら、行名、値、単位を一つずつ確認できます。大きな表では確認済みの行と未確認の行を分け、必要な部分だけを次へ移す方法もあります。「大体読めた」という一括の判定より、どの行まで確かめたかを残す方が、修正や引き継ぎで役立ちます。

  • 行数→行と値の対応→数字と単位→記号の順に確認する
  • 合計の一致だけで各行を確認済みにしない
  • 採用した行と未確認の行を区別して残す

Geminiの文字読取りで迷ったとき

原画像との一致を確認したら使う、数字が不明なら再確認、読めなければ保留する判断図
回答の見た目だけで決めず、原画像で確かめられるかを基準に使う・再確認・保留を選びます。

読めない箇所があっても、全部をやり直す必要があるとは限りません。原画像で確かめられる部分、追加の資料が必要な部分、送信や利用を止める部分を分けると、次にすることが具体的になります。

読めない文字を推測と区別する

回答に「□」や「判別できない」があったときは、該当箇所を原画像で確認します。人が読めるなら文字を確かめて訂正でき、誰が見ても不鮮明なら別の資料が必要です。未確定の欄を残すのは、仕事を放棄することではありません。確かな部分まで巻き込まず、どこに確認が必要かを見える形にするためです。無理に全欄を埋めた表よりも、次の確認先を選びやすくなります。

例えば仮の品番「AB-10□」を見て、似た商品がAB-101だから末尾を1にするのは転記とは別の推測です。候補を調べる場合でも、元画像から読めた範囲と、別資料から見つけた候補を別欄へ分けます。「画像では末尾が未確認、公式仕様表にはAB-101がある」という状態を保ち、写真と同じ商品だと確かめる工程を省かないようにしてください。この例は説明用で、今回の実回答の誤読例ではありません。

再質問する場合は、「管理番号の末尾の文字を、画像で確認できる範囲だけ示してください。確定できなければ□を残してください」のように、問題の項目へ絞れます。ただし、その質問をしたこと自体が裏付けになるわけではありません。回答が前と同じでも、元画像に見えるかは別に確認します。同じ問いを何度も送り、多数決で文字を決める使い方は避けたいところです。

使う資料の性質によって、保留の重さも変わります。自分用の読書メモの一部と、支払い金額や締切時刻では、読み違えたときの影響が異なります。重要な数字ほど、元資料や発行元が示す記載で確かめてから採用します。画像だけで確認が終わらないなら、Geminiに答えを強く要求するのではなく、確認できる資料へ戻るのが次の行動です。

  • 原画像で確かめた文字と、別資料からの候補を分ける
  • 同じ回答が繰り返されても正しさの証明にしない
  • 重要な番号・金額・締切が未確認なら、その項目は保留する

複数列や読む順番をそろえる

段組みの案内や複数列の表では、どの順番で写してほしいかを指定します。左の段を上から下へ読んだ後に右へ進むのか、同じ行の左右を組にするのかで、出力は変わります。表なら列名を、文章なら段や見出しを指定すると、対応を確認しやすくなります。「全部文字にして」だけで十分か迷う場合は、最初の数行で並びが合うかを確かめてください。

仮に「品名・数量・備考」の3列があるなら、「各行を1件として、品名、数量、備考の順に3列の表へ。空欄は空欄と分かるように」と頼めます。項目名を省いた数値だけの一覧では、後からどの列の値かが曖昧になります。列を減らす前に原画像の対応を確認し、使わない列を除くのはその後にすると、転記と編集を分けられます。

今回実際に確かめたのは2列5行の表だけです。複雑な結合セル、縦書き、二段組みを同じように読めるかは試していません。また、拡大画像への回答に付いた「ocr-detail.png」の表示は、入力画像を参照するためのもので、元の作業メモに書かれた項目ではありません。引用、説明文、空行がコピー先の表へ混ざらないかを、データの対応とは別に確認します。

表を別のアプリへ貼り付ける場合は、貼り付け後にも列の分かれ方を見てください。画面で2列だったものが一つのセルへ入るなど、転記結果とは別の編集上の問題が起こることがあります。必要ならタブ区切りなど目的に合う形式を依頼しますが、出力形式を変えた後も行数と先頭・末尾を確認します。整形しただけだから元と同じ、とは決めないようにします。

  • 段の順番か、行ごとの列の対応かを指定する
  • 空欄・引用表示・注記をデータ本体と区別する
  • 貼り付けた後の行数・列数・先頭と末尾も確認する

レンズでコピーする方法との違い

画像の文字を少しコピーしたいだけなら、Geminiへ長い依頼をする前に、Googleレンズなどの文字選択機能が目的に合うかを考えられます。Googleの案内には、レンズで画像のテキストを選びコピーする方法があります。対してGeminiは、転記した内容を表へ整理したり、確認後に要約や質問へつなげたりする使い方を選べます。どちらも、コピー結果を元画像で確認する工程は残ります。

選ぶ基準は「どちらが高性能か」より、今したい作業です。案内の一文だけを手元のメモへ移すなら文字選択が候補になります。複数の項目を同じ列で整理したい、読めない場所を明示した回答が欲しい、といった場合はGeminiへ形式を指定する方法を考えられます。本記事ではレンズとGeminiの認識率や速度を比較していないため、優劣の順位は付けていません。

したい作業候補の方法残す確認
画像の一文をコピーレンズなどの文字選択選択範囲と文字の対応
項目を表へ整理Geminiへ列名と転記を指定行数・順番・数値・空欄
内容を短くまとめる転記を確認してから要約原文と要約を別欄にする
元文書で文字を選べる元の文字を直接コピーコピー先での文字と改行
目的による使い分けの例。各手段の認識率・速度を比較した実験結果ではありません。

公式のレンズ案内で示される領域選択はAndroidとiOSが対象です。パソコンでも同じボタン名や配置が出ると考えず、使っている端末の案内を確認してください。スマートフォンの手順やレンズの実操作は今回の検証対象ではありません。画面の違いで迷うときは、無理に同じ場所を探すより、必要なのが文字の選択か、画像を使った質問かを先に分けると整理できます。

元の文書で文字を直接選択できる場合は、その文字をコピーする方法もあります。画像化された文字をもう一度読み取る必要があるかを先に考えるわけです。ただし、コピーした文字も元の見た目と対応するかを確認します。書類の保管先や利用規則によって選べる方法も異なるので、機密資料を扱うためだけに新しい外部サービスへ送信先を増やすことは避け、許可された範囲で手段を選びます。

  • 短い文字のコピー、表の整理、内容への質問を区別する
  • レンズとの精度・速度の優劣は今回比較していない
  • 元文書から直接コピーできるかも確認する

情報を送る前に確認すること

文字を読み取りたい部分に問題がなくても、画像全体には別の情報が写っていることがあります。宛名、電話番号、通知欄、ファイル名、背景のメモなど、読む予定ではない場所まで確認してください。表の一部だけを頼む場合でも、全体画像を送ればその画像を共有することになります。質問文で「この欄だけ見て」と書くことと、送信範囲を限定することは別です。

今回の見本は、最初から架空の文字だけで作り、人物、住所、メールアドレス、実際の契約情報を入れていません。掲載する回答画面も、アカウント名や会話URL、履歴が写らない範囲にしました。読者が同じ手順を練習する場合も、まず自分で作った短いメモを使うと、送信してよいか判断しにくい実書類を試験材料にせずに済みます。

Googleは、Geminiで共有するファイルや写真などの情報の取扱いをプライバシーの案内で説明しています。個人用と仕事・学校用のアカウントでは、利用条件や組織のルールを分けて確認する必要があります。履歴など一つの設定だけを見て、どの書類でも送れると判断しないでください。この記事は設定を変更して機密を送る手順ではなく、送信範囲と必要性を確認するための説明です。

他の人が作った資料を文字にした後、そのまま公開してよいかも別の確認です。自分用の転記と、第三者へ配布する資料の作成は同じではありません。送信してよい範囲と、転記後に利用してよい範囲の両方を確かめましょう。判断できない実書類は送信を保留し、管理者や資料の扱いを決められる人に確認します。練習用の架空メモに切り替えれば、操作の確認自体は分けて進められます。

  • 読みたい欄以外の通知・宛名・背景も確認する
  • 送信の可否と、転記した文字の利用範囲を分ける
  • 実書類の条件が分からなければ架空メモで練習する

画像の文字読取りを進める要点

Geminiで画像の文字を使うときは、「範囲を決める→転記を依頼する→元画像と照合する」の順に進めます。最初の目的が受付時間の確認なら、その行の開始と終了までを確かめれば次の判断へ進めます。表全体を別の資料に使うなら、列名、全行、順番、空欄を含めて確認します。必要な範囲を決めることが、検収の負担を抑える第一歩です。

今回の見本では全体と拡大の両方で5行の内容が対応し、時刻の区切りには表記差がありました。この結果から選べる行動は、数字の対応だけで良い用途か、原文どおりの文字列が必要な用途かを分けることです。原文の表記を正確に残したいなら、目視で確かめて訂正した箇所も記録します。拡大の優位が出なかった結果も、都合の良い成功談へ変えず判断材料にします。

次に、未確認の箇所を残したまま計算や要約へ進んでいないかを見ます。管理番号の末尾が分からないなら、関連する商品の特定も保留です。金額の桁が読めないなら、合計を出しても根拠が確かになったことにはなりません。元画像から分かる内容だけを採用し、追加の資料が必要な箇所を分けると、回答を次の作業へ移す際の境界を保てます。

文字の転記ではなく、2枚の写真の見える違いを比較したい場合は、写真A・Bを指定して比較し、元画像と照合する方法が次の手順になります。同じ画像入力でも、添付、文字の転記、外観比較では確かめる点が違います。まず個人情報のない短い1枚で、写したい項目と「読めない場合の表示」を指定し、回答の先頭と末尾まで原画像へ戻って確かめてみてください。

  • 使う範囲を決め、原文と行・数字・単位を対応させる
  • 記号の表記差、空欄、引用表示も用途に応じて点検する
  • 確認できない箇所は推測で埋めず、再確認か保留にする
  • 転記を確かめてから、要約・計算・別の資料作成へ進む