画像編集
画像のアップスケールとは?
画像のアップスケールとは、画像を元よりピクセル数の多い大きな画像にすることです。単純なリサイズでは既存のピクセルを広げるだけなので、ぼんやりして見えます。AIアップスケール(超解像とも呼ばれます)は、小さい画像と大きい画像のペアで学習したモデルで足りないディテールを予測するので、エッジと質感がシャープなまま保たれます。
執筆:DreamBenchチーム。更新。
画像のアップスケールの概要
概要
- できるもの
- 大きくした画像。通常は幅と高さが2倍または4倍です。
- 仕組み
- 超解像モデルが、新しいピクセルのディテールを予測します。
- 保つもの
- 元の画像の構図、色、形。
- 作り出すもの
- 細かな質感:肌、葉、布地、輪郭のシャープさ。
- できない
- 元の写真では小さすぎて判別できない文字や顔を復元する。
どの倍率を選べばいいですか?
SNS投稿やWebサイト: 2倍。幅と高さを2倍にします。画面で見るには十分で、結果は元の画像に近いままです。AI画像高画質化で「2倍」を選んでください。
プリント、ポスター、4Kの画面: 4倍。ピクセル数を最大にします。AI画像高画質化で「4倍」を選ぶか、画像を4Kにアップスケールを使ってください。結果の長辺は4096ピクセルが上限なので、写真の長辺の4倍がその範囲に収まるときに4倍が適用され、それより大きい写真は2倍になります。
ぼやけた写真や小さな写真を、ただ見やすくしたいとき: 大きくすること自体が目的でないなら、高画質化を。AI写真高画質化は同じモデルを、ぼんやりしたスマホ写真やメッセージから保存した小さな画像向けの設定で実行します。写っているものをシャープにするだけで、顔のレタッチはしません。
ぼやけた写真: まず鮮明化、それから高画質化です。シャープ化はピクセルを増やさずにエッジのコントラストを上げ、高画質化はピクセルを増やしますが、ピントのずれや手ブレは直せません。画像の鮮明化は、モデルが直せる種類のぼやけ向けに設定されています。
AIアップスケールの仕組み
AIアップスケールは、画像の小さな領域ごとに、それをより鮮明で大きくしたものがどう見えるかを予測する仕組みです。DreamBenchが使うモデルReal-ESRGANは、鮮明な画像にぼやけや圧縮をまねた劣化をわざと加えたデータでこれを学んでいるので、劣化がどう見えるかと、拡大しながらそれをどう元に戻すかを知っています。
アップスケールで増えるのはピクセルであって、写真にもともとなかった情報ではありません。小さすぎて誰だかわからない顔が、特定の人物の顔になることはありません。また、鮮明に見せるためにディテールを作り出すアップスケーラーもあります。DreamBenchのAI画像高画質化は、顔のレタッチをせずに忠実な処理を1回だけ行うので、顔は元の顔のままです。
ESRGANからReal-ESRGANへ
Real-ESRGANはESRGAN(2018年)をベースにしています。ESRGANは以前のネットワークを改良し、よりリアルで自然な質感を出せるようにしたものです。Real-ESRGANはその種のネットワークを受け継ぎ、実際の写真をまねるようにわざと劣化させた画像で学習させることで、実際の写真に対応できるようにしました。
画像を大きくする方法
| 加えるもの | 元の写真に忠実 | 向いている用途 | |
|---|---|---|---|
| リサイズ | ピクセルは増えるが、どれも周囲のピクセルの平均 | 忠実だが、ぼやける | 小さな拡大、プレビュー |
| AI超解像 | 予測されたエッジと質感 | おおむね忠実:元にあるものを鮮明にする | 写真、商品写真、プリント |
| 生成型アップスケール | 画像モデルが描いた新しいディテール | 低い:顔や文字が変わることがある | イラストや生成画像 |
| アウトペインティング | 端の周りにシーンが増えるが、ディテールは増えない | 元の画像は残り、ほかは新しく描かれる | 横または縦に広がったフレーム |
アップスケールが使われる場面
- 元のピクセル数では足りない大きさで写真を印刷する。
- スライド、Webサイト、動画のフレームいっぱいに使いたい、古い画像や小さな画像。
- ECモールが最小サイズを指定している商品画像。
- 小さいサイズで生成・保存された画像。
アップスケールの限界
- 顔と文字:小さすぎて読み取れない場合、アップスケーラーは推測するしかなく、推測は元の画像そのものではありません。
- レンガ、布地、木の葉などの繰り返し模様は、規則的になりすぎることがあります。
- 強い圧縮:ブロック状のJPEGノイズも、ほかの部分と一緒にシャープになることがあります。
- 動画:フレームを1枚ずつ別々にアップスケールすると、細部がフレームごとにちらつくことがあります。これは時間的一貫性の失敗です。
アップスケールした画像がまだぼやけて見えるなら、ぼやけは元の画像にあったものです。ピントが合っていない写真や撮影時に手ブレした写真には再構築できる鮮明な輪郭がないので、同じぼやけのまま大きくなって返ってきます。チャットから保存したぼやけた画像も、モデルに必要なディテールをすでに失っています。手持ちでいちばん大きく、圧縮の少ない元画像から始めてください。大きな画像を4倍で実行することも、もう1つの原因です。長辺の4倍が出力の上限を超える場合、モデルは画像を2倍に拡大し、最後の工程で残りをリサイズします。これはピクセルを増やすだけでディテールは加えないので、そのサイズの画像では4倍にしても2倍と変わりません。
傷、破れ、色あせは、アップスケールの前にAI写真修復で直してください。先にアップスケールすると、傷みが大きく、くっきりするだけです。
DreamBenchで画像をアップスケールする方法
AI画像高画質化では、Real-ESRGANで2倍または4倍に拡大します。長辺が2048ピクセルを超える写真は先に縮小され、結果の長辺は最大4096ピクセルです。
アップスケール1回で7クレジットを使います。用途を1つに絞った2つのプリセットもあります。ぼやけた写真や小さな写真にはAI写真高画質化、いちばん大きな結果がほしいときは画像を4Kにアップスケールを使います。
| 2倍の場合 | 4倍の場合 | きっかけ | |
|---|---|---|---|
| 500ピクセルの画像 | 長辺1000ピクセル | 2000ピクセル | どちらもモデル自身の処理です。500の4倍は上限に十分収まります。 |
| 1000ピクセルの画像 | 2000ピクセル | 4000ピクセル | モデルの4倍処理で、上限の4096ピクセルにぎりぎり収まります。 |
| 1920 × 1080のフレーム(1080p) | 3840 × 2160、つまり4K UHD | 長辺4096ピクセル | 1920の4倍は上限を超えるため、モデルは2倍に拡大し、最後の工程で上限までリサイズします。増えるのはピクセルで、ディテールではありません。 |
| 2048ピクセル以上の画像 | 4096ピクセル | 4096ピクセル | 実行前に2048ピクセルに縮小されるので、結果はどちらにしても上限のサイズです。 |
PNGをアップロードすれば、透明な背景も含めてPNGで返ってき、JPEGはJPEGで返ってきます。ファイルはピクセル数に応じて大きくなり、2倍では4倍、4倍では16倍のピクセル数になるので、PNGがいちばん大きくなります。高画質化ツールは40MBまでの写真を扱え、スマホのブラウザでも動き、アップロードした画像は7日後に結果とともにツールのストレージから削除されます。どちらもモデルの学習には使いません。
よくある質問
アップスケールとリサイズは同じですか?
いいえ。リサイズは既存のピクセルを引き伸ばすので、大きくした画像はぼやけて見えます。超解像モデルによるアップスケールは、増えたピクセルの新しいディテールを予測するので、輪郭や質感がよりくっきり保たれます。
2倍と4倍のアップスケールの違いは何ですか?
2倍では幅と高さがそれぞれ2倍になるので、ピクセル数は4倍になります。4倍では幅も高さも4倍になり、ピクセル数は16倍です。DreamBenchでは、結果の長辺は最大4096ピクセルです。
AIアップスケールで本当に画質は良くなりますか?
AIアップスケールは、新しいピクセルの輪郭と質感を予測することで、鮮明さを保ったまま表示や印刷できる大きさを広げます。写真に元からなかった情報は復元しません。小さすぎて読めない顔や文字はそのままで、復元できたように見えるアップスケーラーはそれを作り出しています。顔と文字はフルサイズで確認してください。
高画質化した写真がプラスチックや蝋のように見えるのはなぜですか?
高画質化ツールが本物の質感をなめらかにしてしまったのです。たいていは、圧縮されたりぼやけたりした入力のノイズを除去し、その穴を学習した肌で埋めるために起きます。手元でいちばん圧縮の少ないコピーから始め、DreamBenchのツールのように、顔のレタッチなしで忠実な処理を1回行う高画質化ツールを選んでください。
アップスケールはシャープ化や鮮明化と同じですか?
いいえ。シャープ化はピクセルを増やさずにエッジのコントラストを上げます。ぼやけの修正は、同じサイズのままピントや動きのブレを取り消そうとします。高画質化はピクセルを増やし、そのディテールを予測します。ぼやけた写真は、まずぼやけを直してから高画質化するとよいでしょう。
スクリーンショット、小さなロゴ、動画も高画質化できますか?
スクリーンショットやロゴは可能です。輪郭のはっきりした平面的なグラフィックは高画質化に向いています。ただし小さな文字は推測のままなので、できれば打ち直し、ロゴはベクターファイルがあればそちらのほうが適しています。動画はできません。DreamBenchの高画質化は写真用で、フレームを1枚ずつ高画質化するとディテールがちらつきます。
アップスケールで印刷品質は上がりますか?
1インチあたりのピクセルが増えるので、同じシャープさでより大きく印刷できます。300dpiなら、長辺のピクセル数を300で割るとインチ数になります。DreamBenchの高画質化ツールが返す長辺は最大4096ピクセルで、離れて見るポスターならもっと低い密度でもきれいに印刷できます。増えたディテールは復元ではなく予測なので、印刷前に顔と文字をフルサイズで確認してください。
AIアップスケールにはどれくらい時間がかかりますか?
AIアップスケールは、DreamBenchではほとんどの画像で1分もかかりません。超解像モデルが写真を1回処理し、終わるとページ上で元の画像の横に結果が表示されます。大きな画像を4倍で実行する場合は、数分かかったあげく上限の4096ピクセルに縮小されるだけの4倍の処理ではなく、モデルの2倍の処理とリサイズを行います。
高画質化ツールから返ってくるファイルはPNGですか、JPEGですか?
DreamBenchでは、PNGをアップロードすれば透過も含めてPNGで返ってき、それ以外はJPEGで返ってきます。グラフィック、スクリーンショット、ロゴはPNGでアップロードすると、ベタ塗りの色、直線の輪郭、文字が劣化なしのまま保たれます。JPEGを先にPNGとして保存しても意味はありません。圧縮による劣化はすでにピクセルに入っているからです。ファイルはピクセル数に応じて大きくなり、2倍で4倍、4倍で16倍になります。
アップスケールでアスペクト比が変わったり、画像がトリミングされたりしますか?
いいえ。アップスケールは幅と高さを同じ倍率で拡大するので、構図とアスペクト比はまったく変わりません。トリミング、拡張、移動はなく、16:9の画像は16:9のままです。画像の形を変えるには、アウトペインティングで周りに新しいシーンを描き足すか、トリミングで一部を切り落とします。前者を行うのがDreamBenchのAI画像拡張です。
アップスケールにはお金がかかりますか?
DreamBenchでは無料アカウントを作成してプランを選び、高画質化1回ごとに7クレジットを使います。高画質化ツールはスマホのブラウザで使え、インストールは不要です。
関連ページ
DreamBenchのツール
用語
出典
- GitHubのReal-ESRGANTencent ARC(に確認)
- Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data(arXiv)arXiv(に確認)
- ESRGAN: Enhanced Super-Resolution Generative Adversarial NetworksarXiv(に確認)
DreamBenchは独立したプラットフォームで、このページに登場する企業との提携や、それらの企業による推奨はありません。