バイラテラルフィルタによる画像からのノイズ除去の仕組みと、威力は以前の記事でも少し触れた。今回はその処理により、画像にどのような変化が起こるのか確認してみる。
加えて、スマホの中で行われているであろうノイズ除去処理を想像、実感してみる。
バイラテラルフィルタ
アルゴリズムの詳細は以前の記事にゆだねる。
このフィルタないしこれに類するエッジ保存型のノイズ除去フィルタは、いい感じでノイズだけを落としてくれそうに見えるが、当然魔法ではないので、その弊害、副作用は確実に存在する。
今回はソースの画像に対して、適当なノイズを加えたものを入力として、複数回処理した結果を眺めて、その変化を見てみる。
これが入力。どこかのキャンプ場の炊事場。変化が見やすいように2倍に単純拡大（ニアレストネイバー）している。
これにノイズを加えたものが以下
ランダムのノイズを加えている。S/Nが悪いセンサで撮影したものをイメージしている。ざらついている感じになる。つまりセンササイズの小さい、スマホのカメラでとられるであろう画像をイメージしている。
これに１発適当なバイラテラルフィルタをかけてみたものが以下。確かにノイズが取れているが、まだ少し残っている。
もう１発かけてみる。ほとんどノイズも取れているが、色の均一性が高くなりすぎて、せっかくの細かい陰影が消えている。木のテクスチャがべたっとしてしまっている。
３回目。べたべたした画像になってしまっており、もはや写真といった感じではない。
この変化は、アルゴリズム上仕方がない。色が近いものほど平滑化（平均化）の対象になりやすく、どんどん混ざっていく。最終的には同色になってしまい、それこそイラストのような画像に行き着いてしまう。
すなわち、多かれ少なかれこのタイプのノイズ除去を過度に行うと、近傍色との均質性が増し、ノイズはとれるものの、細かいテクスチャや、グラデーションのようなものは、きれいに再現しにくくなる。
スマホ写真のノイズ除去
スマホカメラのセンサはあの薄さに収まるのだからそれはそれは小さい。暗いところで撮影しようものなら、ノイズがたんと乗るはずだ。そんなセンサで撮影した写真があれだけきれいに見えるからには、何かバイラテラルフィルタに類するノイズ除去フィルタを施しているに違いない。
というわけで、適当に撮影した画像が以下。使ったスマホはiPhone SE。少し古い。被写体は…そこらに転がっていた。表面性に特徴があるものをチョイスした。意図的だ。なんだこの金豚…。
その一部を拡大してみると、こんな感じ。これも2倍に単純拡大してある。拡大前の画素数は 400 x 300 pixel
確かに前述のバイラテラルフィルタの弊害に似た、何というかべたべたとした感じのテクスチャになっている。カーペットの毛並みもつぶれて、再現しきれていない。先の木の幹と似たような印象だ。
また拡大するとわかるが、この豚、表面がざらざらしていて、少しラメっている。
その表面性はまるで再現できておらず、つるっとした表面に見えてしまう。当然だろう。人の目で見てもノイズと見分けがつかない。
とはいえ、これは少し意地悪な被写体を遠くからとった画像。単純にバイラテラルフィルタを複数回あてたそれよりは明らかに見栄えがいい。ちょっとした陰影もそれなりに残っている。少し派手目にデフォルメしているとはいえ、適度な処理だと思う。
ただ、このべたべた感は数字に表現できないので、感情に訴えるしかないが、この感じは少し気持ちが悪い。
改めて見ると、古いスマホの写真の方がより気持ちが悪いので、明らかにセンサの性能か、処理の性能、もしくはその両者が進化しているのがわかる。すごい。レンズは…あんな平板じゃさほど進化してないのかな…。どうだろう。
シャープネスもコントロールされているだろうが、その弊害もわかりにくい。すごい。でもこんなになるくらいなら画素数この半分でいいな…。
まとめ
スマホのS/Nの悪そうな小さいセンサで、あれだけきれいな画像が取れるからには、すごい画像処理がかけているであろうことが予想された。ノイズ除去フィルタの威力と限界を確認することで、まぁこれに類する処理が高レベルで施されていそうなことが推測される。すごい。元がどれだけノイジーなのか見てみたいものだ。
確かにこれだけきれいに撮影されればコンデジ不要説もうなずける。コンデジも高級機にシフトするのもしょうがないかな。レンズ、センサのでかさで、それでないと取れない写真で勝負するしかないですね。
ただ、スマホはスマホでソフト的に付加価値をつけることには限界に来ているのだろう。静止画も行き着くところま行った感じだ。今やスマホカメラの方向は複眼に向かっているので、複数カメラでノイズを落としたり、複眼による新しいアプリケーションにシフトしている。これはこれで楽しい。
コメント