Ikegami TECH Vol.11　 算数でひも解くデジタル映像処理（１）

算数でひも解くデジタル映像処理（１）

Ikegamiは1991年にデジタルプロセスカメラHL-57を世界に先駆けて発表して以来、最先端のデジタルテクノロジーを追求してきました。デジタル映像処理と聞くと、とても複雑な処理をしていると思われる方が多いと思います。もちろん、とても複雑な演算処理をするようなものもありますが、基本的な映像処理はほとんど小学校レベルの四則演算で成り立っています。

デジタル化された信号は数値化（デジタル化についてはVol.5*参照）されていますので、足し算や引き算が容易にできます。
例えば、何も光が無い時の黒レベルに色がつかない様にRGBの黒のレベルを揃えたいとします。映像処理では一般的にG (緑) を基準にしますので、R (赤) とB (青) がGのレベルと同じになる様に、一定の数を足したり引いたりします。仮に、Gが５、Rが２、Bが７というレベルだったとすると、Rに3を足し算して、Bから2を引き算してGと同じ５のレベルにします。これによって黒のレベルを揃えることが出来ます。全体の黒レベルを変える時は、RGBに同時に一定の数を足し引きします。

ホワイトバランス等、白のレベルを揃えたい場合は、加減算ではなく掛け算となります。
なぜ黒の場合と違うのでしょうか？それは、全体のレベルが明るさによって変わるためです。

ある一定の照明下で白いものを撮影し、RとBが基準となるGのレベルと同じになる様に一定の数を掛け算します。ホワイトバランスを崩さずに感度を上げるなど全体的にレベルを上げるときにはRGB同時に一定の数を掛け算します。例えば2倍の明るさにしたければ、RGBそれぞれに２を掛け算します。

デジタル映像処理では、ビット数に応じて、一定のレベルの中に暗い映像から明るい映像までを表現する必要があります。例えば、8ビットの場合、0～255、10ビットの場合0～1023の範囲となります。
このため、被写体の中に極端に明るい部分がある場合、それを全て表現しようと思うと、明るい部分にかなり大きな比重を割り当てなければなりません。例えば、太陽の下で人を写すとします。写したい人の顔に対して太陽が10倍の明るさだったとした時、太陽を基準の白とすると人の顔は10分の１という非常に暗い映像になってしまいます。

人間の目はある程度以上明るい映像に対して階調の分解能が低いため、ビデオカメラにはある程度以上の明るい映像に対してはレベル方向に圧縮するという機能があります。この圧縮も含めて表現できる限界をダイナミックレンジと言います。
例えば、ダイナミックレンジが4倍(400%)のカメラで、全体レベルを100とした時、90以上になったら1/30倍に圧縮するといった処理となります。（図1参照）

実際は図のような単純な折れ線ではないので算数だけでは現せないのですが、基本形としては足し算と引き算と掛け算によって成り立っています。
この処理は放送用カメラではKnee (ニー) と呼ばれ、逆光等の条件に応じて折れ曲がりが始まるポイントと傾きを調整します。
最近4KではHDR (High Dynamic　Range) というダイナミックレンジを広く取る手法が規格化されています。
四則演算でひも解けるデジタル映像処理は、黒や白のレベル調整だけではありません。色合いを変更するのに昔から使われている方法としてマトリクスという手法があります。例えばR系統の色合いを変える場合、R-G、R-Bといった異なる色同士を引き算した信号を作ります。そして、それぞれに一定の乗数を掛け、元のRに加算することによって色合いの変更をすることが出来ます。（図2参照）
ここで、最初にR-GやR-Bといった引き算した信号を使うのは何故でしょうか？これは、白の信号については色が変わらないようにするためです。白は”R=G=B”の時ですから、引き算した信号はどの引き算の組合せもゼロとなるため色には影響を与えないことになります。

R’ = R + a * ( R ? G ) + b * ( R ? B )

G’ = G + c * ( G ? R ) + d * ( G ? B )

B‘ = B + e * ( B ? R ) + f * ( R ? B )

（図2）　　簡単なマトリクスの計算式

その他にも、オートアイリスやフレア（光がレンズ内で乱反射し光の強さに応じて黒が浮き上がる現象）の補正等では、全画面のレベルの平均値が必要となります。数学的に言えば 「積分」 ということになりますが、全画素を足し算して画素数で割り算すると考えるとこれも算数ですね。
次回は、もう一捻り必要な映像処理についてひも解いてみたいと思います。

*　Vol.5はこちららかご参照ください。