ディジタル画像の画像品質値を人間の主観と同等の精度で評価?出力する自動画像品質評価システムを開発(大学院理工学研究科 島村徹也教授)
2019/8/30
概要
画像品質の評価は、今までは多くの人間が主観的に評価し、その評価結果を統計的に処理して数値化しており、その作業には多くの作業工程が掛かります。本研究室では、ニューラルネットワークを用いて人間の主観と同等の精度で出力するアルゴリズムを研究開発しています。即座に出力でき、光の影響(影、照明など)や圧縮などの画像品質低下要因の分析も可能です。また、動画?音声の品質評価へ適用できる可能性があります。例えば画像検査用途や車載カメラ、ロボットビジョンなどに適用できる可能性があります。本技術を用いた応用製品の開発や事業展開に意欲がある企業を歓迎します。
簡略図
背景
画像品質の評価は、今までは多くの人間が主観的に評価し、その評価結果を統計的に処理して数値化していました。例えば下記では左の画像は品質が高く、右の画像は品質が低いといえます。ただしその作業には多くの作業工程が掛かります。
本研究では、ニューラルネットワークを用いて、人間の主観と同等の画像品質評価を即座に出力するアルゴリズムを研究開発しています。本アルゴリズムの活用および実用化を希望する企業を歓迎いたします。
技術内容
人間の主観で画像品質評価を行った結果を大量にデータベース化およびニューラルネットワークを用いて学習し、ある画像を入れたときに、その画像品質を出力する技術を確立しました。下記はデモの標準画面です。
「Load Input Image」ボタンを押し、評価したい画像ファイルを指定します。
画像ファイルを指定後、「Quality Estimation by CNN」ボタンを押すと、本アルゴリズムにより出力した画像品質値を出力します。なお、「Quality Estimation by Human Oservers」をクリックすると、デモ用に人間が実際に主観評価した値が出力されます。
下記は高品質画像のケースです。
下記は低品質画像のケースです。
技術ノウハウの強み(新規性、優位性、有用性)
本研究室で開発した雑音低減?除去技術の利点は以下の通りです。
人間の主観と同等の画像品質評価を即座に出力できます。
下記は、左から右へ、画像を劣化させた際の出力値です(最高が9点で、品質が劣化するとともに点数が下がります)
MOSが人間の主観値、Proposedが本アルゴリズムの出力値です。ほぼ同じ数値が出力されています。
また、画像品質の劣化リスト(24種類)を作成し、どの劣化リストに該当するかも識別することができます。例えば、ノイズが乗っているか、量子化した際の劣化か、ボケか、圧縮か、などの劣化要因を識別できます。
画像などの品質評価で最も知られている手法としてはPSNRがあり、他にも手法があります。下記は、PSNRなどの評価指標に対し、PLCC、SROCCという人間の主観値とどの程度整合性があるかを示した図です。1に近いほど整合性が高いといえます。
PSNRではPLCC、SROCCはいずれも0.639ですが、本手法(Proposed)ではPLCCは0.981、SROCCは0.977と、人間の主観値と非常に近い値が出力されています。
連携企業のイメージ
例えば下記の企業等と連携可能です。
１）画像品質の評価を必要とする企業、研究所等
２）動画品質の評価を必要とする企業、研究所等
３）カメラの研究開発を行っている企業、研究所等
４）画像処理による検査システムを研究開発している企業、研究所等
５）デジタルカメラ、ビデオカメラを用いるシステムを開発している企業、研究所等(車載システムやロボットなど)
６）他、本技術の活用を希望する企業、研究所
技術?ノウハウの活用シーン
画像品質の評価に活用可能です。また、静止画の他、ビデオによる動画の評価、音声の評価などにも適用可能性があります。例えば、画像検査時に光の影響（照明?影など）がどの程度あるかの定量評価?要因解析、画像の高品質性が求められる用途(医療画像など)、インフラ定期検査などを画像で行った際に撮影した画像に問題が無いかなどのモニタリングが考えられます。大量の画像データを扱う場合に画像品質が良い画像のみを絞り込むという用途も考えられます。また、動画にした場合、撮影環境が動的に変わるケース〔屋外における車載カメラへの実装や、ロボットにカメラ(ロボットビジョン)を取り付ける場合など〕にも適用可能性があります。
専門用語の解説
【PSNR】
ピーク信号対雑音比と呼ばれ、画質の再現性に影響を与える、信号が取りうる最大のパワーと劣化をもたらすノイズの比率を表す工学用語です。多くの信号はダイナミックレンジが非常に広いため、PSNR比は通常10を底にした常用対数で表されます。PSNRが最も一般的に使用されるのは、画像圧縮など非可逆圧縮を使ったコーデックの再現性の品質の尺度として用いられます。
研究に関する問合せ先
国立大学法人埼玉大学大学院理工学研究科数理電子情報部門 教授 島村徹也
島村研究室 shima@sie.ics.saitama-u.ac.jp
8月27日(火)に開催されたプレゼンテーションとデモの様子
8月27日(火)、ディジタル画像の画像品質値を人間の主観と同等の精度で評価?出力する自動画像品質評価システムについてのプレゼンテーションとデモが開催され、当日は、その場で撮影した写真を使用して、一瞬で評価値が判別できるシステムについての早さや正確性についての披露が行われ、その精度の高さを体感しました。
デモの様子
島村研究室のメンバー(右より1人目：島村教授)
本写真は、今回のシステムを利用して選択した集合写真です
参考URL
