失敗体験(ボケから奥行を推定する)

切り抜きの開発が行き詰っている時、Depth from Defocus (DFD)という手法を知りました。「もしかしたら使えるかも知れない」という直感。DFDを用いて一枚の画像から距離マップを推定して奥行を求める、という実験に着手しました。

DFDは分かりやすく言うと、ボケの度合いで奥行量を推定して前景と背景を推定しようとするものです。物撮りの場合は背景の奥行がほぼ一定になることが予想されるのでセグメンテーションが容易だろうと期待してました。この手法の魅力は背景が何でもよくなることです。切り抜き対象の写真が物撮り制限がなくなるので非常に魅力的です。さらに、普通の写真を一眼レフ的な写真にも加工できるようになるという魅力もあります。2~3千円程度のWebカメラでも一眼レフカメラと同等になってしまうのです。

とうことでDFDを実験しました。結果は失敗でした。この手法が有効なのは風景など奥行が大きい空間の写真(風景や被写体が限定される)だということが分かりました。商品写真のような奥行空間が小さい場合はボケの違いが小さいので距離マップの推定が難しいということです。それと決定的な壁と言うか問題が見つかりました。背景が均一的が白であるためにボケを読み取れないのです。まぁ、それは事前に想像できることですが、やってみないと分からないのでやってみた訳です。DFD技術に興味があったことも理由でしたが・・・。

結局、切り抜きの世界で実用化するには精度に加えて処理時間(解像度に依存するが計算時間が相当かかる)の問題もあるので開発を中止しました。

切り抜き以外の市場では何等かの応用がありそうです。実際、スマホに搭載できないか、という問い合わせがありました。しかし、精度に加えて処理時間の問題も克服できないので、先に進めることができませんでした。

何か利用できそうな場面を思いついたらご一報を頂けると幸いです。