あんまりARの知識はなかったのですが、大学のcomputer visionという授業でCNN以前のCVに関する授業を受けています。アルゴリズムを用いて色々なことをしていて、意外とCNN使わなくてもいろいろなことできるんだなと学びはあります。 今回は感想に近いです。詳しい内容についてはqiitaの記事やgithubのページをみてみてください。 やったことは特徴点抽出を行い、特徴点マッチングを行い、そのマッチングからホモグラフィー行列を求め、ホモグラフィー行列があると、その画像の位置のみを別の画像で置き換えることができます。と、いうよりかは結果をみた方が早いのでqiitaかgitのページにあるgifファイルを参照した方がいいかもですね。要するに出力はARっぽいです。
さて、ポジティブな感想からいうと、いろいろ遊べそうです。例えばハリーポッターで新聞紙が喋るシーンがなかったでしょうか？ それがこのコードから動きそうです。置き換え部分を動画に変更するのは少し手間ですが、動いたら面白そうです。 また、いくつかの条件下で物体検出もどきにもなります。GPU不要で比較的軽く動き、かつ学習もいらないので楽ちんです。
ネガティブな感想では、汎用的にはならないっていうことですかね。例えば、置き換えたい領域が、複数ある場合にホモグラフィー変換は意味わからない結果になります。また動画では、カメラの移動でブレた時に結構大変なことが起きたりします。遊び程度では楽しいですけど、なにかを自動でやらせようとするのはいまいちかなーと感じました。
とりあえず近いうちに、簡易物体検出器と新聞のなかでキャスターが喋る動画とかやってみようかなーと思います。では