making of 「神さま僕を」
「神さま僕を」のmakingや、技術的に詰まった所、参考にした所などを忘れないうちに纏めた記事です。
構想
自分はコンセプトは歌詞から決めていくタイプで、歌詞がなければ音の雰囲気から決めていっています。今回コンセプトを「鬱」としてベースにして、三年ほど温めていたアイデアをブレインストリーミングで色々と書き出していました。 その際、ブレインストリーミングでcoggleという物を使っていました。現在もアイデアに行き詰まった時は愛用しています。
表現 - モーションなど
以前からアニメーションを作る事には興味を持っていました。特に、koinu compositionさんのGreenNightParadeでは、図形のみで表されたキャラクターに魅かれました。しかし、そこまでも絵が上手くなく、かっこいいモーションもかける訳でもないので、あまり綺麗な感じにすることは出来ませんでした。 そこで、自分自身でも出来るようFlashやAfterEffectsのパスなどで工夫してアニメーションしました。
GreenNightParadeでは、FlashやAfterEffectsを使用していると仰っていました。ただ、あんな感じでFlashで激しくアニメーションしようと思えば、やはりパスを一個一個打っていって行かなければならないので、AEでパスを移動しつつアンカーなどを活用しそれぞれのパーツを回転させました。
Flashでは、事前にパスを打ってキャラクターを作り、それをブラシで線をなぞる形でアニメーションさせました。 とは言え、全くもって動いていないのでアニメーションと言えるのかですが...
グリッチするにあたって、良くあるJPEG破壊やdatamoshing、pixelsortなどだけでなく、単純な図形や文字だけでのグリッチも考えたいと思っていました。具体的には、ハーフトゥーンの図形の部分を文字列に置き換えたり、ノイズに合わせブロックノイズ的な動作をする様文字をおいたりなどです。
Blenderに関して、Aviutlとは違いあまり触った事がなく、スカルプトを利用してなどでモデリングを工夫しました。 モディファイアーなどいろいろ弄っていて、twitterのモーメントにもある通り、ラティス変形がかなり目に留まりました。 また、ウェイトを設定したメッシュをボーンをそのままに、メッシュへ回転や移動を行うと色々とすごい事 になりました。 これはBメロで使用しています。
また、草木などはGrassFreeを、ツタなどはIvy Generatorを、マテリアルはノードを試行錯誤し色々と面白い事をやってみました。 AnimationNodeも使ってみようかと思いましたが、難易度がかなり高い事を予想し断念しました。
表現 - コンポ
絵画フェルト風をAviutlでコンポジットするというのはこの時に実現していたのですが、歪み過ぎてあまり流用出来なかったので、ちょっとディスプレスメントマップを抑えめにしたり、テクスチャにグラデーションを比較(明)合成したりなど工夫しました。 一応スライドカットの方のコンポ作り方はここから。
以前から興味を持っていた「deepdream」や「neuralstyle」、「displacement mapping」を深く掘り下げ、作品に取り入れてみたいと思っていました。特にDeepDream Generatorでは、かなり影響を貰った物の一つだと思います。 今回、事前に、自分の過去の作品のフレームを一定時間ごとにランダムに切り張りした動画を、一フレームづつ切り出し、neural-styleでモデルとしました。 しかし、neural-styleで作品に取り組もうと思った時、やはり技術的やPCのスペック的な関係で実現する事が不可能でした。そのため、代わりとしてに以下の様な方法で代用しました。
- 事前に、自分の過去の作品のフレームを一定時間ごとにランダムに切り張りした動画を出力する
- 出力した動画上のランダムな点をいくつか取り、その点において色を取得する
- 取得した色を元の動画でコロラマで出力する
かなり点滅の激しい感じになりましたが、それでもどうしてもやりたかった事、イメージしていた物と程遠いものでした。悲しい。
コンセプトより、不明瞭である事をゴールとしたかったので、H264のコーデックの設定を利用したグリッチを使いました。具体的にはビットレートを極端に低くしたり、離散コサイン変換の一部の設定を変えてみるなど単調なものですが。 全体的に比較(暗)などを使用したり、普段は使用しない色差や輝度合成などを使って、結構面白い感じに仕上げました。 また、Aviglitchを使用しプログラムを作成し、グリッチしました。 ソースコードの一部はここから閲覧できます。
neural-styleで詰まった所
neural-styleを使うにあたって、詰まったところをまとめておきます。
- PC上でneural-styleを運用する方法 neural-styleを動かす上で、chainerとtensorflowを試しました。 特にchainerではリアルタイムで出力する事ができるモデルを作れるfast neuralstyleを使って見ました。 ただ、やはりどちらもGPUで動かすには、NVIDIAのGPUが必要になってしまうので、Macでの運用を断念しました... (一応iMac late2013を使用しているのですが、技術的知識が至らない部分もあり実現出来ませんでした。)
- neural-styleのAPIに画像を投げてリクエストを待つ方法 こちらはdeepaiというサービスを検討しました。しかし、リクエストなどで問題も多くあまり利用する事が出来ませんでした。 また、一フレームづつリクエストして通すのはあまり現実的ではなかったので、断念しました。
後書き
曲自体は、初作GreenNightParadeを作ってからsoundcloudで知りました。以前からこういった歌詞の曲で映像を作ってみたいとは思っていましたが、自分のイメージしているものに足らない表現力や技術力を目の当たりにし、作ることを断念していましたが、今回作らせていただく事となりました。しかしそれでも、今回の作品において、至らない技術的な知識部分がかなり響いていたと思います。 fu_mouさん及び星子さんには、改めてここで感謝の気持ちを表させて頂きます。
