モノクロ動画の作成支援ツールが半日で作れた話

Mitchie M氏の「FREELY TOMORROW」のMVが影絵風のモーショングラフィックスで、これはモノクロ化してTMG1で再生したら映えるのでは……と思い立ったのがきっかけです。実際にやってみたら思わぬ壁にぶつかり、その解決のために作ったツールが半日で公開までできてしまいました。
AIのおかげでツール作成が短時間でできるようになったので、思い立ったが吉日とはこのことですね。

まずは実機で再生した様子をどうぞ。

背景：一律変換だとディテールがつぶれる

TMG1はESP32＋SSD1306向けの1bpp動画コーデックです。1bppということは、各ピクセルは白か黒かの2値しかありません。カラーやグレースケールの動画をこの2値に落とし込むには、ffmpeg でモノクロ2値化（monob 相当の処理）をかけるわけですが、ここで問題が出ました。

「FREELY TOMORROW」のMVは影絵風とはいえ、シーンによって描画の細かさが大きく違うんですね。大きくはっきりしたシルエットが動くシーンもあれば、細かい線が密集するシーンもある。これを動画全体に一律の閾値・ディザ設定で変換すると、あるシーンではきれいに出るのに、別のシーンではディテールが完全につぶれてしまう、ということが起きました。

1bpp 2値化は「閾値」と「ディザリング手法」の組み合わせでかなり印象が変わります。
動画全体で最適な設定は一つに定まらないことが多いです。

作ったもの：区間ごとに設定を変えて分割エンコード

そこで、こう考えました。動画を区間ごとに分けて、それぞれに最適な変換設定を割り当てて、最後に連結すればいい、と。

これを手作業で ffmpeg を叩いてやるのは骨が折れるので、支援ツールとして tmg1-studio を作りました。ざっくりした処理の流れはこんな感じです。

flowchart TD
    A["入力動画"] --> B["区間に分割"]
    B --> C1["区間1<br/>設定A で変換"]
    B --> C2["区間2<br/>設定B で変換"]
    B --> C3["区間3<br/>設定C で変換"]
    C1 --> D["連結"]
    C2 --> D
    C3 --> D
    D --> E["RAW / TMG1 で出力"]

区間ごとに閾値やディザ設定をプレビューしながら調整して、最終的に連結したものを RAW または TMG1 形式 で書き出せるようにしました。