kivantium活動日記

プログラムを使っていろいろやります

姿勢推定を用いたキャラクター画像検索

この記事は創作+機械学習 Advent Calendar 2022の1日目です。

adventar.org

はじめに

去年のAdvent Calendarから一年が経ち、再びAdvent Calendarの季節がやってきました。毎年のことながら時間が流れるのは早いものです。

2022年には拡散モデルを用いた画像生成AIが大発展を遂げました。2015年に話題となったDCGANによるアニメ画像生成(抹茶さんのツイートrezoolabさんの記事)とNovelAIの生成画像(pixivをNovelAIで検索した結果)を比較すると、まさに隔世の感があります。AIのべりすとをはじめとする言語モデルの応用も進み、小説投稿サイトでAI支援を利用して生成された小説を見かけることも珍しくなくなってきました。

生成モデルが進展した一方、今年は機械学習の訓練データの扱いを巡る論争が激化した年でもありました。mimicの炎上は記憶に新しいところです。海外ではGoogle Copilotに対する集団訴訟が提起されています

機械学習の創作への応用が正と負の両面で盛り上がった2022年でした。そんな今年のAdvent Calendarにどのような記事が投稿されるのか楽しみにしています。スペースにはまだまだ空きがありますので興味を持った方は今からでも是非登録してみてください。

姿勢推定を用いたキャラクター画像検索

この記事では姿勢推定を用いたキャラクター画像検索サービスについて紹介します。

絵を描く際に類似ポーズのイラストを参考にすることがありますが、イラストをポーズで検索することは難しく、せいぜい「手を上げる イラスト」のようなキーワードで検索することしかできないのが現状です。また、NovelAIが登場した当初、生成画像が学習データに酷似しており、学習データの姿勢を保存して画風を変換するような仕組みになっているのではという疑惑の声が上がっていました。学習元のデータセットから姿勢が似ている画像を検索することができれば学習データとの類似性を判定できる可能性があります。(なお現在はStable Diffusionに独自の改造を施したものであることが判明しています: 公式解説

そこで、姿勢推定を用いてキャラクター画像を検索できるサービスを開発することにしました。

実装

姿勢推定アルゴリズムにはbizarre-pose-estimatorを利用しています。

このモデルは入力画像に対して25個の特徴点(17個のCOCO keypointsと8個の中間点)を返します。

COCO keypoints と中間点(画像はKhungurn, et al からの引用)

元論文によると検索対象のデータセットは以下のように構築されています。

  1. 検索対象の各キャラクターを囲むバウンディングボックスと25個の特徴点を求める
  2. 特徴点をバウンディングボックスの長辺の長さで正規化する
  3. 正規化された各特徴点間のユークリッド距離を保存する

正規化された特徴点間の距離を利用することで、並進・回転・拡大・縮小に対して不変の特徴量を得ることができます。特徴点は25個あるので  _{25} C_2 =300次元ベクトルになります。

Hugging Faceへのデプロイ

このモデルはメモリの消費量が多いため、手持ちのサーバーにデプロイすることができませんでした。そこで、Hugging Face上にアプリを構築しました。

huggingface.co

このアプリではアップロードされた画像の姿勢に類似したの画像を検索することができます。現在は元論文のレポジトリに付属していたデータセットを検索対象としています。このデータセットDanbooru上でfull_bodyタグがついた単一キャラクターの画像からなるそうです。

にじさーちへの組み込み (β版)

また、このモデルを利用したポーズ検索機能を我々が開発している画像検索サイトのにじさーちに試験的に実装しています。メモリ容量の関係でアップロード画像の姿勢を推定することができないため、代わりに棒人間を動かして検索するユーザーインターフェースを採用しました。検索対象が6000枚程度なので検索性能はあまりよくありません。 (フロントエンドの実装は@amane_lyricに協力していただきました)

ポーズ検索の例 (https://nijisearch.kivantium.ai/pose_search/)

開発に興味のある方は是非pull requestを送ってください。

github.com

今後の課題

現在利用しているモデルは全身画像を前提としているため、全身が写っていない画像の姿勢推定を行うことができません。投稿されるイラストの多くは身体の一部が写っていないため、検索対象にできる画像の枚数が限られてしまいます。

また、特徴点間のユークリッド距離を特徴量として用いているためか、検索結果が直感的にいまいち正しくないと感じることが多くあります。人間がより自然に感じる姿勢類似性の基準を考える必要がありそうです。

宣伝

私達が発行している同人誌 Pythia 2.0 に『画像からのアニメキャラクター姿勢推定』という記事が掲載されています。

thetenthart.booth.pm

創作+機械学習 Advent Calendar 2022 を開催します

創作+機械学習 Advent Calendar は参加者の皆様に創作(漫画・アニメ・イラスト・小説・音楽・ゲーム等)と機械学習に関連した記事を投稿していただき、優れた記事を書いた方に賞を贈呈する企画です。

この企画は去年に引き続いての開催となります(去年の告知記事結果発表)。

告知画像(@yumu_7さんに作っていただきました。イラストは@tesimeneさんに描いていただいたものです)

ルール

  • 参加の意思表示はAdventarに記事公開日を登録することで行います。
  • 登録日になったら創作(小説、漫画、アニメ、イラスト、映画、音楽、ゲーム等)と機械学習または統計分析に関連する記事を公開してください。
  • 2022年内に記事を公開された方を賞の審査対象とします。記事の公開が年内であれば空き枠に後から登録した場合も審査対象になります。
  • 一人で複数の記事を投稿しても問題ありません。カレンダーの枠が埋まった場合は2枚目を作成します。
  • 記事の公開が登録日よりも遅れる場合はその旨をAdventarに記載してください。コメントがないまま遅れた場合は主催側の判断で登録を解除する場合があります(その場合も後日再登録することが可能です)
  • 2023年1月に参加者の相互投票で優秀賞を決定します。
  • 賞に関する連絡を送る場合がありますので、2dml Discordに参加する・Twitter@kivantiumからのダイレクトメッセージを受信できる状態にする(DM解放またはフォロー)・メールアドレスなどの連絡先を記事中に記載する等の方法で主催者と連絡が取れる状態にしてください。
  • 記事を投稿してくださった方にはコミケや技術書典等で出版する同人誌への投稿を後日依頼する可能性があります。

記事の書き方

  • 記事の形式は主にブログを想定していますが、動画やスライドなどでも大丈夫です。インターネット上で自由に閲覧できるものであれば形式は問いません。
  • 記事の冒頭に創作+機械学習 Advent Calendar 2022 の記事であることを明記してください。
  • 記事の言語は日本語または英語が望ましいです。
  • 推奨ハッシュタグ#創作機械学習 です

テーマの例

  • 画像関係: 画像分類・画像生成・自動着色・モーションキャプチャ・各種イラスト生成AIのテクニックなど
  • 言語関係: 小説生成・チャットボットなど
  • 音声関係: 音楽生成・音声合成・声質変換など
  • 統計分析: キャラクター分析・感情分析など
  • 創作支援: 機械学習による創作支援ツールの紹介・ツールに支援されて作った作品の紹介など
  • その他: データベースの作成・ゲームの自動プレイ・推薦システム・AIを創作に使用するための方法論など

具体的な記事例は去年のAdvent Calendarを参考にしてください。

上に挙げた以外のテーマでももちろん大丈夫です。カレンダーのタイトルは「機械学習」としていますが、実際には人工知能関連の技術を幅広く対象にします。何が人工知能技術なのかについては人工知能学会のAIマップを参考にしてください。

人工知能学会「AIマップβ 2.0 (2020年6月版)」 https://www.ai-gakkai.or.jp/resource/aimap/

未完成のものやアイデア段階の記事も歓迎します。「〜というデータを集めて、自動で〜する機械学習モデルを作りたいと思っています。協力者募集」みたいな感じでも問題ありません。

賞について

以下の賞を用意しています。審査員特別賞を提供してくださる方がいらっしゃったら連絡してください。

  • 最優秀賞 (1名) 賞金20000円
  • 優秀賞(2〜3名)賞金10000円
  • 佳作(若干名)
  • 審査員特別賞
    • @kivantium賞(機械学習の使い方に新しさを感じる記事を書いた方に授与)
    • @thetenthart賞(創作支援に役立ちそうな記事を書いた方に授与)
    • @xbar_usui賞(機械学習を知らない人でも楽しめる記事を書いた方に授与)

賞金はAmazonギフトカードでの支払いを予定していますが、希望があれば他の方法にも柔軟に対応します。 皆様の投稿をお待ちしております。

宣伝

Discordサーバー

創作と機械学習に関するDiscordサーバー 2dml があるので、興味がある方はご参加ください。このAdvent Calendarの運営についてもこのDiscordで議論しています

招待リンク: https://discord.gg/jQNXjkrqGU

discord.gg

同人誌

去年のAdvent Calendar参加者を中心に執筆した同人誌をBoothで販売しています。売上はAdvent Calendarの賞金として活用させていただきます。

thetenthart.booth.pm

LT会

2022年11月5日に創作AIをテーマにしたLT会を実施します。詳細はconnpassをご覧ください。

connpass.com

3Dプリンター KP3S を買った

最近研究室に導入された3Dプリンターを見ていたら私物の3Dプリンターが欲しくなったのでKingroonのKP3Sを購入しました。テスト印刷が無事に成功したのでここまでの記録を残しておきます。

機種選定

家庭用に販売されている3Dプリンターは熱溶解積層方式 (FDM) と光造形方式の二種類が主流です。

  • 熱溶解積層方式 ― 溶かした材料を積み重ねてプリントする方式。取扱いが比較的簡単らしい
  • 光造形方式 ― 液体樹脂に紫外線を当てて固める方式。精度が高く仕上がりもきれいだが、二次硬化や廃液処理が面倒らしい。

みっきーさんのPhoton Mono 4K 光造形3Dプリンターを導入したを読んで光造形方式のPhoton Mono 4Kを購入することも検討したのですが、廃液処理が面倒そうだったのでFDM方式の機種を選ぶことにしました。

FDM方式の低価格帯モデルではEnder 3の人気が高いようでしたが、レビューによると組み立てに時間が掛かり調整も難しいという評判でした。

他の機種を探して「3Dプリンター 家庭用 おすすめ」などと検索してみたところ、KP3Sという機種が見つかりました。KP3Sは組み立てが簡単という評判で、日本語圏のユーザーも比較的多くいるようでした。特にKINGROON KP3S INFOというページにたくさんの情報が掲載されていたのが安心材料になり、購入を決定しました。

開封の儀

Amazonで注文しました。

箱(側面に天地無用マークが書いてあったのにラベルが下面に貼られていたので上下逆さまの状態で届いた)

開封直後の状態。説明書などが入っている。

説明書などを取り出した状態。

箱から取り出した状態。プレートの文字が反対向きなので不安になるが、磁石でくっついているだけなのですぐに直せる。アームがちょっと重いので取り出すときには注意が必要。床を傷つけないようにダンボールなどを敷いてから作業に入った方が良かった。

組み立て

組み立てが簡単という前評判の通り、マニュアルは1ページだけでした。

組み立てマニュアル。英語版5ページより引用。

先人たちのブログに「組み立ては簡単で特に書くことがない」などと書いてあったので特に何も見ずに組み立てようとしたのですが、Step 2-2の "Then tighten the Z axis fixing block" を具体的にどうすればいいのか分からずそこで詰まってしまいました。"Z axis Screw" と書かれた袋にはネジと角型のナットのようなものが入っているのですが、図を見てもナットが書かれていないのです。

検索して出てきたFraxinus 01 - KINGROON KP3Sを購入してみた - まず分解。の説明に従って、Step 1の前にネジでナットを留めておき、その上からZ軸を差し込みました。

仮留めしたナット。この時点では緩めにしておく必要がある。

裏からZ軸を固定したところ。説明書の向きに倒すとノズルがX軸方向に動いてしまうのでこの方向に倒したほうが安定する気がする。

このZ軸固定方法は分かりにくいので他のブログで言及されていても良さそうなものですが、海外の動画などを見ても先ほどのブログ以外の言及が見当たりませんでした。状況証拠からすると、この角型ナットは古いバージョンでは存在しないんだと思います。

付属のSDカードに入っていた日本語版の組み立てマニュアルにはStep2-2がない。

公式の動画でも言及がありません。

www.youtube.com

ちなみに、この動画ではマニュアルに書いてないことも説明されているので組み立てる前に一度見ておいたほうがいいです。ノズルがプレートを傷つけないようにスポンジで挟んでおくことや電源の電圧設定スイッチはマニュアルに書いてあるべきだと思います。私は電源を入れた後にこの動画の存在に気がつきました。

あとはZ軸方向にT-screwを取り付けて電源をつなげば完成です。3ピンコンセントが必要なので注意してください。

完成図

レベリング

テスト印刷の前にノズルの位置を正しく設定するレベリング作業を行う必要があります。ノズルがプレートから0.1〜0.2mmの位置に来るように底面の高さを設定してやります。

レベリングは 激安3Dプリンタ Kingroon KP3Sを購入した(後編) - PikaPikaLight基本的な使い方 – KINGROON KP3S情報を参考にしました。上に貼った公式動画にも説明があります。

大まかな手順は以下の通りです。

  • コピー用紙をプレートの上に置いておく
  • 本体の Leveling ボタンを押してノズルを所定の位置に移動させる
  • 隙間が空いている場合は本体左側の銀色のネジ (Z leveling Nut) を回して高さを大まかに調整する(このとき Move ボタンでノズルを上げる必要がある。ネジはコインを使うと回しやすい)
  • 再び Leveling ボタンを押して今度はプレート下側の黄色いネジで四隅の高さを調整する(黄色いネジは最初締めておき後から緩めるようにするとやりやすい)
  • コピー用紙を動かすときに抵抗を感じるが動かせないほどではない高さになったらOK(公式動画によれば "The proper distance between the nozzle and the hot bed is: A4 paper can be drawn out, and the paper cannot be pushed in. And there are no scratches on the paper." らしいですが、紙に線が残るかどうかギリギリのところまで狭めたほうが良かったです)

テスト印刷

レベリングが終わったらノズルを予熱し、付属のフィラメントを上の穴から差し込みます。最初はうまく入りませんでしたが、気合いで押し込んでいくとなんとか入りました。白いフィラメントを差し込んでいるのに青い糸状のものが出てきてびっくりしましたが、これは出荷時のテスト印刷に使われたものだと思われます。

フィラメントの挿入が終わったら、付属のSDカードを本体に入れ、 Print ボタンを押して "Food_Clip_Fast.gcode" を選択すると印刷が始まります。

レベリングがうまく行っていない場合は一段目の印刷がプレートにうまく定着しなくて糸くずのようになるのでその場合はすぐに中止してレベリングをやり直したほうがいいと思います。

出来上がったものがこちらになります。プレートをはがして取り外しました。

テスト印刷の結果

少し糸が伸びてますが、付属のニッパーで切れば特に問題ありませんでした。KP3Sで検索するとZ軸方向の精度が甘いという話が出てきて不安でしたが、今のところ問題なさそうです。(現在売られているTitanなんちゃらというバージョンは以前のものから改良されているらしいのでその辺の事情は変わっているのかもしれません)

3DBenchyの印刷

テストデータの印刷に成功したので、配布されている3Dモデルを印刷する手順を確認するために3DBenchyの印刷を行いました。3DBenchyというのは3Dプリンターベンチマーク用に設計された船のモデルで、世界で最もプリントされている物体だと言われています。作業はスライサーソフトの導入、KP3Sで3DBency(船)を実際に印刷してみる – ゆるぷSTLをG-codeに変換 – KINGROON KP3S情報を参考に進めました。

まずは3DBenchyのモデルをダウンロードします。

www.thingiverse.com

"Download All Files"でダウンロードしたファイルを解凍すると"3DBenchy.stl"というファイルが入っています。

次にSTL形式の3Dモデルから実際の印刷に使うG-codeを生成するスライサーというソフトをダウンロードします。いくつか種類があるようですが、無料でユーザーの多いUltimaker Curaを選びました。

ultimaker.com

インストール後最初の起動時にプリンターを聞かれるのでKingroon > KP3Sを選択します。設定を変更したほうがいいという話もありますが、初期設定のままでも大丈夫でした。

モデルを読み込んだ様子。先人のブログに従って船首が左向きになるよう初期状態から180度回した状態。

右下のSliceボタンを押し、スライス結果をプレビューしたものがこちら。

Slice結果のプレビュー画面

Save To Diskを押してG-codeをDカードに保存したらテストデータと同じように印刷することができます。1時間30分かかりました。

印刷終了直後の状態

横から見た図。積層方式らしいざらつきはあるが十分きれいに印刷できている。

3DBenchyの定性的チェックポイントは船尾のネームプレートの文字が読めないこと以外は大丈夫でした(この項目はhigh-resolution 3D printer向けらしいのでクリアできなくても仕方ないのかもしれない)。定量的チェックポイントも手元の安いノギスで確認できる範囲では問題ありませんでした。

これでワークフローの確認が一通り終わったので、次は自分で設計したモデルを印刷しようと思います。

C100情報

2022年8月13日~14日に東京ビッグサイトで開催されるコミックマーケット100の1日目(土)で同人誌を頒布します。

サークルはthe tenth art、場所は東ホ14bです。Webカタログはこちら

お品書き

C100で頒布するのと同じ内容で技術書典にも参加する予定なのですが、技術書典では成人を対象とした同人誌を発行できないため全年齢版とR18版を分割して発行することになりました。

私は全年齢版の『Twitter上のイラストを検索できるWebサイトの開発』と成人版の『Adversarial Exampleで作る“エロ画像”』を執筆しました。

前者はこのブログで何回か取り上げているにじさーちの解説です。まだブログでは解説していない新機能であるキャラクター自動推定についても説明しています。

後者はAdversarial Example生成技術を使って、健全画像にノイズを加えて機械学習にR18画像だと誤判定させる話です。

他のメンバーが書いた記事についてはサークルの新刊情報ページをご覧ください。試し読みとして各記事の1ページ目が公開されています。

私は当日会場には行かない予定ですが、コミケ参加予定の方はご購入を検討いただけると幸いです。

(2022年8月13日追記) 電子版をBoothで販売しています。

絵を添削してもらった 2

キャラクターの誕生日に向けて描いたイラストを添削に出したらかなり良い添削をしてもらいました。 kivantium.hateblo.jp

しかし、絵を添削してもらっただけではうまくなりません。添削を踏まえて新しい絵を描く必要があります。 今回は今期アニメで一番気に入ったスローループの絵を描くことにしました。

メイキング

前回の添削で紹介してもらった本を参考に、ポーズ集を参考にしながらキャラクターを描くことと、写真を加工して背景を描く技法を試すことが今回の目的でした。 過去に自分で撮影した海の写真に近い原作イラストを検索したら以下の商品が見つかったのでこれを全体的に参考にすることにしました。(後で気づいたのですが、これは原作3巻の巻頭イラストが出典のようです)

キャラクター

前回の添削で紹介してもらった「だらっとしたポーズカタログ3」から二人が近い距離で写っているポーズを探して、p.33の左下に掲載されているイラストを選びました。3人描くのは難しそうなので諦めました。 萌え絵の勉強にあたって最初に購入した萌えキャラクターの描き方 顔・からだ編 (マンガの技法書)の「萌えキャラクターにふさわしい頭身」の項目に「6頭身程度が標準」と描いてあったのを覚えていたので、まず写真と原作の頭身を確認しました。すると、写真は6.5頭身なのに対して原作イラストは5.5頭身であることが分かりました。頭身の違いを自分で修正する必要がありそうです。 頭の大きさを固定したまま身体を縮小する形で頭身を変更しながら方眼紙に描いた下書きが以下の画像です。

紙に描いた下書きを撮影したもの(最初測ったときは5頭身だと思っていた)

これをクリスタに取り込んで頑張ってキャラクターを描きました。写真とキャラクターで髪型や服装が異なっており、その違いを反映させるのがかなり難しくて難航しました。

キャラクター

背景

前回の添削で紹介してもらった「写真加工で作る風景イラスト」を参考にして写真から背景を作ろうとしました。 まずこれが自分で撮影した加工元の画像です。

海の画像

参考書の「海の表現」の項目にはオーバーレイレイヤーで色味を調整しろと描いてあったので、きれいな海になるように色を重ねました。それだけではただの写真だったので背景っぽさが出ることを期待してガウスぼかしを入れてみたのが次の画像です。

色味調整+ぼかし

いかにも写真の上に画像を貼り付けただけという感じになってしまいました。前回の添削を参考にして、クリスタで写真にフィルタをかけてから背景を上から塗りつぶして情報量を抑えたのが次の画像です。雲はとことん解説! キャラクターの描き方入門教室で紹介されていた雲ブラシで描きました。

フィルタ+塗りつぶし

しかし私の能力が足りないせいで海には見えないものになってしまいました。そこで、写真を使うのは諦めてエアブラシなどを使ってグラデーションを作ってみたところそれっぽくなったのでこれを使うことにしました。

グラデーション
本当は足元に押し寄せる波を描きたかったのですが、どうやっても波が描けなかったので諦めました。

前回の添削で3分割した場所に主題を置くと良いと書いてあったので、二人が3分割線上に立つようにトリミングして完成としました。

3分割のガイドラインを引いた結果(今見るとあまり線上に乗ってませんが……)

クリスタのタイムラプス機能で作ったメイキング動画を貼っておきます。

添削結果

前回添削に出してから模写数枚程度しか練習できておらず大して上達していないのですがせっかく描いた絵を添削に出さない理由は特にないので、前回依頼した@reihou19さんに再び添削を依頼しました。依頼文は以下の通りです。

#04037 の添削をお願いしたものです。前回は大変お世話になりました。

前回の添削で教えていただいた本を参考に新しいイラストを描いてみたので添削をお願いしたいと思います。今回はスローループというアニメの海凪小春と海凪ひよりを描きました。
●一番に見せたかった事・モノ
海で遊ぶ二人の楽しそうな様子

●質問事項・お悩み
キャラクターについて
・今回は「だらっとしたポーズカタログ3」のp.33 左下に掲載されているポーズを参考に描きました。
・ポーズ集の女性は6.5頭身だったのですが、原作イラストは5.5頭身だったため各部位の比率が異なりました。
・ポーズ集の女性と描きたいキャラクターでは髪型が異なるため、写真では髪で隠れている部分を描かないといけない箇所もありました。
・写真をうまくイラストに落とし込めるようになるためにはどのような練習をすればいいでしょうか?

背景について
・さけハラス先生の「写真加工で作る風景イラスト」を参考にして、自分で撮影した写真(4枚目)を元に背景を作ろうと思いました。
・53ページの「海の表現」を参考にオーバーレイレイヤーで色味を調整してから、ぼかしをかけたのが1枚目です。背景の情報量がキャラクターに比べて多すぎて、いかにも写真の上に絵を貼り付けた感じになってしまいました。
・そこで前回の添削を参考に、クリスタのイラスト調フィルタをかけた後に上から塗りつぶしたのが2枚目です。1枚目よりは写真らしさが薄れましたが、今度は海らしさが薄れてしまいました。
・写真を使うのを諦めてグラデーションで海を描いたのが3枚目です。海らしさはそれなりに表現できたと思うのですが、打ち寄せる波が描けなかったので砂に足が埋まったようになっています。
・31ページで紹介されているPhotoshopのフィルターも試してみましたが、どれも表現したいイラストとは異なる質感になってしまいました。特にポスタリゼーションの際に生じる縞模様(トーンジャンプ)が問題だと感じました。
・元の写真の質感を残しつつ、イラストらしく加工するにはどうすればいいでしょうか?

●上手く行ったと思うところ
左のキャラクターの顔は自分としてはうまく描けたと思います。

●どんなところに不足感を感じているか
・キャラクターから楽しそうな感じが伝わってこないところに不足感を感じています。
・参考にした原作イラスト (https://www.amazon.co.jp/dp/B08N1LVMRD) に比べると背景の美しさやキャラクターの表情の豊かさが不足しているように思います。
・写真加工による背景と調和させるにはもっとキャラクターの情報量を増やす必要があると思いますが、現状ではあまりに描きこみが足りていないように感じます。

●添削内容にマッチするオススメの書籍とか情報とかも書いてほしいかどうか
はい、教えて!

ちなみに本文中で言及している「トーンジャンプ」とは減色加工をしたときにグラデーション部分の色が飛び飛びになる現象を指します。実際にフィルタをかけた結果を見てもらえればすぐ分かると思います。

イラスト調フィルタの結果

添削結果は以下の通りです。 sessa.me

1枚ずつコメントしていきます。

今回もかなり高いクオリティのafterを描いていただきありがたいです。

きんいろモザイクの影響できらら系作品の絵を描いた回数が多いためか、きららっぽい絵はなんとなく描けるようになっている気がしています。(響け!ユーフォニアム冴えない彼女の育てかたみたいな画風のイラストは全然描けないので模写に頼るしかない)

下書き段階では足を描いていなかったのに波を描けないことに気づいてから慌てて書き足していることがタイムラプス動画を見ると分かると思います。結局ぼかしを入れるタイミングで消えてしまったので無駄な労力だったわけですが、私の経験値になったのであれば消えた足も喜んでくれることでしょう。

今回はポーズ集に忠実に描くことが目標だったのですが、確かにこういうことも考えないといけませんでした。

頭をそのままにして他の部分は均等に圧縮するイメージで頭身を調整しましたが、足の長さの変更が大事なようです。服を描かずにまず素体を描くという技法は他の本にも描いてあったのですが、模写を中心に練習していたので自分の技術として取り入れることができていませんでした。練習法として取り入れるほうが良さそうです(ちなみにいきなり服を描いてしまうのはなもり先生の描き方に影響されている気もしますが、まぁこれはクラゲ用の描き方なので人間が参考にするべきではないですね)

自分でも同じように上から塗りつぶす技法を試しましたが、全く違う仕上がりになっています。「そんなに悩まずに描けます」とありますがそこがうまくできなかったわけです。きっと息の吸い方を教えるようなもので言語化できる技術ではないのでしょうね……。とりあえず作例を見ながら自分で再現できるようにしてみたいと思います。

こういう理論を考えることが自分で描けるようになる近道なんでしょうか。

自分としてはネクタイの形はかなりダイナミックに描いたつもりだったのですが、それよりもさらに大胆な動かし方をするのが良いようです。

初心者は影を小さく描いてしまいがちだが影は大胆に描くべきという話を別の本で読んだので、自分としてはかなり大きく入れているつもりなのですがそれでもまだ足りないようです。「我等踊れども、汝足らわず。」といった感じです。

服のシワはいつも参考イラストの通りに描いていたので、自分で描くとなると途端に分からなくなります。こういう理屈を把握するところから始めて模写を脱却したいところです。

前述した通り、一応三分割法を意識した構図を作っていたのですが不十分だったようです。こうやって顔を近づけることでセオリー通りの配置ができるものなんですねぇ。

参考にしようと思います。「やさしい人物画」は有名なので以前本屋で立ち読みしましたがレベルが高すぎて参考にならなさそうだったので買っていませんでした。

satofukurou.booth.pm

最後に添削結果を大きく貼っておきます。

次回はもう少し基礎練習を積んでから描こうと思います。

以下サムネ用画像。

創作+機械学習 Advent Calendar 2021 結果発表

2021年の年末に創作+機械学習 Advent Calendar 2021というイベントを開催しました。 開始時点での参加者は10人だったのですが、日を追うごとに参加者が増えて最終的には2枚目を作ることになりました。ご参加いただいた皆様、本当にありがとうございました。

kivantium.hateblo.jp

優秀賞の発表

ルールに「2022年1月に参加者の相互投票で優秀賞を決定します」と記載した通り、記事を執筆していただいた方々を対象にして1/1〜1/7の期間で投票を行いました。 2021年内に投稿された23本の記事の中から、良いと思った記事に1人3票投票していていただきました。執筆者22名のうち19名から投票がありました。ご協力ありがとうございました。

得票数上位8つの記事を発表します。

最優秀賞

優秀賞

佳作

最優秀賞には賞金2万円、優秀賞には賞金1万円が授与されます。

審査員特別賞の発表

続いて審査員特別賞です。ルールから審査基準を再掲します。

  • @kivantium賞(機械学習の使い方に新しさを感じる記事を書いた方に授与)
  • @thetenthart賞(創作支援に役立ちそうな記事を書いた方に授与)
  • @xbar_usui賞(機械学習を知らない人でも楽しめる記事を書いた方に授与)

審査員特別賞には賞金5000円が授与されます。各賞に選ばれた記事は次の通りです。

kivantium賞

審査員コメント

音声認識の内部表現から似た音の組を発見して有用な情報を取り出そうとする試みに新しさを感じました。記事に「探したい韻のフレーズを検索する用途に用いるのは必ずしも成功しない」とあり、当初目指していた結果は得られなかったようですが、聞き間違えが生じる仕組みを逆に活用してしまうアイデアの面白さを評価しました。

thetenthart賞

審査員コメント

今回Advent Calendarに参加していただいた皆様ありがとうございます。予想よりも多くの方に投稿していただいて、この分野の潜在的な需要の高さを再認識しました。ハイレベルで興味深い記事が多かった中、多くの方に使ってもらえるツールやデータを公開しているという観点で【2021年】つくよみちゃんと機械学習音声合成・会話AI】をthetenthart賞に選ばさせていただきました。

つくよみちゃんプロジェクトは、キャラクターの商用フリー化・無料でのコーパス公開・音声合成ソフトの公開など、音声合成に関して多岐にわたる大きな貢献をされていて、これからも音声合成界隈を盛り上げてくださるものだと期待しています。

xbar_usui賞

審査員コメント

今回、どの作品も読み物としても面白かったので、大変に迷いました。 技術的に、あるいはストーリー的に面白いものは他にもあったのですが、多少主観で「このアイデア面白そう!」という目線で選ばせていただきました。

hsjoihsさんの作品は「架空世界の表意文字を手書き認識させる」という非常にメタというか、ある意味ぶっ飛んでいる創作機械学習でちょっとクラクラきました。 まっくすさんの作品は自分で創作した漫画を、さらに海外の人向けに翻訳するために機械学習を用いたというところに魅力を感じました。

他の方々も、大変面白い作品を投稿いただき、ありがとうございました!

f:id:kivantium:20220108221250p:plain:w600
受賞者の皆さま(画像提供: @yumu_7さん)

奨励賞の発表

参加者が想定以上に集まったため、事前に決めていた賞に加えて奨励賞を用意しました。奨励賞に選ばれたのは以下の2つです。

奨励賞には賞金3000円が授与されます。

アンケート結果

投票と同時にアンケートも行ったのでその結果の一部を紹介します。

投票の際に重視した評価基準を教えてください

f:id:kivantium:20220108081631p:plain
集計結果

「解こうとしているタスクが面白い (84.2%)」「説明のわかりやすさ (36.8%)」「アプリケーション化している (36.8%)」「対象分野(画像処理/自然言語処理/音声処理など)に興味がある (31.6%)」の順でした。 今年の年末にもAdvent Calendar企画を開催する予定なので、参考にしてください。

今後の活動について

創作機械学習に関連した同人誌を、コミックマーケットや技術書典などの同人誌即売会で出版することを考えています。 現在はアンケートで「とても寄稿したい」を選択した方での執筆を考えておりますが、それ以外にも執筆を望む方がおられましたらTwitter: @thetenthartまでご連絡ください。

内容については基本的に、創作+機械学習(あるいはデータ分析)に関わる記事各々執筆する方向性で考えていますが、執筆者同士で興味の対象がうまく合えば何か統一的なテーマ(ゲーム創作支援など)でかければ良いかとも思っています。

Discordサーバー 2dmlの宣伝

このAdvent Calenderは2dmlというDiscordサーバーで企画・運営されました。このサーバーでは創作と機械学習に関する情報交換やイベントの開催を行っています。興味がある方は是非ご参加ください。

招待リンク: https://discord.gg/jQNXjkrqGU

また、このAdvent Calendarの読者アンケートを実施しておりますのでご協力お願いします。 創作+機械学習 Advent Calendar 2021 読者アンケート

以上です。創作+機械学習 Advent Calendar 2021 にご参加いただいた皆様ありがとうございました。2022年もよろしくお願いします。

絵を添削してもらった

響け!ユーフォニアムに登場するキャラクターの誕生日(1/7)に合わせてイラストを描きました。

f:id:kivantium:20220109061507p:plain:w600
描いたイラスト

描いている途中で創作+機械学習Advent Calendarで紹介されていた添削サービスの存在を思い出したので、ついでに添削をお願いしてみました。以下その記録です。

メイキング

響け! ユーフォニアムの作中に川沿いのベンチがたびたび登場します。このベンチは宇治川の河川敷に設置されている実在のベンチをモデルにしていて、ファンの間では久美子ベンチとして親しまれています。私も実際に見に行ったことがあります。

奏がこのベンチに座るシーンはアニメでは描写されていないと記憶しているので、その様子を描いてみようと思いました。 自分に画力が足りないことは分かっているのでとりあえず完成させることを目指してズルを重ねました。

久美子ベンチの作中での描写は真正面からの構図が多いのですが、正面顔を描くのが苦手な自覚があるので顔が斜めになるように斜めからの構図を選択しました。この発想がまずズルいです。

「久美子ベンチ」で検索して斜めから撮影している写真を探したら聖地巡礼の記録ブログにちょうどいい写真がありました。

blog.goo.ne.jp

この写真をiPadで表示してその上に紙を置き、だいたいの形をなぞりました。第二のズルです。 板などを適当に描いてから適当にキャラクターを置いて下書きとし、iPadのカメラで写真を撮ってクリスタに取り込みました。1月なので冬服にしました。

f:id:kivantium:20220107123106j:plain:w600
iPadで撮影した下書き

この時点では写真の影響で左からの構図でしたが、1期1話の久美子がベンチの上で驚くシーン(15:08あたり)が印象的だったのでそのシーンに合わせて左右反転して右からの構図にしました。 最初は写真の上に線画レイヤーを置いてフリーハンドでなぞり書きしていたのですが、線がまっすぐ引けなかったのでパース定規に頼ることにしました。これはクリスタの機能なのでズルじゃないと思います。

f:id:kivantium:20220107123921j:plain:w600
クリスタでパース定規を設定している様子

ベンチの板の横線を定規で引くことだけを考えていたため一点透視図法を選びました。定規のラインが下書きに合うようにアイレベルと消失点を調整してから、ベンチのラインをパース定規で引きました。横線以外は下書きに合わせてフリーハンドで描いてベンチの線画を終えました。

次に人物を描きます。誓いのフィナーレ終盤のバスのシーン(「悔しくて死にそうです!」の直前)で奏が右から写っていたのでそれを参考にして描きました。ただし、このシーンでは手足が隠れたり画面外に出たりしているので参考にすることができません。手足の描写を省略してバストアップの構図にすることも考えましたが、そうすると顔が大きくなるのでボロが出そうです。どうせ添削してもらうなら全身を描いたほうが勉強になると思ったのもあって足先まで描くことにしました。pixivで探すと近い構図のイラストがあったのでそれらを参考にしました。

参考にしたバスのシーンではコンクールに負けた直後で機嫌が悪かったので誕生日イラストにふさわしくない顔をしていました。画像を探したら去年の公式の誕生日イラストがポーズ的にもちょうどよかったのでこれを使いました。

これを見ながらラフを描いたのですが、どうしても似なかったので最終手段として顔画像をイラストに貼り付けて目・口・鼻の位置を修正しました。これは言い逃れできないズルです。

f:id:kivantium:20220109062149j:plain:w600
ラフ
f:id:kivantium:20220109062256j:plain:w600
位置を修正している様子

このラフから線画を書き起こしました。

f:id:kivantium:20220109062612j:plain:w600
線画

線画が完成したら残りは色を塗るだけです。お手本からスポイトで色を吸いつつ同じように下塗りをしました。

f:id:kivantium:20220109062657j:plain:w600
下塗り

乗算レイヤーや加算(発光)レイヤーを使いながらお手本になるべく近くなるように陰影やハイライトを入れました。手や足は参考にできるものがなかったので自力で塗りました。そのため下に行くにつれてどんどんクオリティが下がっています。

f:id:kivantium:20220109062948j:plain:w600
陰影やハイライトを入れた結果

ここからさらに久美子ベンチであることが分かるような背景を入れたかったのですが、自分の現在の画力では描けば描くほど絵が汚れていくだけだったので結局全て消しました。しかし、白だけだと寂しかったので作中の演出としてよく登場する水色の枠を入れて、それを完成品としました。出来上がったのが冒頭に貼ったイラストです。

添削をお願いする

創作+機械学習Advent Calendarに投稿されていたワカドリさんの記事sessaというサービスが紹介されていました。添削されたところで自分には再現できなくて意味がないのではないかと思っていましたが、物は試しで一度頼んでみることにしました。

添削者の募集

sessaの添削依頼には添削者を指定して依頼するモードと、添削内容を公開して添削者を募集するモードがあります。どの添削者が良いか分からなかったので募集モードを選びました。先生一覧を見ると相場は一回3000円くらいだったので3000円で募集しました。(決済画面になってから消費税が別途必要だと言われたのは体験が悪かったです)sessaのアカウントはTwitterと連携しているのですが、添削依頼は匿名で行われる仕組みになっているらしく、依頼中で明示しない限り依頼者のアカウントは分からないようです。また、添削者には守秘義務が課せられています。

依頼文は以下のように書きました。

響け!ユーフォニアムの久石奏が作中に登場するベンチ(通称久美子ベンチ)に座っている絵を描きました。顔はアニメの模写で、身体とベンチは複数の写真を参考にしました。

全体的に見てほしいですが、特に添削してほしいのは以下の4点です。
・スカートが身体に張り付いていて固く見えます。どうしたら柔らかい印象を出せるでしょうか。
・手と足は特に改善する必要があると思います。どのように修正すれば良いでしょうか。この姿勢で座っている参考資料を見つけるのに苦労したのでポーズ集等の良い資料をご存知でしたら合わせて知りたいです。
・陰影の入れ方がよく分かりませんでした。特に足と靴がうまく描けなかったのでほとんどベタ塗りのままになっています。
・背景がうまく描けなかったので白バックと図形で誤魔化しています。このベンチは河川敷に設置されていて、左側に木が生えており後ろに坂があるのが特徴です(「久美子ベンチ」で検索すると画像が出てきます)。この特徴が伝わるような簡単な描き方があれば知りたいです。

以上よろしくお願いします。

書き上がった直後に募集して一晩待っていたら翌朝には9人からの応募がありました。その中から応募コメントに具体的なことを描いてくれていた@reihou19さんを選んで依頼しました。添削実績が0件でどのような添削をする方なのか分からない点は不安でしたが、西宮神社を走るスーパークリークのイラストをTLで見かけたことがあったのが後押しになりました。

添削結果はsessaのサイトで公開されています(公開を許可しないこともできます)。ちなみに添削に出したイラストは冒頭に貼ったものより前のバージョンなのでベンチの上に影がなかったり青枠の位置がズレていたりと少し相違があります。

sessa.me

sessaでは添削結果の著作権は依頼者のものになるので、添削結果を自由に使うことができます。せっかくなので1枚ずつ見ていきます。

f:id:kivantium:20220107134406p:plain:w600
添削結果1枚目

背景の「簡単な書き方」を聞いたので適当に色を塗っただけの背景になることを想定していたのですが、想定以上のクオリティの添削結果が帰ってきました。3000円でここまでやってもらって良いんだろうか……。

f:id:kivantium:20220107134943p:plain:w600
添削結果2枚目

ズルしたところがしっかり見抜かれていて大変心苦しくなります。

  • 「ちゃんと京アニ風の顔立ちになっています」→スクショを下に重ねて位置調整したからです、ごめんなさい……
  • 「下に行くにつれて自信が無い感じになっています」→下に行くにつれて参考資料がなくなっていったからです……

f:id:kivantium:20220107135546p:plain:w600
添削結果3枚目

今回の添削で一番ドキッとしたのはこの3枚目です。

  • 「かなり高いところから、見下ろしていることになります」→画像にはありませんが、添削本文に「ざっくりですが、成人男性の目の位置くらいになっています。」という記述もありました。今回参考にした久美子ベンチの画像の撮影者を調べたらまさに成人男性でした。イラストだけからここまでズルが見抜かれてしまうものなんですね……
  • 「水平線が傾いている」→ベンチを描く時に一点透視図法のパース定規を使ったため、板の短辺のパースは一切考慮していませんでした。これもまたイラストを見るだけで見抜かれてしまうようです。

f:id:kivantium:20220107140452p:plain:w600
添削結果4枚目

  • 「3分割法」→全く意識していなかったのでいつも真ん中に主題を置いていました。そういえば写真のテクニックでそんな話を聞いたことがあるような気も……
  • 「ミディアムショット」→顔を大きく描くとボロが出ると思った逃げの姿勢が見抜かれています。
  • 「見て描いたとはいえ顔めちゃくちゃきれいですね」→ごめんなさい……。とはいえ塗りはスポイトで吸ったくらいで残りは真面目にやったのでそこだけは良いのかも……

f:id:kivantium:20220107141922p:plain:w600
添削結果5枚目

  • 「肘から先は、こちら側に向きます」→長袖だったので腕を描く時に肘の存在を意識していなかったのが見抜かれています
  • 「奏は久美子よりも胸が大きい設定だったと思う」→そんなことないだろうと思って検索したら「奏の胸は結構大きくて胸のことだけ久美子は奏を羨ましがってる」と書いてあるまとめブログが出てきたのでそういう設定らしいです。方言を敬遠して原作を読んでないにわかであることまで見抜かれました
  • ポーズ集の紹介はありがたいです(だらっとしたポーズカタログ3 ─なかよし女子高生の放課後

f:id:kivantium:20220107142652p:plain:w600
添削結果6枚目

  • 「光の方向は午後なので背中側からです」→実在の場所だから方角を考えるという発想は全くありませんでした。画面奥側に窓があるバスのシーンを見て奥に光源を設定した安易さが指摘されたようで耳が痛い……
  • 「右側は外側にシワシワしています」→参考にしたシーンを見返すと確かに反対側にシワが入っていました。これはちゃんと見ないとダメでした。

f:id:kivantium:20220107143305p:plain:w600
添削結果7枚目

  • 木→この説明を見ても描ける気がしませんが、これはそのうちできるようにならないといけないんだろう……
  • 石→写真を使うなんて邪道だと思っていましたが、この結果を見せられるとやり方を覚えるほうが良さそうです。どうせここまでズルを重ねているわけなので使えるものは徹底的に使うべきです

f:id:kivantium:20220107143720p:plain:w600
添削結果8枚目

  • 靴→頑張って書き直します
  • 「写真加工で作る風景イラスト」→出版されたのは知っていたものの写真加工はズルだと思って全く見ていなかった本。この技術は習得したほうがよさそう。
  • 「キャラ背景の描き方教室」→立ち読みしたときにレベルが高すぎて参考にならないと思って買っていなかった本。付録のペンがすごいという話をたびたび聞くので購入を検討してもよさそう。
  • 「背景画の描き方」→知らなかった本。かも仮面先生のイラストはたびたび見かけるので興味あります。

5枚目で紹介されてたポーズ集はこれです。

せっかくなので最後に添削結果を大きく貼っておきます

f:id:kivantium:20220109070555j:plain:w400
添削結果

添削してくれた方はユーフォニアム好きとのことで、非常に熱のこもった添削をしていただけました。ありがとうございました。

添削結果を参考に2022年はもっと練習したいと思います。うまくなりたい。

1/9 編集内容

  • 色塗り工程を追記
  • キャラクター名で検索したときに自分のイラストが上位に出てくると体験が悪いのでフルネーム呼びをなるべく避けた

広告コーナー