kivantium活動日記

プログラムを使っていろいろやります

絵を添削してもらった 2

キャラクターの誕生日に向けて描いたイラストを添削に出したらかなり良い添削をしてもらいました。 kivantium.hateblo.jp

しかし、絵を添削してもらっただけではうまくなりません。添削を踏まえて新しい絵を描く必要があります。 今回は今期アニメで一番気に入ったスローループの絵を描くことにしました。

メイキング

前回の添削で紹介してもらった本を参考に、ポーズ集を参考にしながらキャラクターを描くことと、写真を加工して背景を描く技法を試すことが今回の目的でした。 過去に自分で撮影した海の写真に近い原作イラストを検索したら以下の商品が見つかったのでこれを全体的に参考にすることにしました。(後で気づいたのですが、これは原作3巻の巻頭イラストが出典のようです)

キャラクター

前回の添削で紹介してもらった「だらっとしたポーズカタログ3」から二人が近い距離で写っているポーズを探して、p.33の左下に掲載されているイラストを選びました。3人描くのは難しそうなので諦めました。 萌え絵の勉強にあたって最初に購入した萌えキャラクターの描き方 顔・からだ編 (マンガの技法書)の「萌えキャラクターにふさわしい頭身」の項目に「6頭身程度が標準」と描いてあったのを覚えていたので、まず写真と原作の頭身を確認しました。すると、写真は6.5頭身なのに対して原作イラストは5.5頭身であることが分かりました。頭身の違いを自分で修正する必要がありそうです。 頭の大きさを固定したまま身体を縮小する形で頭身を変更しながら方眼紙に描いた下書きが以下の画像です。

紙に描いた下書きを撮影したもの(最初測ったときは5頭身だと思っていた)

これをクリスタに取り込んで頑張ってキャラクターを描きました。写真とキャラクターで髪型や服装が異なっており、その違いを反映させるのがかなり難しくて難航しました。

キャラクター

背景

前回の添削で紹介してもらった「写真加工で作る風景イラスト」を参考にして写真から背景を作ろうとしました。 まずこれが自分で撮影した加工元の画像です。

海の画像

参考書の「海の表現」の項目にはオーバーレイレイヤーで色味を調整しろと描いてあったので、きれいな海になるように色を重ねました。それだけではただの写真だったので背景っぽさが出ることを期待してガウスぼかしを入れてみたのが次の画像です。

色味調整+ぼかし

いかにも写真の上に画像を貼り付けただけという感じになってしまいました。前回の添削を参考にして、クリスタで写真にフィルタをかけてから背景を上から塗りつぶして情報量を抑えたのが次の画像です。雲はとことん解説! キャラクターの描き方入門教室で紹介されていた雲ブラシで描きました。

フィルタ+塗りつぶし

しかし私の能力が足りないせいで海には見えないものになってしまいました。そこで、写真を使うのは諦めてエアブラシなどを使ってグラデーションを作ってみたところそれっぽくなったのでこれを使うことにしました。

グラデーション
本当は足元に押し寄せる波を描きたかったのですが、どうやっても波が描けなかったので諦めました。

前回の添削で3分割した場所に主題を置くと良いと書いてあったので、二人が3分割線上に立つようにトリミングして完成としました。

3分割のガイドラインを引いた結果(今見るとあまり線上に乗ってませんが……)

クリスタのタイムラプス機能で作ったメイキング動画を貼っておきます。

添削結果

前回添削に出してから模写数枚程度しか練習できておらず大して上達していないのですがせっかく描いた絵を添削に出さない理由は特にないので、前回依頼した@reihou19さんに再び添削を依頼しました。依頼文は以下の通りです。

#04037 の添削をお願いしたものです。前回は大変お世話になりました。

前回の添削で教えていただいた本を参考に新しいイラストを描いてみたので添削をお願いしたいと思います。今回はスローループというアニメの海凪小春と海凪ひよりを描きました。
●一番に見せたかった事・モノ
海で遊ぶ二人の楽しそうな様子

●質問事項・お悩み
キャラクターについて
・今回は「だらっとしたポーズカタログ3」のp.33 左下に掲載されているポーズを参考に描きました。
・ポーズ集の女性は6.5頭身だったのですが、原作イラストは5.5頭身だったため各部位の比率が異なりました。
・ポーズ集の女性と描きたいキャラクターでは髪型が異なるため、写真では髪で隠れている部分を描かないといけない箇所もありました。
・写真をうまくイラストに落とし込めるようになるためにはどのような練習をすればいいでしょうか?

背景について
・さけハラス先生の「写真加工で作る風景イラスト」を参考にして、自分で撮影した写真(4枚目)を元に背景を作ろうと思いました。
・53ページの「海の表現」を参考にオーバーレイレイヤーで色味を調整してから、ぼかしをかけたのが1枚目です。背景の情報量がキャラクターに比べて多すぎて、いかにも写真の上に絵を貼り付けた感じになってしまいました。
・そこで前回の添削を参考に、クリスタのイラスト調フィルタをかけた後に上から塗りつぶしたのが2枚目です。1枚目よりは写真らしさが薄れましたが、今度は海らしさが薄れてしまいました。
・写真を使うのを諦めてグラデーションで海を描いたのが3枚目です。海らしさはそれなりに表現できたと思うのですが、打ち寄せる波が描けなかったので砂に足が埋まったようになっています。
・31ページで紹介されているPhotoshopのフィルターも試してみましたが、どれも表現したいイラストとは異なる質感になってしまいました。特にポスタリゼーションの際に生じる縞模様(トーンジャンプ)が問題だと感じました。
・元の写真の質感を残しつつ、イラストらしく加工するにはどうすればいいでしょうか?

●上手く行ったと思うところ
左のキャラクターの顔は自分としてはうまく描けたと思います。

●どんなところに不足感を感じているか
・キャラクターから楽しそうな感じが伝わってこないところに不足感を感じています。
・参考にした原作イラスト (https://www.amazon.co.jp/dp/B08N1LVMRD) に比べると背景の美しさやキャラクターの表情の豊かさが不足しているように思います。
・写真加工による背景と調和させるにはもっとキャラクターの情報量を増やす必要があると思いますが、現状ではあまりに描きこみが足りていないように感じます。

●添削内容にマッチするオススメの書籍とか情報とかも書いてほしいかどうか
はい、教えて!

ちなみに本文中で言及している「トーンジャンプ」とは減色加工をしたときにグラデーション部分の色が飛び飛びになる現象を指します。実際にフィルタをかけた結果を見てもらえればすぐ分かると思います。

イラスト調フィルタの結果

添削結果は以下の通りです。 sessa.me

1枚ずつコメントしていきます。

今回もかなり高いクオリティのafterを描いていただきありがたいです。

きんいろモザイクの影響できらら系作品の絵を描いた回数が多いためか、きららっぽい絵はなんとなく描けるようになっている気がしています。(響け!ユーフォニアム冴えない彼女の育てかたみたいな画風のイラストは全然描けないので模写に頼るしかない)

下書き段階では足を描いていなかったのに波を描けないことに気づいてから慌てて書き足していることがタイムラプス動画を見ると分かると思います。結局ぼかしを入れるタイミングで消えてしまったので無駄な労力だったわけですが、私の経験値になったのであれば消えた足も喜んでくれることでしょう。

今回はポーズ集に忠実に描くことが目標だったのですが、確かにこういうことも考えないといけませんでした。

頭をそのままにして他の部分は均等に圧縮するイメージで頭身を調整しましたが、足の長さの変更が大事なようです。服を描かずにまず素体を描くという技法は他の本にも描いてあったのですが、模写を中心に練習していたので自分の技術として取り入れることができていませんでした。練習法として取り入れるほうが良さそうです(ちなみにいきなり服を描いてしまうのはなもり先生の描き方に影響されている気もしますが、まぁこれはクラゲ用の描き方なので人間が参考にするべきではないですね)

自分でも同じように上から塗りつぶす技法を試しましたが、全く違う仕上がりになっています。「そんなに悩まずに描けます」とありますがそこがうまくできなかったわけです。きっと息の吸い方を教えるようなもので言語化できる技術ではないのでしょうね……。とりあえず作例を見ながら自分で再現できるようにしてみたいと思います。

こういう理論を考えることが自分で描けるようになる近道なんでしょうか。

自分としてはネクタイの形はかなりダイナミックに描いたつもりだったのですが、それよりもさらに大胆な動かし方をするのが良いようです。

初心者は影を小さく描いてしまいがちだが影は大胆に描くべきという話を別の本で読んだので、自分としてはかなり大きく入れているつもりなのですがそれでもまだ足りないようです。「我等踊れども、汝足らわず。」といった感じです。

服のシワはいつも参考イラストの通りに描いていたので、自分で描くとなると途端に分からなくなります。こういう理屈を把握するところから始めて模写を脱却したいところです。

前述した通り、一応三分割法を意識した構図を作っていたのですが不十分だったようです。こうやって顔を近づけることでセオリー通りの配置ができるものなんですねぇ。

参考にしようと思います。「やさしい人物画」は有名なので以前本屋で立ち読みしましたがレベルが高すぎて参考にならなさそうだったので買っていませんでした。

satofukurou.booth.pm

最後に添削結果を大きく貼っておきます。

次回はもう少し基礎練習を積んでから描こうと思います。

以下サムネ用画像。

創作+機械学習 Advent Calendar 2021 結果発表

2021年の年末に創作+機械学習 Advent Calendar 2021というイベントを開催しました。 開始時点での参加者は10人だったのですが、日を追うごとに参加者が増えて最終的には2枚目を作ることになりました。ご参加いただいた皆様、本当にありがとうございました。

kivantium.hateblo.jp

優秀賞の発表

ルールに「2022年1月に参加者の相互投票で優秀賞を決定します」と記載した通り、記事を執筆していただいた方々を対象にして1/1〜1/7の期間で投票を行いました。 2021年内に投稿された23本の記事の中から、良いと思った記事に1人3票投票していていただきました。執筆者22名のうち19名から投票がありました。ご協力ありがとうございました。

得票数上位8つの記事を発表します。

最優秀賞

優秀賞

佳作

最優秀賞には賞金2万円、優秀賞には賞金1万円が授与されます。

審査員特別賞の発表

続いて審査員特別賞です。ルールから審査基準を再掲します。

  • @kivantium賞(機械学習の使い方に新しさを感じる記事を書いた方に授与)
  • @thetenthart賞(創作支援に役立ちそうな記事を書いた方に授与)
  • @xbar_usui賞(機械学習を知らない人でも楽しめる記事を書いた方に授与)

審査員特別賞には賞金5000円が授与されます。各賞に選ばれた記事は次の通りです。

kivantium賞

審査員コメント

音声認識の内部表現から似た音の組を発見して有用な情報を取り出そうとする試みに新しさを感じました。記事に「探したい韻のフレーズを検索する用途に用いるのは必ずしも成功しない」とあり、当初目指していた結果は得られなかったようですが、聞き間違えが生じる仕組みを逆に活用してしまうアイデアの面白さを評価しました。

thetenthart賞

審査員コメント

今回Advent Calendarに参加していただいた皆様ありがとうございます。予想よりも多くの方に投稿していただいて、この分野の潜在的な需要の高さを再認識しました。ハイレベルで興味深い記事が多かった中、多くの方に使ってもらえるツールやデータを公開しているという観点で【2021年】つくよみちゃんと機械学習音声合成・会話AI】をthetenthart賞に選ばさせていただきました。

つくよみちゃんプロジェクトは、キャラクターの商用フリー化・無料でのコーパス公開・音声合成ソフトの公開など、音声合成に関して多岐にわたる大きな貢献をされていて、これからも音声合成界隈を盛り上げてくださるものだと期待しています。

xbar_usui賞

審査員コメント

今回、どの作品も読み物としても面白かったので、大変に迷いました。 技術的に、あるいはストーリー的に面白いものは他にもあったのですが、多少主観で「このアイデア面白そう!」という目線で選ばせていただきました。

hsjoihsさんの作品は「架空世界の表意文字を手書き認識させる」という非常にメタというか、ある意味ぶっ飛んでいる創作機械学習でちょっとクラクラきました。 まっくすさんの作品は自分で創作した漫画を、さらに海外の人向けに翻訳するために機械学習を用いたというところに魅力を感じました。

他の方々も、大変面白い作品を投稿いただき、ありがとうございました!

f:id:kivantium:20220108221250p:plain:w600
受賞者の皆さま(画像提供: @yumu_7さん)

奨励賞の発表

参加者が想定以上に集まったため、事前に決めていた賞に加えて奨励賞を用意しました。奨励賞に選ばれたのは以下の2つです。

奨励賞には賞金3000円が授与されます。

アンケート結果

投票と同時にアンケートも行ったのでその結果の一部を紹介します。

投票の際に重視した評価基準を教えてください

f:id:kivantium:20220108081631p:plain
集計結果

「解こうとしているタスクが面白い (84.2%)」「説明のわかりやすさ (36.8%)」「アプリケーション化している (36.8%)」「対象分野(画像処理/自然言語処理/音声処理など)に興味がある (31.6%)」の順でした。 今年の年末にもAdvent Calendar企画を開催する予定なので、参考にしてください。

今後の活動について

創作機械学習に関連した同人誌を、コミックマーケットや技術書典などの同人誌即売会で出版することを考えています。 現在はアンケートで「とても寄稿したい」を選択した方での執筆を考えておりますが、それ以外にも執筆を望む方がおられましたらTwitter: @thetenthartまでご連絡ください。

内容については基本的に、創作+機械学習(あるいはデータ分析)に関わる記事各々執筆する方向性で考えていますが、執筆者同士で興味の対象がうまく合えば何か統一的なテーマ(ゲーム創作支援など)でかければ良いかとも思っています。

Discordサーバー 2dmlの宣伝

このAdvent Calenderは2dmlというDiscordサーバーで企画・運営されました。このサーバーでは創作と機械学習に関する情報交換やイベントの開催を行っています。興味がある方は是非ご参加ください。

招待リンク: https://discord.gg/jQNXjkrqGU

また、このAdvent Calendarの読者アンケートを実施しておりますのでご協力お願いします。 創作+機械学習 Advent Calendar 2021 読者アンケート

以上です。創作+機械学習 Advent Calendar 2021 にご参加いただいた皆様ありがとうございました。2022年もよろしくお願いします。

絵を添削してもらった

響け!ユーフォニアムに登場するキャラクターの誕生日(1/7)に合わせてイラストを描きました。

f:id:kivantium:20220109061507p:plain:w600
描いたイラスト

描いている途中で創作+機械学習Advent Calendarで紹介されていた添削サービスの存在を思い出したので、ついでに添削をお願いしてみました。以下その記録です。

メイキング

響け! ユーフォニアムの作中に川沿いのベンチがたびたび登場します。このベンチは宇治川の河川敷に設置されている実在のベンチをモデルにしていて、ファンの間では久美子ベンチとして親しまれています。私も実際に見に行ったことがあります。

奏がこのベンチに座るシーンはアニメでは描写されていないと記憶しているので、その様子を描いてみようと思いました。 自分に画力が足りないことは分かっているのでとりあえず完成させることを目指してズルを重ねました。

久美子ベンチの作中での描写は真正面からの構図が多いのですが、正面顔を描くのが苦手な自覚があるので顔が斜めになるように斜めからの構図を選択しました。この発想がまずズルいです。

「久美子ベンチ」で検索して斜めから撮影している写真を探したら聖地巡礼の記録ブログにちょうどいい写真がありました。

blog.goo.ne.jp

この写真をiPadで表示してその上に紙を置き、だいたいの形をなぞりました。第二のズルです。 板などを適当に描いてから適当にキャラクターを置いて下書きとし、iPadのカメラで写真を撮ってクリスタに取り込みました。1月なので冬服にしました。

f:id:kivantium:20220107123106j:plain:w600
iPadで撮影した下書き

この時点では写真の影響で左からの構図でしたが、1期1話の久美子がベンチの上で驚くシーン(15:08あたり)が印象的だったのでそのシーンに合わせて左右反転して右からの構図にしました。 最初は写真の上に線画レイヤーを置いてフリーハンドでなぞり書きしていたのですが、線がまっすぐ引けなかったのでパース定規に頼ることにしました。これはクリスタの機能なのでズルじゃないと思います。

f:id:kivantium:20220107123921j:plain:w600
クリスタでパース定規を設定している様子

ベンチの板の横線を定規で引くことだけを考えていたため一点透視図法を選びました。定規のラインが下書きに合うようにアイレベルと消失点を調整してから、ベンチのラインをパース定規で引きました。横線以外は下書きに合わせてフリーハンドで描いてベンチの線画を終えました。

次に人物を描きます。誓いのフィナーレ終盤のバスのシーン(「悔しくて死にそうです!」の直前)で奏が右から写っていたのでそれを参考にして描きました。ただし、このシーンでは手足が隠れたり画面外に出たりしているので参考にすることができません。手足の描写を省略してバストアップの構図にすることも考えましたが、そうすると顔が大きくなるのでボロが出そうです。どうせ添削してもらうなら全身を描いたほうが勉強になると思ったのもあって足先まで描くことにしました。pixivで探すと近い構図のイラストがあったのでそれらを参考にしました。

参考にしたバスのシーンではコンクールに負けた直後で機嫌が悪かったので誕生日イラストにふさわしくない顔をしていました。画像を探したら去年の公式の誕生日イラストがポーズ的にもちょうどよかったのでこれを使いました。

これを見ながらラフを描いたのですが、どうしても似なかったので最終手段として顔画像をイラストに貼り付けて目・口・鼻の位置を修正しました。これは言い逃れできないズルです。

f:id:kivantium:20220109062149j:plain:w600
ラフ
f:id:kivantium:20220109062256j:plain:w600
位置を修正している様子

このラフから線画を書き起こしました。

f:id:kivantium:20220109062612j:plain:w600
線画

線画が完成したら残りは色を塗るだけです。お手本からスポイトで色を吸いつつ同じように下塗りをしました。

f:id:kivantium:20220109062657j:plain:w600
下塗り

乗算レイヤーや加算(発光)レイヤーを使いながらお手本になるべく近くなるように陰影やハイライトを入れました。手や足は参考にできるものがなかったので自力で塗りました。そのため下に行くにつれてどんどんクオリティが下がっています。

f:id:kivantium:20220109062948j:plain:w600
陰影やハイライトを入れた結果

ここからさらに久美子ベンチであることが分かるような背景を入れたかったのですが、自分の現在の画力では描けば描くほど絵が汚れていくだけだったので結局全て消しました。しかし、白だけだと寂しかったので作中の演出としてよく登場する水色の枠を入れて、それを完成品としました。出来上がったのが冒頭に貼ったイラストです。

添削をお願いする

創作+機械学習Advent Calendarに投稿されていたワカドリさんの記事sessaというサービスが紹介されていました。添削されたところで自分には再現できなくて意味がないのではないかと思っていましたが、物は試しで一度頼んでみることにしました。

添削者の募集

sessaの添削依頼には添削者を指定して依頼するモードと、添削内容を公開して添削者を募集するモードがあります。どの添削者が良いか分からなかったので募集モードを選びました。先生一覧を見ると相場は一回3000円くらいだったので3000円で募集しました。(決済画面になってから消費税が別途必要だと言われたのは体験が悪かったです)sessaのアカウントはTwitterと連携しているのですが、添削依頼は匿名で行われる仕組みになっているらしく、依頼中で明示しない限り依頼者のアカウントは分からないようです。また、添削者には守秘義務が課せられています。

依頼文は以下のように書きました。

響け!ユーフォニアムの久石奏が作中に登場するベンチ(通称久美子ベンチ)に座っている絵を描きました。顔はアニメの模写で、身体とベンチは複数の写真を参考にしました。

全体的に見てほしいですが、特に添削してほしいのは以下の4点です。
・スカートが身体に張り付いていて固く見えます。どうしたら柔らかい印象を出せるでしょうか。
・手と足は特に改善する必要があると思います。どのように修正すれば良いでしょうか。この姿勢で座っている参考資料を見つけるのに苦労したのでポーズ集等の良い資料をご存知でしたら合わせて知りたいです。
・陰影の入れ方がよく分かりませんでした。特に足と靴がうまく描けなかったのでほとんどベタ塗りのままになっています。
・背景がうまく描けなかったので白バックと図形で誤魔化しています。このベンチは河川敷に設置されていて、左側に木が生えており後ろに坂があるのが特徴です(「久美子ベンチ」で検索すると画像が出てきます)。この特徴が伝わるような簡単な描き方があれば知りたいです。

以上よろしくお願いします。

書き上がった直後に募集して一晩待っていたら翌朝には9人からの応募がありました。その中から応募コメントに具体的なことを描いてくれていた@reihou19さんを選んで依頼しました。添削実績が0件でどのような添削をする方なのか分からない点は不安でしたが、西宮神社を走るスーパークリークのイラストをTLで見かけたことがあったのが後押しになりました。

添削結果はsessaのサイトで公開されています(公開を許可しないこともできます)。ちなみに添削に出したイラストは冒頭に貼ったものより前のバージョンなのでベンチの上に影がなかったり青枠の位置がズレていたりと少し相違があります。

sessa.me

sessaでは添削結果の著作権は依頼者のものになるので、添削結果を自由に使うことができます。せっかくなので1枚ずつ見ていきます。

f:id:kivantium:20220107134406p:plain:w600
添削結果1枚目

背景の「簡単な書き方」を聞いたので適当に色を塗っただけの背景になることを想定していたのですが、想定以上のクオリティの添削結果が帰ってきました。3000円でここまでやってもらって良いんだろうか……。

f:id:kivantium:20220107134943p:plain:w600
添削結果2枚目

ズルしたところがしっかり見抜かれていて大変心苦しくなります。

  • 「ちゃんと京アニ風の顔立ちになっています」→スクショを下に重ねて位置調整したからです、ごめんなさい……
  • 「下に行くにつれて自信が無い感じになっています」→下に行くにつれて参考資料がなくなっていったからです……

f:id:kivantium:20220107135546p:plain:w600
添削結果3枚目

今回の添削で一番ドキッとしたのはこの3枚目です。

  • 「かなり高いところから、見下ろしていることになります」→画像にはありませんが、添削本文に「ざっくりですが、成人男性の目の位置くらいになっています。」という記述もありました。今回参考にした久美子ベンチの画像の撮影者を調べたらまさに成人男性でした。イラストだけからここまでズルが見抜かれてしまうものなんですね……
  • 「水平線が傾いている」→ベンチを描く時に一点透視図法のパース定規を使ったため、板の短辺のパースは一切考慮していませんでした。これもまたイラストを見るだけで見抜かれてしまうようです。

f:id:kivantium:20220107140452p:plain:w600
添削結果4枚目

  • 「3分割法」→全く意識していなかったのでいつも真ん中に主題を置いていました。そういえば写真のテクニックでそんな話を聞いたことがあるような気も……
  • 「ミディアムショット」→顔を大きく描くとボロが出ると思った逃げの姿勢が見抜かれています。
  • 「見て描いたとはいえ顔めちゃくちゃきれいですね」→ごめんなさい……。とはいえ塗りはスポイトで吸ったくらいで残りは真面目にやったのでそこだけは良いのかも……

f:id:kivantium:20220107141922p:plain:w600
添削結果5枚目

  • 「肘から先は、こちら側に向きます」→長袖だったので腕を描く時に肘の存在を意識していなかったのが見抜かれています
  • 「奏は久美子よりも胸が大きい設定だったと思う」→そんなことないだろうと思って検索したら「奏の胸は結構大きくて胸のことだけ久美子は奏を羨ましがってる」と書いてあるまとめブログが出てきたのでそういう設定らしいです。方言を敬遠して原作を読んでないにわかであることまで見抜かれました
  • ポーズ集の紹介はありがたいです(だらっとしたポーズカタログ3 ─なかよし女子高生の放課後

f:id:kivantium:20220107142652p:plain:w600
添削結果6枚目

  • 「光の方向は午後なので背中側からです」→実在の場所だから方角を考えるという発想は全くありませんでした。画面奥側に窓があるバスのシーンを見て奥に光源を設定した安易さが指摘されたようで耳が痛い……
  • 「右側は外側にシワシワしています」→参考にしたシーンを見返すと確かに反対側にシワが入っていました。これはちゃんと見ないとダメでした。

f:id:kivantium:20220107143305p:plain:w600
添削結果7枚目

  • 木→この説明を見ても描ける気がしませんが、これはそのうちできるようにならないといけないんだろう……
  • 石→写真を使うなんて邪道だと思っていましたが、この結果を見せられるとやり方を覚えるほうが良さそうです。どうせここまでズルを重ねているわけなので使えるものは徹底的に使うべきです

f:id:kivantium:20220107143720p:plain:w600
添削結果8枚目

  • 靴→頑張って書き直します
  • 「写真加工で作る風景イラスト」→出版されたのは知っていたものの写真加工はズルだと思って全く見ていなかった本。この技術は習得したほうがよさそう。
  • 「キャラ背景の描き方教室」→立ち読みしたときにレベルが高すぎて参考にならないと思って買っていなかった本。付録のペンがすごいという話をたびたび聞くので購入を検討してもよさそう。
  • 「背景画の描き方」→知らなかった本。かも仮面先生のイラストはたびたび見かけるので興味あります。

5枚目で紹介されてたポーズ集はこれです。

せっかくなので最後に添削結果を大きく貼っておきます

f:id:kivantium:20220109070555j:plain:w400
添削結果

添削してくれた方はユーフォニアム好きとのことで、非常に熱のこもった添削をしていただけました。ありがとうございました。

添削結果を参考に2022年はもっと練習したいと思います。うまくなりたい。

1/9 編集内容

  • 色塗り工程を追記
  • キャラクター名で検索したときに自分のイラストが上位に出てくると体験が悪いのでフルネーム呼びをなるべく避けた

はてなブログにAdventarのAdvent Calendarを埋め込む

現在開催中の創作+機械学習 Advent Calendar 2021で、AdventarのAdvent Calendarを埋め込んでいる人がいたのでやり方を調べてみました。

調べてみるとこのAdventarの埋め込み機能はnote向けに実装されている機能のようでした。

はてなブログはこの埋め込みに対応していないので自力でこの機能を再現する必要があります。 noteが生成したHTMLを読んだところ、次のHTMLを手動で入力すればはてなブログでも同様の埋め込みが実現できることが分かりました。

<iframe src="https://adventar.org/calendars/<カレンダーID>/embed" width="xxx" height="xxx" frameborder="0" loading="lazy"></iframe>

widthheightは明示的に指定しないとデザインが崩れました。最適な値はよく分かりませんがnoteでは620x362で表示されていたので同じ値を設定しておきます。

創作+機械学習 Advent Calendar 2021を例にすると次のようになります。

<iframe src="https://adventar.org/calendars/6442/embed" width="620" height="362" frameborder="0" loading="lazy"></iframe>

親要素にtext-align: centerを指定すると中央揃えできます(<center>タグでもいいですが既に廃止されているので避けたほうが良いらしいです)

<div style="text-align: center">
<iframe src="https://adventar.org/calendars/6442/embed" width="620" height="362" frameborder="0" loading="lazy"></iframe>
</div>

より良い方法があれば教えてください。

銀髪美少女botを作った

この記事は創作+機械学習 Advent Calendar 2021の1日目です。

はじめに

Deep Learningが画像認識コンテストで優勝して以降、機械学習をはじめとする人工知能技術の研究開発は一大ムーブメントとなり、第3次AIブームと呼ばれる状況にあります。このブログでは機械学習を二次元画像に応用した記事を何回か書いてきましたが、機械学習は画像だけではなく音声や言語など様々な分野で応用されています。このAdvent Calendarでは皆様に機械学習の創作への応用事例を紹介していただきます。どんな記事が投稿されるのか楽しみにしています。また、このAdvent Calendarを読んだ方の中に自分でも機械学習をやってみようと思ってくださる方が一人でもいらっしゃれば大変嬉しいです。

12/1時点では10名の方に参加表明をいただいています。参加者の皆様にはこの場を借りてお礼申し上げます。まだまだ枠に余裕がありますので、記事を読んで自分も参加したいと思った方は是非飛び入り参加してみてください。 adventar.org

二次元イラスト収集サイト にじさーち

この記事では現在開発中の二次元イラスト収集サイトにじさーちと、そのデータベースを利用して作った銀髪美少女botを紹介します。にじさーちの開発中のバージョンは記事にしていたのですが、現在のバージョンは記事にしていなかったのでここで紹介しようと思います。

nijisearch.kivantium.net

画像の収集

にじさーちはTwitterに投稿された二次元美少女イラストを収集の対象としています。Twitterに毎日投稿される数多くの画像の中から美少女イラストだけを収集するために機械学習を利用しています。収集対象かどうかの判定は2段階で行っています。まず最初にPyTorchでファインチューニングしたモデルをONNXで利用する - kivantium活動日記で紹介したSqueezenetを使ってイラスト or イラストではない の2クラス分類を行います。イラストであると判定された画像に対してさらにIllustration2Vecによってタグ付けを行い、girlを含むタグが付いた画像を美少女イラストと判定して収集対象にしています。全ての画像に対してIllustration2Vecを呼び出すと計算機の負荷が大きかったため、まず軽量なモデルでスクリーニングを行う運用になりました。

どのツイートに対してイラストを含むかの判定を行うかも問題になるのですが、今のところ絵師リストの監視や、フォロワーのRT・いいねなどを対象にしています。お気に入り数が多い画像ツイートをTweet検索を用いて取得する方法なども検討したのですが、イラストを含む画像のヒット率が低かったです。また、最近はシャドウバンによってイラストが検索結果に表示されないことが増えているため、イラストを描く人やイラストをよくRTする人のアカウントを直接監視することが今後より重要になっていくと考えています。なお、pixiv等で知らない絵師を発見した場合は手動で登録することもあります。

画像の表示

こうして収集したイラストはデータベースに登録され、Djangoを用いて構築されたサイトで表示されています。デザインにはBootstrapMasonryを利用しています。なお、Twitterに投稿されたツイートの表示は、Twitter開発者利用規約のI-Bで許可されており、 著作権法第四十七条の五で定められた軽微利用の範囲でサムネイル画像等の表示を行っています。

Twitter利用規約がなかなか厄介で、ツイートを表示するときにはDisplay Requirementsに従う必要があるほか、削除されたツイートの内容を表示してはいけないなどの細かい規定があります。これに従うためにツイートの表示にはTwitterが提供する埋め込み機能を利用し、サムネイル画像のキャッシュなどは持たないようにしているのですが、これによりサイトの動作がかなり重くなっているように感じています。読み込み速度の改善は大きな課題です。

f:id:kivantium:20211130130049p:plain:w600
画像詳細ページのスクリーンショット。Illustration2Vecによるタグの表示とツイート埋め込みによる画像表示を行っている https://nijisearch.kivantium.net/status/1461207355572383750/

また、現在はIllustration2Vecによるタグ表示が中心になっていますが、Illustration2Vecでタグ付けができるキャラクター数はかなり限られています。同一キャラクターを判定する機械学習モデルを現在開発中なので、これを用いてキャラクターの自動タグ付けを可能にしたいと思っています。

銀髪美少女bot

こうしてTwitterに投稿されたイラストを日々収集していたある日、銀髪美少女好きのフォロイーが「銀髪美少女を自動で収集したい」的な発言をしているのを見かけました。Illustration2Vecに silver hair タグが存在するので、銀髪美少女データベースが既に手元にある状態でした。こうしてにじさーちからスピンオフしたプロジェクトが銀髪美少女botです。

f:id:kivantium:20211130133901j:plain:w500
https://twitter.com/silverhair_bot

仕組み

にじさーちに登録された画像のうちsilver hairまたはwhite hairタグがついていて500回以上RTされているものを5分に1度ランダムに1つ選んでリツイートしています。銀髪と白髪は非常に似ていてほとんど区別がつかないため、このような運用にしました。また、新着画像がどちらかのタグを含んでいた場合は50いいね以上でリツイートするようにしています。こうすることで過去の名作と直近の作品がバランスよく閲覧できるだろうと考えています。なお、上記のルールを満たさなかった場合でも目視判定して手動でRTすることがあります。

f:id:kivantium:20211130135022p:plain:w400
silver hairタグでにじさーちを検索した例 https://nijisearch.kivantium.net/search/?&tag=silver%20hair

ちなみに、にじさーちはRSS機能を提供しているので特定のタグの新着画像をSlackチャンネルに投稿するなどの使い方もできます。タグ検索したときに出てくる「検索結果: XXXX件」の右側のRSSマークをクリックするとRSSが表示されます。(maidタグのRSSの例

今後の課題

まず、イラストかそうでないかの判定が甘いことが第一の課題です。よくある誤判定の例としては、コスプレ画像をイラストと判定してしまうミスがあります。コスプレ画像は人間が見ればひと目でイラストでない画像だと見抜くことができるのですが、イラストと似たような色合いになっているため機械学習はうまく区別することができないようです。誤判定した画像を学習データに加えて何度も再学習しているのですが、未だに数多くの誤判定が起こっています。また、そもそも何をイラストと定義するべきかの問題もあります。ソシャゲのスクリーンショットもよく誤ってリツイートしてしまうのですが、キャラクターが描写されているイラストであることには変わりありません。ソシャゲのスクリーンショットを負例に加えて学習すると全体として精度が落ちる懸念があるため、今のところ正例にも負例にも加えずに学習させています。ソシャゲ以外にも、アニメのスクリーンショットや漫画の購入報告・無断転載画像など、イラストではあるのだが収集したくない画像はたくさんあります。コミケサークルカットを収集するべきかどうかも微妙な問題でした。画像が投稿された文脈を理解して収集するかどうかを判断するのは機械学習には難しいので人手によるスクリーニングに頼っているのが現状です。

髪色の判定も微妙な問題です。同じ髪の色でも光の当たり方によっては別の色で塗られることがあります。銀髪や白髪は特に色が薄いので光の影響を受けやすいように感じています。髪色が微妙な場合は髪色のタグが何もつかないことが多いのですが、極端な場合は別の髪色タグがつくこともあります。

髪色判定に失敗する画像の例。設定上灰色の髪とされているキャラなのだが、blonde hairタグがついている (https://nijisearch.kivantium.net/status/1133960305183039488/)

また、水色の髪と銀髪の区別も難しいと感じています(誤判定されるイラストの例)。設定上の髪色が水色の場合でも、銀髪設定のキャラとほとんど同じ色で塗られることがあるのでキャラごとに設定上の色が何なのかを調べる必要があります。これは画像だけで判定するのが不可能なのでキャラ判定を導入しないと解決できないと考えています。

以上、機械学習を用いてイラストを収集する事例について紹介しました。明日は@amane_lyricさんの「そのキャラを好きになった理由を探る」です。お楽しみに。

pybind11とxtensorによるPythonとC++の連携

前回の記事でNumCppを試しましたが、全ての配列を2次元配列で扱う仕様がいまいちだったのでEigenを使ったほうが良さそうだという結論になりました。 kivantium.hateblo.jp

この記事ではxtensorという別のライブラリを試してみます。xtensorの開発はQuantStackという会社が中心になって行われているようです。Webサイトを見る限りJupyterLabなどのOSSを開発している会社のようですが、どうやって儲けているのかいまいち分かりませんでした……

インストール

READMEを見るとcondaでのインストールが推奨されているのですが、header-onlyライブラリなのでソースコードを落とすだけで使うことが出来ます。Pythonバインディングを使うためには3つのプロジェクトが必要になります。ここでは作業ディレクトリで以下のコマンドを実行した場合を説明します。

git clone https://github.com/xtensor-stack/xtensor.git
git clone https://github.com/xtensor-stack/xtl.git
git clone https://github.com/xtensor-stack/xtensor-python.git

簡単な例

前回と同様に足し算の例で試してみます。以下のC++コードを example.cpp という名前で保存します。

#include <pybind11/pybind11.h>
#include <xtensor/xmath.hpp>
#define FORCE_IMPORT_ARRAY
#include <xtensor-python/pyarray.hpp>

xt::pyarray<double> add_arrays(xt::pyarray<double>& input1, xt::pyarray<double>& input2) {
    return input1 + input2;
}

PYBIND11_MODULE(example, m)
{
    xt::import_numpy();
    m.def("add_arrays", &add_arrays);
}

コンパイルコマンドは以下の通りです。長いですが、pybind11のコンパイルコマンドをC++14向けに変更してxtensorのディレクトリを追加しただけです。

c++ -O3 -Wall -shared -std=c++14 -fPIC $(python3 -m pybind11 --includes) -I xtensor/include/ -I xtl/include/ -I xtensor-python/include/ -DNUMCPP_INCLUDE_PYBIND_PYTHON_INTERFACE example.cpp -o example$(python3-config --extension-suffix)

コンパイルしたC++コードを実行するPythonコードは以下の通りです。

import numpy as np
import example

a = np.asarray([1, 2, 3, 4]) 
b = np.asarray([2, 3, 4, 5])

print(example.add_arrays(a, b)) # [3. 5. 7. 9.]

期待通りの1次元配列 (numpy.ndarray) が返ってきています(戻り値のコピーが行われているかどうかは調べてないです)。

2次元・3次元の場合も期待通りの結果になります。

import numpy as np
import example

a = np.asarray([[1, 2], [3, 4]])
b = np.asarray([[2, 3], [4, 5]])
print(example.add_arrays(a, b))
# [[3. 5.]
#  [7. 9.]]

a = np.asarray([[[1], [2]], [[3], [4]]]) 
b = np.asarray([[[2], [3]], [[4], [5]]]) 
print(example.add_arrays(a, b))
# [[[3.]
#   [5.]]
# 
#  [[7.]
#   [9.]]]

EigenのときはVectorとMatrixを区別する必要がありましたが、xtensorは次元数に関わらず同じ関数が使えるのでよりNumPyに近い使用感を実現できています。 他の関数の使用感は確認していませんが、チートシートを見る限りではかなりNumPyを再現できているように見えます。また、BLASバインディングを提供するxtensor-blasというプロジェクトもあるようなので、速度を求める人の需要もある程度は満たせそうな気がします。もう少し試してみてもいいかもしれません。

pybind11とNumCppによるPythonとC++の連携

Pythonで書いたコードの速度が遅いときに一部の関数だけC++で記述したい場合があります。pybind11を使えばC++Pythonを比較的容易に連携させることができるのですが、NumPyオブジェクトをC++に渡したときの処理の記述が非常に面倒です。そこでNumPyのC++版として開発されているライブラリのNumCppを使って、NumPyオブジェクトの受け渡しを行う方法を検討しました。

TL; DR 現時点ではNumCppよりもEigenを使うほうが良さそうです

pybind11だけを使った場合

まずはpybind11だけでNumPyを使うとどうなるかについて説明します。pybind11ドキュメントのNumPyのページにある足し算を行う例を紹介します。

py::array_t<double> add_arrays(py::array_t<double> input1, py::array_t<double> input2) {
    py::buffer_info buf1 = input1.request(), buf2 = input2.request();

    /* shapeのチェックは省略 */

    auto result = py::array_t<double>(buf1.size);

    py::buffer_info buf3 = result.request();

    double *ptr1 = static_cast<double *>(buf1.ptr);
    double *ptr2 = static_cast<double *>(buf2.ptr);
    double *ptr3 = static_cast<double *>(buf3.ptr);

    for (size_t idx = 0; idx < buf1.shape[0]; idx++)
        ptr3[idx] = ptr1[idx] + ptr2[idx];

    return result;
}

行列の要素にアクセスするためにわざわざポインタを経由する必要がある上に、単なる行列の足し算をわざわざループで書き直す必要があります。この例は1次元配列でしたが、2次元以上になるとさらに処理が面倒になります。そこでC++の行列演算ライブラリを組み合わせて簡単に記述できるようにします。

pybind11は公式でEigenとの連携をサポートしているのですが、Eigenを使う方法は既に日本語解説が存在しているのでここではNumCppを使ってみます。

NumCppを使った場合

インストール

pybind11のインストールはpipを使う方法が一番簡単です。その他の方法はドキュメントのInstalling the libraryを参照してください。

pip install pybind11

NumCppはheader-onlyライブラリなのでファイルをダウンロードするだけです。ここでは作業ディレクトリにcloneすることにします。

git clone https://github.com/dpilger26/NumCpp.git

簡単な例

NumCppを使って二つの行列の和を求める関数を書いてみます。

以下のC++ファイルを example.cpp という名前で保存します。

#include <pybind11/pybind11.h>
#include <pybind11/numpy.h>

#include <NumCpp.hpp>

namespace py=pybind11;

py::array_t<double> add_arrays(py::array_t<double, py::array::c_style> input1, py::array_t<double, py::array::c_style> input2) {
    auto array1 = nc::pybindInterface::pybind2nc(input1);
    auto array2 = nc::pybindInterface::pybind2nc(input2);
    auto sum = array1 + array2;
    return nc::pybindInterface::nc2pybind(sum);
}

PYBIND11_MODULE(example, m) {
    m.def("add_arrays", &add_arrays);
}

Linuxの場合コンパイルは以下のように行います。

c++ -O3 -Wall -shared -std=c++14 -fPIC $(python3 -m pybind11 --includes) -I NumCpp/include/ -DNUMCPP_INCLUDE_PYBIND_PYTHON_INTERFACE example.cpp -o example$(python3-config --extension-suffix)

これはpybind11のコンパイルコマンドに NumCppのヘッダファイルの場所指定 (-I NumCpp/include/) と NumCppのpybind11オプション (-DNUMCPP_INCLUDE_PYBIND_PYTHON_INTERFACE) を追加してC++14を指定 (-std=c++14) したものです。CMakeを使う方法などもありますが、複雑なのでここでは解説しません。

コンパイルに成功すると example.cpython-***.so のようなファイルが生成されます。これを読み込むPythonプログラムは以下のようになります。

import numpy as np
import example

a = np.asarray([1, 2, 3, 4]) 
b = np.asarray([2, 3, 4, 5])
print(example.add_arrays(a, b).shape) # [[3. 5. 7. 9.]]  

正しく実行できているように見えるのですが、1次元配列同士の和なのに2次元配列が返ってきています。ドキュメントによると、NumCppのNdArrayクラスは2次元配列として実装されているため、1次元配列は1xNの2次元配列として扱う仕様になっているそうです。

2次元配列は問題なく処理できます。

import numpy as np
import example

a = np.asarray([[1, 2], [3, 4]]) 
b = np.asarray([[2, 3], [4, 5]])
print(example.add_arrays(a, b)) 
# [[3. 5.]
#  [7. 9.]]

しかし、3次元配列を渡すとエラーが起こります。

import numpy as np
import example

a = np.asarray([[[1], [2]], [[3], [4]]]) 
b = np.asarray([[[2], [3]], [[4], [5]]]) 
print(example.add_arrays(a, b)) 

エラーメッセージ

File: NumCpp/include/NumCpp/PythonInterface/PybindInterface.hpp
    Function: pybind2nc
    Line: 88
    Error: input array must be no more than 2 dimensional.Traceback (most recent call last):
  File "test.py", line 6, in <module>
    print(example.add_arrays(a, b)) 
ValueError: File: NumCpp/include/NumCpp/PythonInterface/PybindInterface.hpp
    Function: pybind2nc
    Line: 88
    Error: input array must be no more than 2 dimensional.

多次元配列についてのissueを見る限り3次元以上の配列はまだ実装されてなさそうなので、現時点でNumPy互換と呼ぶのはちょっと難しいかもしれません。

おまけ: Eigenを使った場合

参考としてEigenを使った場合を示しておきます。MatrixをRowMajorにすることと、VectorとMatrixを区別することだけ気をつければそんなに難しくないので、よりメジャーなEigenを使うほうが良い場合が多いと思います。

#include <pybind11/pybind11.h>
#include <pybind11/eigen.h>

#include <Eigen/Dense>

namespace py = pybind11;

using RowMatrixXd = Eigen::Matrix<double, Eigen::Dynamic, Eigen::Dynamic, Eigen::RowMajor>;

template <typename T>
T add_arrays(Eigen::Ref<const T> input1, Eigen::Ref<const T> input2) {
    return input1 + input2;
}

PYBIND11_MODULE(example, m)
{
    m.def("add_vectors", &add_arrays<Eigen::VectorXd>);
    m.def("add_matrices", &add_arrays<RowMatrixXd>);
}

Pythonはこんな感じです。

import numpy as np
import example

a = np.asarray([1, 2, 3, 4]) 
b = np.asarray([2, 3, 4, 5])
print(example.add_vectors(a, b))  # array([3., 5., 7., 9.])

a = np.asarray([[1, 2], [3, 4]])
b = np.asarray([[2, 3], [4, 5]])
print(example.add_matrices(a, b))
# array([[3., 5.],
#        [7., 9.]])

参考文献

1つ目の記事のコメントによるとxtensorというライブラリがあり、これもpybind11連携ができるようなのですが、インストールにcondaが必要そうなのでまだ試していません。誰か試していただけると嬉しいです。

追記 xtensorを試しました。condaは必要ありませんでした。 kivantium.hateblo.jp

広告コーナー