異彩の劣等生の駄文入れ

人間じゃない劣等生の駄文を書く場所、品質の悪い技術の話ばっかりするのでまさかり飛ばさないで

VTechChallenge 2019 に参加して優勝した話

Hello world from Virtual world !!
どうもこんにちは、Yuzuka4573です

さて今回の記事は,2020年2月21日にRealityにて配信された、GREE VR Studio Lab主催の VTechChallenge 2019について書いていきたいと思います。

そもそもの始まり

こいつは、去年の9月までさかのぼります。 このときは、所属する研究室で自分と先輩がVRSJ2019に発表に行ってました。もちろん、あのストッキングの研究で。そのときにランチタイムセミナーでしらい先生がいらっしゃって、Realityの話とか、Labの話をしていてお声掛けさせていただいただきました。そこで「お時間あれば、このあとポスター発表でいるのでぜひ見に来てください！」といって、見に来てもらったはず… 対応時間終わり間際にしらい先生御一行様がいらっしゃって説明を聞いてくれて、少し表現関係のアドバイスを頂きました。その際に「GREE VR Studio LabのTwitter見てくれよな！面白いことやるから」と教えてもらいVTC2019がリリースされたという流れです。

最初は出す気なかった件

紹介もらっていたものの、一応卒研生だったため、研究したり、論文書いたり、11月にはVRST2019に参加する予定もあったので、体力的にも、研究の進捗的にも出してもだめだろうなぁって思って,あきらめムードな感じでした。自分自身、評価が極端で、その時の自分の研究の評価的には「全く意味不明な研究、実用性少しだけかな？」とだいぶ下に感じていたので、どうしても乗り気にならなかったという.

VTC2019応募 Any% RTA

そんな良くない気持ちでズルズルと研究していたんですが、11月にあったVRST2019で、質問してくれたり、アドバイスをくれる外国人の方（9割外国人なので当たり前なんだけど）がちょいちょいいらっしゃって「あっ、なんだかんだで面白いのかもしれない？」と思えるようになりました(A○○leのエンジニアさんとかも見に来てたし)。その頃から、若干進捗が生まれたり消えたりしていて、個人的には楽しいく、研究室的には早く実験して論文書き上げろとヒヤヒヤし始める時期となっていました。学んでいることの性質上、締切ギリギリまでやらないで（またはズルズルゆっくりやって）1週間で勝負する的なことをよくやっていたので、年末は実装でバタバタしてました。
実家に帰ってYoutubeでVTuberの配信を見ていると、その日は大晦日。Twitterを見るとGREE VR Studio Labが締め切りまでHoge時間としきりにつぶやいているのを見て、そういえばと思い出す。一瞬に色々考えました。VTC19に応募して卒研無いしVTC19に時間が避けずにミスるのは良くないなと。最悪卒業できずに色々詰みそうとある意味ビビってましたが、基本イベント、大会に対して行きたいし爪痕残したいと思う奴だったため、卒研サボりながら資料作って送りつけてました。

応募後からのあれこれ

応募したあとは、ただ純粋に待機するだけでした。しかし僕に限っては、追加資料の追加が超ぎりぎりになるという自体に発展しました。結局指定された日が終わるギリギリに出したのかな？本当に申し訳ないなと思ってます。(なお、卒研の締切もそれぐらいだったので実際はもっと炎上してた)その後軽くフィードバックをもらいつつ、卒研を終わらせ、資料のアップデートを行いました。ただし、この時点ではまだ人様には見せれるクオリティではないなとおもっていたので、ハードウェアからプログラムまで全部作り直す気でいました. それもそのはず、卒研のために色々実験してたんですけど、精度が若干良くなかったり、構造が甘々過ぎてそれが原因でぶっ壊れることもあったため、本番でやらかしたら説得力がないなぁと思ったからです。実際には、若干センサーの構造を変えてグローブに実装したり、研究室の先輩に手伝ってもらいながら,ライブラリの全改修を行っていました。

東京来てからの

一応しっかりした番組なのでリハーサルをしないといけません。最初はリモートでリハをやって、本番はRealityのスタジオで撮影するという流れだったのですが、「何が何でも東京に行って交流したい(ついでにホロライブのストアと電子部品の補充がしたい...!)」という感じで無理言ってリハの前日から東京入りさせていただきました。久々の東京で、乗る電車間違ったりしましたが無事拠点に到着、するとしらい先生がお時間を作ってくださり、ご飯をご一緒させていただけることになりました。油そばをすすりながら、今回のコンテストについての話をしていたのですが、色々自分のことを聞いてくださり「しっかり自分のことを言わないといけないぞ」と言われていました

f:id:Yuzuka4573:20200223021104j:plain
しらいせんせいとぼく

自分のこと

話は脱線しましがここでその「自分のこと」について書こうと
Twitterではリアルな写真も上がっていましたが、もともとは中学卒業まではクラシックバレエダンサーだったんですよね。流石に今は踊るともれなく体壊しますが、飛んだり回ったりしてた少年でした、まぁ色々あってバレエをやめて、IT関連の趣味をやり始めたと記憶してます。モロに「電脳コイル」のせいだだったというのもあって、IoTやARについての関心が強く、いつかはそんな事できるエンジニアになりたいなぁと夢見てました。VRとかやり始めたのは大学2年目、留年して1回生をもう一回していたときです。今所属している研究室の先生に未踏でARグラス作りたいからそれのメンターやってくれと頼んだのがきっかけでした。結局未踏の話は、同じ仲間が急にやる気をなくし、なくなり、ついでに僕も留年というのでなくなり、その事を言うと「雇ってやるから研究手伝ってよ」という感じで居候として所属が決定、今日までメンバーとして自分の研究や先生の研究をやるようになったという。その後はポートフォリオ(リンク)をみてもらえばわかるんですけど、色々手を出して、よくわからない人間になりました。
ちょっと時間が立ってからVTuberのエンジニアをやるようになり、機材を揃えていく中、機材が高くて変えなかったりして苦労したことを覚えています。その関係で何でも作りたい欲がいっぱいだったので車輪の再発明しながら地道に学んでいったって感じです。
あとモーショントラッキングの興味に関しては去年2月にあったIEEE VR OSAKAのこれまたしらい先生のセミナーにてSIGGRAPH Asiaでのでも映像を見たんですけど、その時「おっさんがモーショントラッキングで可愛いムーブしてるぞ…!?」みたいな衝撃を受けて、アバターすげーとも思ったし、モーキャプってリアルだなぁって思ったことを今でも覚えてます。多分それがなかったら今より本気にはやってなかったかもしれない説。ああ、もちろんバレエ関連もありますよ。母親が唐突にプロジェクションマッピングしたいからシステムを（無料で）つくれ、みたいなやつ。モノも金もないからだめって断ってましたけど。

リハの話

そんなバックグラウンドはおいておいて、リハですよ。リハはRealityStudioにて行われました。午後の時間に集められて、台本読み、場当たり、通しでやるなど、舞台経験ある僕ではまぁ普通ですが、ちょっと異様なリハーサルをしました。だって半分以上はHMDかぶってｱｯﾁの世界で色々やるんですから。色々な装備をつけてやりましたが、なかなか体力使いますね…若いはずなのに…。そんなことはともかく4時間ほどｱｯﾁの世界に潜ってリハをやり、解散。解散後はしらい先生と番組アシスタントさん、あとは石井さんと一緒にご飯食べつつ、本番楽しみだよねとお話させていただきました。

本番の話

さてさて、本番当日でございます。我々学生チームはだいぶ早い時間帯から台本確認や場当たり、直前リハなどやりました。リハーサルのときとだいたい同じですね。それから数時間して審査員の方々が続々と現場入りし、機材と戯れていましたが、一方で学生チームはそんな和気あいあいな声を聞いてビビっていましたｗまぁ僕は成果物の調整もやっていましたが…

さてさてそんなことしている合間に本番へ…実際本番まであっという間でした。
本番の発表については見ていただいたとおりです。
個人的には一番ラフな発表をしたなぁって感想です。というのも、発表する機会は今までたくさんあったのですが、やっぱり回数重ねていくごとにどんどんのっぺりしたものになっていたので、やっと調子が戻ってきたかなぁって印象でした。

ちなみに発表での審査員からの質問とその回答
Q。モーションキャプチャって得意不得意があると思うんですけど、今回の提案の不得意なことってなんですか?(DJ RIOさん)
A。ストッキングを強化しているがそれでもまだ脆い。また、従来のものと同じく、手の骨格に合わせないとよりより効果が得られない。前者についてはすべて簡単な素材、製法のため置き換えが容易. 後者については検討中です
Q。試作品段階でいくつかできていると思うんですけど、実際に使ってみた事例があれば教えて下さい(ちょまどさん)
A。それについてはTwitterに上がっているデモを見ていただければ…！


Q。今の所、耐久性はどのぐらいの時間持ちそうですか？(杉山学長)
A。耐久性については今の所24時間ほどは突破しています
Q。今のところは手のひらと指の間にセンサを置いているって感じですか？(杉山学長)
A。関節の手前に開発したセンサを1つずつ配置です。なので今の試作段階では指の第一関節前に1つずつ配置しています Q。いつも屋敷で一人で動画を作っているのだが、最終的にこのシステムはワンオペで使えるのだろうか？(九条林檎さん)
A。ワンオペは可能です。なぜなら、(グローブを)つけてグーパー、グットとパーを1，2回するだけでキャリブレーションが終わるからです
Q。空手家は指の細かい技が多いんですね。それをやりたいんですが、例えば親指の第一関節のみ曲げるとかあるんです。前にハンドトラッキングを試したことがあるんですが、第一関節だけ動かすのが難しいんですけど、精度的にどうなんでしょうか？(眠居ふわりさん)
A。従来のグローブはセンサ1つで指1本を制御している事が多いのだが、ただし今回のセンサでは10mm x 10mmとなっているため、関節ごとにつけることが可能になっています。なので第1関節だけ、第2関節だけ曲げることも可能
Q。ストッキングの色とかで精度って変わるか実験しましたか？(みゅみゅさん)
A。本発表では触れてませんでしたが、黒だったりナチュラルカラーだったりでセンサー値が変わることがあります。そのため今回ではナチュラルカラーを採用しています
Q。続きなんですが、何色が一番良かったですか？(みゅみゅさん)
A。現状ではダイソーで売られているナチュラルカラーのストッキングが最高でした！！！

ここで他の人の話についても触れていきたいなと
新保さんはVRCにおけるコミュニティと経済圏の調査についての話をしていました、500人規模でアンケートを行い、VRC民が何を考えながら遊んでいるのか、その周辺を取り巻く経済圏は何が合って度のタイミングで動いたかについて細かく話していた印象でした。
個人的にはVTuber系の話で文系の方がいるのがとても珍しくビビっていました。また、調査項目の多さに衝撃を受けてて、実はリハ時点では5分じゃ収まらないというか10分あっても無理じゃない？ってほどの情報量が詰め込まれていました。分析もしっかりできていて、強いなぁという気持ち

石井さんは胸像を用いたアバター交流体験の提案ということで、ミラーディスプレイをつかってリアルの絵にVTuberを写して存在感を高めるコンテンツの話をしました。この方がハードという意味では一番近い方ですが、存在感を感じさせるサイネージって感じでした。ミラーディスプレイを使った普通のコンテンツについてはよくあるんですけど。それをVTuberと一緒にいる体験のために工夫するというのが良さ味があるなぁと思いました。それこそAzureKinectが出たらもっと楽しくなりそうだからぜひ提供してあげてほしい(正直僕もAzureKinectで遊びたい…)

劉卓さんは、アバターファッションデザインといういことでVroidを活用してきせかえが容易なVTuberの衣装デザインについて話しました。普通の服を仮想世界に持っていくと急にダサくなる、もっと世界にあった服を着るべきという話で、実際にデザインしたものも含めて紹介してました。VTuberの技術と言ったらやっぱり外せないデザイン領域。すごくVTuberらしいデザインとVroidを使ったラピットに作っていくという話が聞けて、やっぱ特殊だしいないといけない存在だなぁって再確認しました。

ピデオ発表でMilaさんは日本と西洋VTuberアイデンティティの比較という話して、日本と西洋でのVTuberのキャラクタ属性や配信などについての比較をした話を発表しました。VTuberの文化はもう日本だけではなく徐々に世界に進出していっている中で、比較を指定いき、性質などを示しているいい発表だと思いました。改めてわかったのは日本人は萌えを未だに求めていること、やっぱりかわいいは正義っていうことかなと。それをみて憧れる海外の方がいて頑張って文化を作っていることに尊敬するし、お互いに交流できる機会があればいいなぁって考えさせられました。

結果としては、最優秀賞ということで初代VTCのチャンピオンになっちゃいました。 ついでに例の壁にサインしてきました

おもいとか

一応プレゼンの最後でも言ったんですが、今回やって考えてほしかったのが、現状R&D以外に関してはハードウェア、ソフトウェアって別々に動いている印象が強いなぁと感じています。僕自身は、残念ながら就活失敗した挙げ句、数字の読み間違えで1つ単位少なくてもう半年4回生を続ける身になってしまいましたが、面接とかでどうしても押したいものを1つにしてこようとしてくる人たちに対して疑問しかないです。まぁ、それでVtuber事務所とか普通のVR系の企業とかから、お祈りされたりしたんですけど… 日本国外では、マルチスキルな方が、複合的な領域で活躍しているのになぜ1つに集中、属人化させるのか理由があまり理解できていません。正直な話をすると、僕自身も複数領域に生きる人間をしてしまっているせいで、単発だけだと割と攻撃力がない人間になってしまっています。もちろん各要素のレベルアップは図ろうとしますが、もどかしい気持ちになったりと、色々混乱することが多々あります。そんな悩みの答えを見つけるために北海道を出て色んな人と交流していきたいなと考えています。ただし、試される大地、北海道にいるせいか、外に出るのも一苦労(交通の面と金銭的な面で)というので悔しい思いをしていましたが、とりあえず一回出れたのでそれは成果かと思いました。
もう少し欲を言うのであれば、色んな人に関わってもらって化学反応を起こしたいなぁと思っていました。支援金もらうとか、人とつながるとか、プロジェクト立てるとか…残念ながら僕自身だけではそこまでできないというのもあって、このあともなかなか苦しく辛い戦いが待っているかなと思っていますが、とりあえずはもうちょっとたってから、活かすか殺すかを考えようと思いました。

最後に

クソ駄文書きましたが、結果としてまだまだ物足りないです。とりあえずこのあとは、まだ自分で改良して、人にテスターを渡せるぐらいのものを組みたいなと思います。システムも書かなきゃ。またVTC19みたいな機会を逃さずに参加して表現していけたらなと思います。 今回は応援してくださった、VTC19を見てくれた視聴者さん、審査員の皆様、しらい先生、一緒に戦った4人に最大限の感謝をしたいです。

次回は、もうちょっとマシにしたグローブをもって表現を高めたいですね。

※今回のグローブの話、それ以外の話(就職、お仕事とか、コラボレーション)でも何かあればTwitter(@kagamine_yu)とかにご連絡ください！！！とりあえず半年は学生しているので！！！

2019を振り返ろう

Hello world from REAL world !!! こんにちはYuzuka4573です

大晦日です、みなさんどう過ごしてますか？ 僕は、19時ぐらいからクソ眠くなってきて寝て年越ししそうです、しないけど あと一応、学生生活最後の活動として VtuberTechChallengeに参加しようと約10時間のRTA中です、RTAinJapanもびっくりなRTAです ちなみにレギュレーションは採用Any％です、応援してください

今年は4年ということで色々激動かつ身動きが取れない年だったなぁと思いました お手伝いしてた某Vのエンジニアがクビとなるところから始まり、卒業研究に没頭する毎日 夏休みはVRと関係ないハードウェア関係で某クックなパッドを作ってる会社でライン工1ヵ月やってみたり あぁ、あと国内、国際で学会にも行きましたね、オーストラリアクソ楽しかった

フリーのしごとも復帰して絶賛闇落ち中、だってエンジニアの気持ちわかってくれてないもん(お前も一般人の気持わかるの？)

いろんないい人や悪い人にあったなぁと思うけど、やっぱりいちばんに思うことは 何事も動くの遅かったなぁ って後悔してます

徐々に仲間が消えてくるのも悲しいよね、あいつら、東京でよろしくやってるんだろうなぁ… 彼らみたいな優秀な人間にはなれそうにないなぁ 一体どこに落ちていくかよくわかんない

あと1年早かったらもうちょっとマシな動きができてたかもしれないと思ってます 自分より技術的、人間的に上の人がいないとモチベが上がらないことを理解してから、一部の環境では最高のパフォーマンス出せなかったなぁと思いつつ 今いるとこでのそこそこのベストを出したのかなぁと

Vtuberやってみる稼業の方もそろそろ1年になりますけど、色々下の人間は下の人間の悩みもあるなぁって実感 やっぱり、技術者は周りにいないと発展しないよ、hogehoge上がりの人間なんて頼りにならない、むしろ蹴落とさなきゃいけないんじゃないかな？(？)

正直ここに来ていろんな将来が不安、まぁ内定無いしね 地域の差とか機材の差で注目されない感もあるし、無駄に変なスキルを持ちすぎてヤバイやつ（言葉の意味通り）認定食らったりして損してるので、真人間になる方法を模索したいなぁ でも、やっぱ楽しくない会社は嫌だなぁ 晩年フリーも多分やっていけなさそう（Ref: 現在）

親もそろそろプレッシャーを掛けてくる時期なのでそこそこ頑張って道を模索したいな

他人から見た僕の強みって一体なんだろう？（キチガイさ？ｗ）

ところで、1/3は僕の誕生日なんですよ 皆さん、誕生日プレゼント待ってます 来ない気もするけど (液体類は間に合ってます)

https://www.amazon.jp/hz/wishlist/ls/16O0ID2OCHRVH?ref_=wl_share

唐突に大学の女装コンテストにバーチャル出場した話

はじめに

Hello world from virtual/real world !!
どうもこんにちは、知る人は知るYuzuka4573でございます
12月にもなってしまい、あと1ヶ月、どう過ごさなきゃいけないか考えないと行けなくて死にかけています
ところで12月といえばｸﾘｽm... あっ！FUNアドベントカレンダーの時期ですね！！！！！
僕は某猫の人にさそわれてホイホイ記事を書きながらフリーランスの仕事とか色々励んでおります
ということで今回は "唐突に大学の女装コンテストにバーチャル出場した話" ということで、あの謎のバーチャル美少女の秘密に迫っていきたいと思います!!

予防線

今回の記事は以下の要素を含みます、もしこの記事をみて気分を害してもYuzuka4573は全くの責任を負いません
- 弊学の最高級に頭おかしい人の発想
- 思っていたよりもダークな世界
- 知りたくないのに見せられる情報

"それ"は突然やってくる

す べ て の は じ ま り
唐突にこんな事つぶやいているととある学生が僕に話しかける
「Yuzukaセンパイ、前twitterで言ってたバーチャル女装してくれないんですか？？？」

その時は、「え～モデルできたらね～ｗｗｗ」って言ってそんなに参加する気はなかった、というよりは誰かをバーチャル女装したいなぁっていう気持ちだった
Ref : tweet

そして2ヶ月の時が流れ…
(だいたいC社インターンのせい)

DMみて
とある学生「今からでも可能ですけど、出ます…？」(原文ﾏﾏ)
おい、まじかよ、本気で俺をやけどさせる気か？？？？？
＞＞＞でもなんか楽しそうだからいいや＜＜＜
(あちらの技術的な話はなしとして)

という形で、その時期は外でやるか、中でやるかも決まってない段階なのに参加を決意しました

モデルの用意

出ることが決まってしまったからには準備しないといけません、モデル、配信機材、配信環境、本番の環境…やることたくさんです

モデルに関しては、ちょうど野暮用のために女性モデルをしっかり作ってました、お値段なんと2.5万円！
しっかりクリエイターにはお金を払っていくスタイルなので投資的な感じでササッと頼む
しっかりイメージ絵は書きます！こんなかんじに

Image from Gyazo

絵描きじゃないんでクソ汚い絵でございます、いつもすみません…

そんなこんなで上がった写真がこちらでございます

Image from Gyazo 5000兆倍美化されているんだよなぁ… さすが絵師プロだよ

そんなこんなであとは知り合いのLive2D師に頼んでこんな感じに動かしました

Image from Gyazo

なんだかんだで初アニメーションもあり、なかなかな出来になりました

声ってどうするの？

モデルが作り終わって、困ること、それは声です そのまま男の声を出してもいいんですけど、自分の声はあんまりきれいじゃないので、ここはプロのボイチェン師のお力を借りました そうです、sit...

やめておきましょうか…
ボイスチェンジャーの構成について解説します
使っているものは みんな大好きReaper、みんな大好きVSTのRoove、定番の仮想サウンドドライバのYamaha NetDuettoです PCはどこのご家庭にもあるGeforce1070搭載のラップトップです

構成図的にはこんなかんじ

Image from Gyazo

割とシンプルである
そして、声を変える上で重要なのは元の声である

地声を女声に変換するのにはだいぶ限界があるのでここはちょっと大変ですが裏声チックな、高い声を出します
この方式をメラニー法とか言うらしく

メラニー法とは、ボイストレーニングにより女声を出す方法。 トランス女性が、外科的処置に頼らずに訓練によって声の性適合を行う場合に習得することが多い。 自身も性同一性障害者であるアメリカのメラニー・アン・フィリップス (Melanie Anne Phillips)によって開発された。
wikipediaより引用

これ割と大変で、常時高い声出しながら喋ったりするので、喉に負担がかかりまくります
水とか飲みまくりながら数日間練習してとりあえず習得しました～

コンテストの打ち合わせにて…

女装コンテストの打ち合わせが学祭の数日前にあったんですけど、すごく視線が痛かったです
「お前女装すんの？？？？」みたいな感じで
設定としては、女装する人の補佐をする人ポジで参加しました

一応プロの音響さんと当日の打ち合わせするんですが、ひっきりなしに「本人いないんですか…？」って聞かれてました

当日の構成

そんなことはさておき、当日のシステムです

Image from Gyazo

正直割と複雑
ネットワークは大学のネットワークを借りてDiscordのビデオ通話しました
現地のテレビ等の設営は(B1の)スタッフにまかせて、僕は別の静かな場所でその時を待ちましたが…
こんななんじの設備
Image from Gyazo

ここでトラブル発生
Image from Gyazo

音関連が完全にオフラインになる…
前日は1時間ぐらいかけて入念に確認をしていたのですが、やっぱり本番で起きてしまいました
おかげで10分ぐらい時間を使ってやっと発表できました

その後も若干問題あって、会場の音がこもりにこもりまくって何も聞こえないという…
ここは仕方なく、他の人に別の通話アプリで音を拾ってもらって質疑応答してました
結局ラグが酷くて質問受けて3-6秒かかって返答できるって感じで不完全燃焼感

女装コンテストを終えて…

女装コンテストを終えて、まぁ結果発表とかあるんですけど、正直期待してないんでそれなりの評価でした
むしろ未来感ちょっとある試みができてよかったなぁと
来年以降こんな事する人いないことを説に願う…

あと、あとで女装コンテストの担当の子に誘ってすみませんでしたと謝罪来ちゃった
そんな事しなくてもいいのに～って感じで返したけど

今後の展望

やっぱり演者と表示する場所は同じ場所がいいかなと思った、質疑応答のリアルタイム性を求めるなら
そのためにも、外の環境音を拾わない音響を整備する必要はあるかなと
あとは、もうちょっとキャラクターを動かしたいなと
今回は手を振るモーションだけだったけど、決めポーズとかも設定するのいいかも

次やるひとは、もっとヲタクを仕留められるキャラクター、声を目指して頑張ってください！！！！！！！
知見はあるので相談もしてきてください！！！！！！！！

さいごに

いかがだったでしょうか？(完全テンプレ)
大学生活でここまで趣味さらけ出すことはなかったのでまぁいいなと、まだまだ本気ではないけど
悔いなく残りの期間を生活したい所存
ぜひ色んな人と交流していきたいので気軽に声をかけてくださいまし

あとお金ないんで救援物資や現金、金塊待ってます！！！！！！！！！！！！！

www.amazon.jp Image from Gyazo