異彩の劣等生の駄文入れ

人間じゃない劣等生の駄文を書く場所、品質の悪い技術の話ばっかりするのでまさかり飛ばさないで

VTechChallenge 2019 に参加して優勝した話

Hello world from Virtual world !!
どうもこんにちは、Yuzuka4573です

さて今回の記事は,2020年2月21日にRealityにて配信された、GREE VR Studio Lab主催の VTechChallenge 2019について書いていきたいと思います。

そもそもの始まり

こいつは、去年の9月までさかのぼります。 このときは、所属する研究室で自分と先輩がVRSJ2019に発表に行ってました。もちろん、あのストッキングの研究で。そのときにランチタイムセミナーでしらい先生がいらっしゃって、Realityの話とか、Labの話をしていてお声掛けさせていただいただきました。そこで「お時間あれば、このあとポスター発表でいるのでぜひ見に来てください！」といって、見に来てもらったはず… 対応時間終わり間際にしらい先生御一行様がいらっしゃって説明を聞いてくれて、少し表現関係のアドバイスを頂きました。その際に「GREE VR Studio LabのTwitter見てくれよな！面白いことやるから」と教えてもらいVTC2019がリリースされたという流れです。

最初は出す気なかった件

紹介もらっていたものの、一応卒研生だったため、研究したり、論文書いたり、11月にはVRST2019に参加する予定もあったので、体力的にも、研究の進捗的にも出してもだめだろうなぁって思って,あきらめムードな感じでした。自分自身、評価が極端で、その時の自分の研究の評価的には「全く意味不明な研究、実用性少しだけかな？」とだいぶ下に感じていたので、どうしても乗り気にならなかったという.

VTC2019応募 Any% RTA

そんな良くない気持ちでズルズルと研究していたんですが、11月にあったVRST2019で、質問してくれたり、アドバイスをくれる外国人の方（9割外国人なので当たり前なんだけど）がちょいちょいいらっしゃって「あっ、なんだかんだで面白いのかもしれない？」と思えるようになりました(A○○leのエンジニアさんとかも見に来てたし)。その頃から、若干進捗が生まれたり消えたりしていて、個人的には楽しいく、研究室的には早く実験して論文書き上げろとヒヤヒヤし始める時期となっていました。学んでいることの性質上、締切ギリギリまでやらないで（またはズルズルゆっくりやって）1週間で勝負する的なことをよくやっていたので、年末は実装でバタバタしてました。
実家に帰ってYoutubeでVTuberの配信を見ていると、その日は大晦日。Twitterを見るとGREE VR Studio Labが締め切りまでHoge時間としきりにつぶやいているのを見て、そういえばと思い出す。一瞬に色々考えました。VTC19に応募して卒研無いしVTC19に時間が避けずにミスるのは良くないなと。最悪卒業できずに色々詰みそうとある意味ビビってましたが、基本イベント、大会に対して行きたいし爪痕残したいと思う奴だったため、卒研サボりながら資料作って送りつけてました。

応募後からのあれこれ

応募したあとは、ただ純粋に待機するだけでした。しかし僕に限っては、追加資料の追加が超ぎりぎりになるという自体に発展しました。結局指定された日が終わるギリギリに出したのかな？本当に申し訳ないなと思ってます。(なお、卒研の締切もそれぐらいだったので実際はもっと炎上してた)その後軽くフィードバックをもらいつつ、卒研を終わらせ、資料のアップデートを行いました。ただし、この時点ではまだ人様には見せれるクオリティではないなとおもっていたので、ハードウェアからプログラムまで全部作り直す気でいました. それもそのはず、卒研のために色々実験してたんですけど、精度が若干良くなかったり、構造が甘々過ぎてそれが原因でぶっ壊れることもあったため、本番でやらかしたら説得力がないなぁと思ったからです。実際には、若干センサーの構造を変えてグローブに実装したり、研究室の先輩に手伝ってもらいながら,ライブラリの全改修を行っていました。

東京来てからの

一応しっかりした番組なのでリハーサルをしないといけません。最初はリモートでリハをやって、本番はRealityのスタジオで撮影するという流れだったのですが、「何が何でも東京に行って交流したい(ついでにホロライブのストアと電子部品の補充がしたい...!)」という感じで無理言ってリハの前日から東京入りさせていただきました。久々の東京で、乗る電車間違ったりしましたが無事拠点に到着、するとしらい先生がお時間を作ってくださり、ご飯をご一緒させていただけることになりました。油そばをすすりながら、今回のコンテストについての話をしていたのですが、色々自分のことを聞いてくださり「しっかり自分のことを言わないといけないぞ」と言われていました

f:id:Yuzuka4573:20200223021104j:plain
しらいせんせいとぼく

自分のこと

話は脱線しましがここでその「自分のこと」について書こうと
Twitterではリアルな写真も上がっていましたが、もともとは中学卒業まではクラシックバレエダンサーだったんですよね。流石に今は踊るともれなく体壊しますが、飛んだり回ったりしてた少年でした、まぁ色々あってバレエをやめて、IT関連の趣味をやり始めたと記憶してます。モロに「電脳コイル」のせいだだったというのもあって、IoTやARについての関心が強く、いつかはそんな事できるエンジニアになりたいなぁと夢見てました。VRとかやり始めたのは大学2年目、留年して1回生をもう一回していたときです。今所属している研究室の先生に未踏でARグラス作りたいからそれのメンターやってくれと頼んだのがきっかけでした。結局未踏の話は、同じ仲間が急にやる気をなくし、なくなり、ついでに僕も留年というのでなくなり、その事を言うと「雇ってやるから研究手伝ってよ」という感じで居候として所属が決定、今日までメンバーとして自分の研究や先生の研究をやるようになったという。その後はポートフォリオ(リンク)をみてもらえばわかるんですけど、色々手を出して、よくわからない人間になりました。
ちょっと時間が立ってからVTuberのエンジニアをやるようになり、機材を揃えていく中、機材が高くて変えなかったりして苦労したことを覚えています。その関係で何でも作りたい欲がいっぱいだったので車輪の再発明しながら地道に学んでいったって感じです。
あとモーショントラッキングの興味に関しては去年2月にあったIEEE VR OSAKAのこれまたしらい先生のセミナーにてSIGGRAPH Asiaでのでも映像を見たんですけど、その時「おっさんがモーショントラッキングで可愛いムーブしてるぞ…!?」みたいな衝撃を受けて、アバターすげーとも思ったし、モーキャプってリアルだなぁって思ったことを今でも覚えてます。多分それがなかったら今より本気にはやってなかったかもしれない説。ああ、もちろんバレエ関連もありますよ。母親が唐突にプロジェクションマッピングしたいからシステムを（無料で）つくれ、みたいなやつ。モノも金もないからだめって断ってましたけど。

リハの話

そんなバックグラウンドはおいておいて、リハですよ。リハはRealityStudioにて行われました。午後の時間に集められて、台本読み、場当たり、通しでやるなど、舞台経験ある僕ではまぁ普通ですが、ちょっと異様なリハーサルをしました。だって半分以上はHMDかぶってｱｯﾁの世界で色々やるんですから。色々な装備をつけてやりましたが、なかなか体力使いますね…若いはずなのに…。そんなことはともかく4時間ほどｱｯﾁの世界に潜ってリハをやり、解散。解散後はしらい先生と番組アシスタントさん、あとは石井さんと一緒にご飯食べつつ、本番楽しみだよねとお話させていただきました。

本番の話

さてさて、本番当日でございます。我々学生チームはだいぶ早い時間帯から台本確認や場当たり、直前リハなどやりました。リハーサルのときとだいたい同じですね。それから数時間して審査員の方々が続々と現場入りし、機材と戯れていましたが、一方で学生チームはそんな和気あいあいな声を聞いてビビっていましたｗまぁ僕は成果物の調整もやっていましたが…

さてさてそんなことしている合間に本番へ…実際本番まであっという間でした。
本番の発表については見ていただいたとおりです。
個人的には一番ラフな発表をしたなぁって感想です。というのも、発表する機会は今までたくさんあったのですが、やっぱり回数重ねていくごとにどんどんのっぺりしたものになっていたので、やっと調子が戻ってきたかなぁって印象でした。

ちなみに発表での審査員からの質問とその回答
Q。モーションキャプチャって得意不得意があると思うんですけど、今回の提案の不得意なことってなんですか?(DJ RIOさん)
A。ストッキングを強化しているがそれでもまだ脆い。また、従来のものと同じく、手の骨格に合わせないとよりより効果が得られない。前者についてはすべて簡単な素材、製法のため置き換えが容易. 後者については検討中です
Q。試作品段階でいくつかできていると思うんですけど、実際に使ってみた事例があれば教えて下さい(ちょまどさん)
A。それについてはTwitterに上がっているデモを見ていただければ…！


Q。今の所、耐久性はどのぐらいの時間持ちそうですか？(杉山学長)
A。耐久性については今の所24時間ほどは突破しています
Q。今のところは手のひらと指の間にセンサを置いているって感じですか？(杉山学長)
A。関節の手前に開発したセンサを1つずつ配置です。なので今の試作段階では指の第一関節前に1つずつ配置しています Q。いつも屋敷で一人で動画を作っているのだが、最終的にこのシステムはワンオペで使えるのだろうか？(九条林檎さん)
A。ワンオペは可能です。なぜなら、(グローブを)つけてグーパー、グットとパーを1，2回するだけでキャリブレーションが終わるからです
Q。空手家は指の細かい技が多いんですね。それをやりたいんですが、例えば親指の第一関節のみ曲げるとかあるんです。前にハンドトラッキングを試したことがあるんですが、第一関節だけ動かすのが難しいんですけど、精度的にどうなんでしょうか？(眠居ふわりさん)
A。従来のグローブはセンサ1つで指1本を制御している事が多いのだが、ただし今回のセンサでは10mm x 10mmとなっているため、関節ごとにつけることが可能になっています。なので第1関節だけ、第2関節だけ曲げることも可能
Q。ストッキングの色とかで精度って変わるか実験しましたか？(みゅみゅさん)
A。本発表では触れてませんでしたが、黒だったりナチュラルカラーだったりでセンサー値が変わることがあります。そのため今回ではナチュラルカラーを採用しています
Q。続きなんですが、何色が一番良かったですか？(みゅみゅさん)
A。現状ではダイソーで売られているナチュラルカラーのストッキングが最高でした！！！

ここで他の人の話についても触れていきたいなと
新保さんはVRCにおけるコミュニティと経済圏の調査についての話をしていました、500人規模でアンケートを行い、VRC民が何を考えながら遊んでいるのか、その周辺を取り巻く経済圏は何が合って度のタイミングで動いたかについて細かく話していた印象でした。
個人的にはVTuber系の話で文系の方がいるのがとても珍しくビビっていました。また、調査項目の多さに衝撃を受けてて、実はリハ時点では5分じゃ収まらないというか10分あっても無理じゃない？ってほどの情報量が詰め込まれていました。分析もしっかりできていて、強いなぁという気持ち

石井さんは胸像を用いたアバター交流体験の提案ということで、ミラーディスプレイをつかってリアルの絵にVTuberを写して存在感を高めるコンテンツの話をしました。この方がハードという意味では一番近い方ですが、存在感を感じさせるサイネージって感じでした。ミラーディスプレイを使った普通のコンテンツについてはよくあるんですけど。それをVTuberと一緒にいる体験のために工夫するというのが良さ味があるなぁと思いました。それこそAzureKinectが出たらもっと楽しくなりそうだからぜひ提供してあげてほしい(正直僕もAzureKinectで遊びたい…)

劉卓さんは、アバターファッションデザインといういことでVroidを活用してきせかえが容易なVTuberの衣装デザインについて話しました。普通の服を仮想世界に持っていくと急にダサくなる、もっと世界にあった服を着るべきという話で、実際にデザインしたものも含めて紹介してました。VTuberの技術と言ったらやっぱり外せないデザイン領域。すごくVTuberらしいデザインとVroidを使ったラピットに作っていくという話が聞けて、やっぱ特殊だしいないといけない存在だなぁって再確認しました。

ピデオ発表でMilaさんは日本と西洋VTuberアイデンティティの比較という話して、日本と西洋でのVTuberのキャラクタ属性や配信などについての比較をした話を発表しました。VTuberの文化はもう日本だけではなく徐々に世界に進出していっている中で、比較を指定いき、性質などを示しているいい発表だと思いました。改めてわかったのは日本人は萌えを未だに求めていること、やっぱりかわいいは正義っていうことかなと。それをみて憧れる海外の方がいて頑張って文化を作っていることに尊敬するし、お互いに交流できる機会があればいいなぁって考えさせられました。

結果としては、最優秀賞ということで初代VTCのチャンピオンになっちゃいました。 ついでに例の壁にサインしてきました

おもいとか

一応プレゼンの最後でも言ったんですが、今回やって考えてほしかったのが、現状R&D以外に関してはハードウェア、ソフトウェアって別々に動いている印象が強いなぁと感じています。僕自身は、残念ながら就活失敗した挙げ句、数字の読み間違えで1つ単位少なくてもう半年4回生を続ける身になってしまいましたが、面接とかでどうしても押したいものを1つにしてこようとしてくる人たちに対して疑問しかないです。まぁ、それでVtuber事務所とか普通のVR系の企業とかから、お祈りされたりしたんですけど… 日本国外では、マルチスキルな方が、複合的な領域で活躍しているのになぜ1つに集中、属人化させるのか理由があまり理解できていません。正直な話をすると、僕自身も複数領域に生きる人間をしてしまっているせいで、単発だけだと割と攻撃力がない人間になってしまっています。もちろん各要素のレベルアップは図ろうとしますが、もどかしい気持ちになったりと、色々混乱することが多々あります。そんな悩みの答えを見つけるために北海道を出て色んな人と交流していきたいなと考えています。ただし、試される大地、北海道にいるせいか、外に出るのも一苦労(交通の面と金銭的な面で)というので悔しい思いをしていましたが、とりあえず一回出れたのでそれは成果かと思いました。
もう少し欲を言うのであれば、色んな人に関わってもらって化学反応を起こしたいなぁと思っていました。支援金もらうとか、人とつながるとか、プロジェクト立てるとか…残念ながら僕自身だけではそこまでできないというのもあって、このあともなかなか苦しく辛い戦いが待っているかなと思っていますが、とりあえずはもうちょっとたってから、活かすか殺すかを考えようと思いました。

最後に

クソ駄文書きましたが、結果としてまだまだ物足りないです。とりあえずこのあとは、まだ自分で改良して、人にテスターを渡せるぐらいのものを組みたいなと思います。システムも書かなきゃ。またVTC19みたいな機会を逃さずに参加して表現していけたらなと思います。 今回は応援してくださった、VTC19を見てくれた視聴者さん、審査員の皆様、しらい先生、一緒に戦った4人に最大限の感謝をしたいです。

次回は、もうちょっとマシにしたグローブをもって表現を高めたいですね。

※今回のグローブの話、それ以外の話(就職、お仕事とか、コラボレーション)でも何かあればTwitter(@kagamine_yu)とかにご連絡ください！！！とりあえず半年は学生しているので！！！