ポケモンGOが「聴覚のAR」、次は鳴き声と物音でゲットだぜ《公式》

大塚和成です！！

 日経トレンディネット

ポケモンGOが「聴覚のAR」、次は鳴き声と物音でゲットだぜ

2018年10月に六本木ヒルズで開催された「INNOVATION TOKYO 2018 - AR PLAY GROUND WITH NIANTIC」で「Pokemon GO AR庭園」を体験した筆者。可能性を感じたのが「聴覚のAR」だ

　ここ半年ほどの間に、スマートフォン（スマホ）のゲーム「Pokemon GO（ポケモンGO）」でまた遊び始めたという人は多いのではないだろうか。筆者もその1人だ。普段ゲームを全くやらない筆者にとっては、非常にまれな出来事である。今日はそんな筆者が2018年10月に体験した、新たなポケモンGOの世界を紹介したい。

　※記事下の【関連記事】から日経トレンディネットの人気関連記事をお読みいただけます

　個人的には「非常に大きな可能性を秘めた技術がゲームの裏側でひそかに使われている」と感じたので、この場で取り上げることにした。「聴覚のAR（拡張現実）」である。

　今回、筆者が体験したのは、2018年10月12～21日に都内の六本木ヒルズで開催された「INNOVATION TOKYO 2018 - AR PLAY GROUND WITH NIANTIC」というイベントのなかの1つ、「Pokemon GO AR庭園」というアトラクションである。主催は六本木ヒルズを運営する森ビルと、ポケモンGOの開発元である米ナイアンティック（Niantic）。六本木ヒルズの敷地内にある「毛利庭園」という都会のオアシスのような緑豊かな公園に潜むポケットモンスター（ポケモン）を、「音」だけを頼りに捕まえるという全く新しい遊びだ。まだ一般にはリリースされていない、この期間限定の体験とあって、AR庭園はポケモンGOのファンで連日、大にぎわいとなった。

　イベントの初日、筆者は会社帰りに六本木ヒルズに向かった。当然、時間帯は夜。筆者はその日の最終組にギリギリ滑り込めた。筆者のように独りで来ている人は、ほかには誰もいない。家族連れやカップル、筆者と同じような会社帰りと思われる数人のグループと一緒にAR庭園の冒険に出かけた。

　こう書くと「川又は取材と称して遊んでいるだけだろ」と突っ込まれるかもしれない。否定はできないが、遊び半分/仕事半分といったところか。決して、単なるポケモンGOのプレーヤー（ゲームのなかでは「トレーナー」と呼ばれる）の1人として訪れたわけではない。AR庭園には筆者の大きな関心事である「人間の五感の拡張」という裏テーマがあり、それを記者として自分の体で直に確認しておきたかった。だから初日に出かけた。

　筆者は過去にも、人の視覚や聴覚、触覚といった身体能力を「拡張」する話を意識的に紹介してきた。今回は聴覚のARと呼ばれる体験であり、「耳をすます」ことでポケモンGOにまた1つ、新しい楽しみ方が加わった。近い将来、聴覚のARを採用したゲームが出てくるのは間違いないだろう。ゲーム以外にも、特にエンターテインメントの分野では使い道が多いと感じている。波の音を聴けば、自然と頭の中に海の風景が浮かぶように、音そのものは目には見えないが、明確なイメージを作り出す強いチカラがある。

　AR庭園は既に終了しているので、これから遊びに行くことはできない。この記事を読んで疑似体験していただき、聴覚のARに少しでも関心を持ってもらえればと思う。

　筆者の体験談を語る前に、聴覚のARを使ったゲーム体験に用いられているテクノロジーや原理に少しだけ触れておきたい。今回の聴覚のARを制作したのは、NianticとRhizomatiks Research（ライゾマティクスの研究開発部門）である。ポケモン社を加えた3社はこのところ、コンテンツ制作や演出で協業することが多い。今回、NianticとRhizomatiks ResearchはAR庭園という新しいフィールドを使って、ポケモンが発する音の再現に徹底的にこだわった。

　まず、園内のあちこちにポケモンが潜んでいるという状況を、鳴き声や物音だけで表現することに挑んだ。プレーヤーが声や音を聴き分けられるように、左右の耳に違う音が聴こえるようにしたのだ。左右で別々の音を鳴らしている。

　ただし、これだけでは前後の音の違いまでは再現できない。そこで、鳴っている音が頭や肩、周辺の物などに影響を受けながら耳まで届く現象を再現しようと「頭部伝達関数」と呼ばれる数式を音生成のアルゴリズムに適用したという。

　プレーヤーが庭園を動き回ったり、体の向きを変えたりしても、同じ場所から音が聴こえてくるようにする必要があった。それにはプレーヤーの位置と向きの情報が不可欠である。そこでビーコンで人の位置情報を、スマホの磁気センサーとジャイロセンサーで人の向きの情報をそれぞれ収集している。

　そのうえで、NianticのARプラットフォーム「ARDK」でコンテンツを制作した。聴覚のARは視覚のARよりも歴史が浅いので、かなり手の込んだ準備が必要になった。なお、後述する機器およびソフトの開発ではポケモン社やライゾマティクスに加えて、ambie（アンビー）とソフトバンクが協力している。

　説明はこのくらいにして、あとは写真中心に筆者の体験をつづっていこう。最初にお断りしておくが、筆者は夜間にAR庭園に行ったため、既に日は暮れ、周囲は真っ暗。しかも独りで訪れたので、AR庭園での写真の多くは自撮りだ。撮影条件も腕前も十分とはいえず、写真が見づらいことはご了承いただきたい。

　もっとも、夜間照明が少ない毛利庭園は、耳をすましてポケモンを探すという体験には打ってつけの場所だった。イベントは昼間も開催されていたが、筆者は夜に体験できて良かったと思っている。視覚が利かない暗闇では、耳を研ぎ澄まして周囲の音をしっかりと聴く必要がある。特定の知覚を鍛えるため、別の知覚を封印してみるというアプローチは昔からある。DJでもあるRhizomatiks Researchの真鍋大度氏は自らの聴覚を拡張したくて「目隠しをしたまま、半年ほど過ごしてみようと考えたこともあった」と明かす。人気歌手グループ「Perfume（パフューム）」のライブ演出などでも知られるRhizomatiks Researchは、とにかく音へのこだわりが強い。