# 第1章 バーチャルリアリティとは ## 1.1 バーチャルリアリティとは何か ### 1.1.1 バーチャルの意味 - 「Existing in essence or effect though not in actual fact or form」（米国継承英語辞典 第三版） 
             Supposed
                |
Virtual <--> Nominal
   |
  Real  <--> imaginary
### 1.1.2 バーチャルリアリティとその三要素 - VRの三要素 - 3次元の空間性：人間にとって自然な3 次元空間を構成している。 - 実時間の相互作用性：人間がそのなかで、環境との実時間の相互作用をしながら自由に行動できる。 - 自己投射性：その環境と使用している人間とがシームレスになっていて環境に入り込んだ状態が作られている。 - 目を開けるとちゃんとそこに自分の手がある。 ### 1.1.3 バーチャルリアリティと人間の認知機構 - a priori 先験的、先天的 - a posteriori 後天的、経験的、帰納的 - バーチャルリアリティでは人間の周りに別の空間ができあがると考え、テレイグジスタンスは、自分の方が別の空間に移動したと考える。 ### 1.1.4 バーチャルリアリティの概念と日本語訳 - 基本はバーチャルのまま。どうしても訳したいなら「人工現実感」。 ### 1.1.5 道具としてのバーチャルリアリティ - human tools for 3Cs and 3Es - Creation、Control、Communication - Elucidation、Education、Entertainment ## 1.2 VR の要素と構成 ### 1.2.1 VRの基本構成要素 - 出カシステム デイスプレイ - これはわれわれの感覚入力を模擬するための仕組み。 - 別の言い方をすればシステムからユーザヘ情報を流すための装置。 - VRの分野においては、すべての感覚レンジにわたってディスプレイと言う。 - 入力システム - 運動系を介してユーザからシステムヘ伝わる情報の流れを司る。 - データグローブのようなジェスチャー入カシステムを始祖とし、位置計測、身体計測などの技術と関連する方式が多用されている。 - シミュレーションシステム - 表面的に感じられる世界の裏側に深層的現実感が存在し、それを生成するための要素。極端に言えば、リアルタイムシミュレーションの仕組みが必要。 - 三つの構成要素が円滑に組み合わさり、感覚と操作のループがうまく構成されたとき、われわれは現実感を感じる。 ### 1.2.2 VR世界のいろいろ - 世界をより充実させようとする場合、その中に存在するさまざまな物体相互間の拘束関係や相互作用は、最初からスクラッチビルドしなければならない。 - ユーザがあたかもその遠方世界にテレポートしたかのような状況をテレイグジスタンスあるいはテレプレゼンスと呼ぶ。 ### 1.2.3 VRをどうとらえるか - AIP - A:Autonomy (自律性） - I:Interaction (対話性） - P:はPresence (臨場感） - VR世界とユーザとの関係は包含的な関係。 - VRにおける体験とはほとんどのヒューマンインタフェースと異なり第一人称体験。 - VRの場合、本質的なのは、あくまで身体運動との相似性が極めて高く、通常のインタフェースにつきものの記号的恣意性が、ほとんど存在しない。 ## 1.3 VR の歴史 - バーチャルリアリティという言葉が使われるようになったのは、1989年に米国のVPL社がEyePhone、DataGlove、DataSuitの宣伝文句が始まりと言われている。 - 約1万8000年前 - 南フランスのラスコー洞窟で発見された壁画。人々を現実世界から 離れた一種のバーチャル世界へ導く役割。 - 18世紀から19世紀にかけてヨーロッパで生まれた全天周絵画のパノラマ - イギリスの画家Robert Barkerによって始められた手法 - パノラマの発展形としてロール式の絵を巻き取りながら動かすことで、絵画を用いながら動画を表現するムービングパノラマ - マルセイユから横浜までの航路の風景を描いたMareoramaの作品 - ピッチングやローリングの動きを伴う客船型の観覧台が設けられ、送風機による潮の香りや照明による太陽の動きや時間の変化を提示する手法 - 1963 - 街中をバイクに乗って走り回る一種の体感型ゲーム「SENSORAMA」（M. Heilig） - 利用者が椅子に座ると目の前のディスプレイに立体ビデオ映像が映し出され、バイクで街中を移動するという状況の変化に応じて音響や椅子の振動、あるいはファンによる顔への風の提示、風景に合わせた臭いの提示などの仕組みが組み込まれていた。 - 1967 - CG映像に触ると言うコンセプトのGROPEプロジェクト - ノースカロライナ大学のF. Brooksら - このプロジェクトではマスターアームを力覚フィードバックの装置として用い、分子結合シミュレーションの結果として得られる分子間反力を力覚によって表現。 - 1968 - 最初のHMD - I. SutherlandがUltimate Displayという概念を提唱 - 小型のCRT に提示された映像をハーフミラーを介して見る光学式シースルーのシステムであったが、頭部には利用者の頭の回転を計測するための機械式のリンク機構が取り付けられていたのが特徴。 - 線画によって描かれた単純なCG映像 - 1969 - 鑑賞者の姿をビデオカメラで撮影し、作品の映像に合成あるいは反映させることで、鑑賞者が作品の中の物体を動かしたり、映像が鑑賞者に反応して動く「インタラクティブアート」。 - M. Kruegerが発表したMETAPLAY - M. Kruegerは1983年にArtificial Reality (人工現実感）を出版 - 1981 - 部屋全体をコンピュータの端末として利用し、利用者は椅子に座りながら壁面スクリーンに表示されだ情報を音声、ジェスチャー、ジョイスティックなどのインタフェースを使用して操作する方法を実現した。 - 「Media Room」(MIT Media Lab. - N. Negroponteら） - 1982 - ヘルメット型のHMD を用いた戦闘機用のスーパーコックピット「VCASS」 - 米国空軍のライトパターソン基地でT. Furnessら - ディスプレイコックピット内の電子機器の表示を行った。 - 1982 - スレーブロボットの視覚情報や力覚情報をマスター側の操作者に立体視映像や力覚フィードバックを用いて提示する「TELESAR」（機械技術研究所の舘障）によりテレイグジスタンスを実現した。 - 1983 - エグゾスケルトン型のインタフェースデバイスを装着し、立体視映像や力覚フィードバックを伴った直接操作を行うインタフェースを構築したテレプレゼンスロボット「Greenman」（米国海軍海洋システムセンター J. D.Hightower） - 1985 - 宇宙船内のコックピットの設計としてVirtual Environmentの概念の提案 - NASAのM. McGreevy、S. Fisherら - HMD、データグローブ、3次元音響などのデバイスや技術を用い、コックピット内の利用者の周りの3次元空間に。 # 2.ヒトと感覚 - 情動(emotion)とは? [脳科学辞典より](https://bsd.neuroinf.jp/wiki/%E6%83%85%E5%8B%95) - 感覚刺激への評価に基づいて生ずる 1. 生理反応（自律神経系、免疫系など） 1. 行動反応（接近、回避、攻撃、表情、姿勢など） 1. 主観的情動体験 の3要素からなる。 - この情動は短期的に生じる原初的な感情で、比較的強い反応と定義されており、中長期的にゆるやかに持続する強度の弱い気分（mood）とは区別される。また情動と気分の両者を総称して感情と定義することもある。しかしながら、情動と感情との区別にかかわる厳密な定義はなく、研究領域や研究者間によってその扱いが異なる点に注意が必要である。 ## 2.1 脳神経系と感覚・運動 ### 2.1.1 脳神経系の解剖学的構造と神経生理学の基礎 - 脳は大脳・小脳・脳幹に大分される。 - 大脳は大脳半球と間脳(視床・視床下部)からなる。 - 大脳皮質の皮下組織には、大脳皮質と視床と脳幹の間を中継する大脳基底核や情動・意欲・記憶・自律神経活動に関わる辺縁系が含まれている。 - 中心溝を境界として、後部の頭頂葉と後頭葉が感覚入力を受容する領域であり、前部の前頭葉が運動指令を出 力する領域とみなすことができる。 - 中心溝の後部の回は一次体性感覚野と呼ばれ、体の各領域に対応した体性感覚(somatic sensation) の受容区分があり、対応する全身像（ホムンクルス）を皮質上に描くことができる。これと同様に、中心溝の前部の回には一次運動野があり、体の領域に対応した運動指令を体の筋肉に向かって発する。 - 一次体性感覚野の後部には二次体性感覚野があり、より高次の信号処理がなされながら、頭頂連合野において、後頭葉に投射される視覚情報や側頭葉に投射される聴覚情報などの他の感覚情報と連合され、総合的な解釈がなされる。 - 頭頂連合野は空間知覚(space perception) に重要。損傷があると、遠近・上下左右の識別が困難となる空間定位の障害や知っているはずの地理がわからなくなる地誌的障害が起きる。特に 右頭頂連合野の障害では、視野が正常であっても空間の左半分を無視する半側空間無視を起こす。 - 網膜から入った視覚情報は外側膝状体（がいそくしつじょうたい）を経由して後頭葉の一次体性視覚野(V1)に投射される。両眼視差(binocular disparity)に対応する左右眼球からの神経経路の差は一次体性視覚野(V1)まで保持され、これより後方で立体知覚に利用される。一次体性視覚野(V1)より後の視覚情報の処理は、分業的・分析的に高次処理がなされて行き、運動の方向・回転などに選択性を持つ領域や、物体の形態認識や顔の認識に重要な領域が存在する。 - 一次運動野はそれより前方の運動前野と補足運動野に連結しており、これらの領域で運動の企図・計画や最適化がなされている。 ### 2.1.2　知覚・認知心理学の基礎 - 単眼手がかりとなるものには、絵画的手がかりや、経験的な物体の相対的大きさ、対象物の運動が距離によって異なることを使う運動視差、遠近で異なる水晶体厚さの調節などがある。 - 両眼手がかりには、輻輳(convergence)、両眼視差がある。 - 輻輳とは、両眼である点を凝視したとき寄り目になる状態を言い、両眼からの二つの視線と凝視点で作られる角（輻戟角）が凝視点までの距離が近づくにつれて大きくなることである。 - 両眼視差は同じ対象物から得られる両眼に対応する異なる画像のことであり、両眼に独立に提示したとき二つの画像が脳の中で融合して立体的に知覚される。 ### 2.1.3 感覚と運動 - あまりに遅い運動（視角にして1-2'/s以下）や速すぎる運動(35deg/s以上）も知覚できない。 - 流れる雲間から覗く月は静止しているにもかかわらず、運動して見える。このような現象は誘導運動(induced motion)と言う。 - 列車の窓から隣の列車が動き出すとき自分が移動したものと錯覚することがあるが、このような知覚を自己運動感（ベクション、vection)と言う。 - 二つの離れた線分が短い時間（約60ms) で交互に点滅すると、それらが移動して見える場合がある。この現象は仮現運動(apparent motion)と言う。 ## 2.2 視覚 ### 2.2.1 視覚の受容器と神経系 - 視細胞で光エネルギーを電気信号に。 - 錐体は明所視 - 桿体は暗所視 - 錐体は光波長の吸収特性の異なる3種に分かれる(S=青,M=緑,L=赤) - 可視放射 380nm～780nm(0.38μm～0.78μm) 網膜　┬ 外側膝状体　┬　皮質の一次視覚野 　┬　<背側路>(位置・運動) ─ 頭頂連合野 　　　└ 上丘　　　　　　　　　　　 　　　　└　<腹側路>(形・色) ─ 側頭連合野 - 外側膝状体 = LGN : Lateral Geniculate Nucleus - 一次視覚野で両眼の情報と両視野の情報が統合される。 - 網膜神経節細胞から上丘(superior　colliculus)へ至る皮質下経路(subcortical pathway) もあり、眼球運動の制御などに関与している。 ### 2.2.2 視覚の基本特性 - 同化は周囲の明るさと同じ方向に知覚が生じること。 - 対比は、周囲の明るさとの差を強調するように逆の知覚を生じること。 - 下に流れる滝をしばらく見ていて、隣の岩肌に眼を移せば、止まっているはずの岩肌が上って知覚される運動残効： motion aftereffect。 - 大きさの恒常性以外にも位置の恒常性や形の恒常性などさまざま。知覚が網膜情報そのものを写し取るのではなく外界の表象を創りあげている。 ### 2.2.3 空間の知覚 - 奥行き手がかりは、 - 眼球運動性のもの（調節： accommodation、輻輳： convergence) - 両眼性のもの（両眼視差： binocular disparity) - 単眼性のもの（様々な絵画的手がかり）に分けられる - 眼球運動性 - 調整は水晶体の厚みを制御する筋の状態が絶対距離の奥行き手がかりとなる。その効果はせいぜい1m程度までの距離内。奥行き手がかりとしてはそれほど強くない。 - 輻輳は、両眼で対象を注視する際に生じる両眼の内転・外転運動のことを指し、数 mの範囲の対象までの絶対距離の手がかりとなる。奥行き手がかりとしてはそれほど強くない。 - 両眼視差は、眼が左右に二つあることから生じる奥行きの違いによる像のズレであり、それだけで強力な奥行きを知覚させる。 - 頭部運動による視点位置の変化によ って網膜像に生じるのが運動視差(motion parallax) 。 - 単眼性絵画的手がかりとしては、遮蔽（重なり： occlusion)、遠近法(perspective)、テクスチャ勾配(texture gradient)、速度勾配(velocity gradient)、キャストシャドー(cast shadow)、陰影などの奥行き手がかりがある。 - 陰影は物体内の奥行き形状の知覚に貢献。 - キャストシャドーは、物体と背景との相対的奥行き距離を知覚させる。 ### 2.2.4 自己運動の知覚 - 網膜に投影された運動（オプティックフロー: optic flow) は、外界の物体・対象の運動からのみではなく、自已身体の運動・移動(self-motion, ego—motion)からも生じる。ゆえに、視覚は、網膜像の運動を、物体・対象の運動と自己の運動に分離・解釈する必要がある。 - 小さい領域のばらばらな運動や手前にある運動は物体・対象の運動として知覚される。ベクション(vection) は、このようにして視覚情報から生じる避けがたい自己運動感覚である。 - オプティックフローは、ベクションのみならず姿勢の揺れを誘発する（視覚誘導性身体動揺： visually-induced postural sway)。 - 視覚誘導性身体動揺は、ベクションよりも早く生じ、いくつか の特性はベクションとは異なるため、ベクションの客観的指標とするには問題もある。 ### 2.2.5 高次視覚 顔倒立効果の源は顔に対する過学習・親近性。 ## 2.3 聴覚 ### 2.3.1 聴覚系の構造 - 外耳と中耳は特定の周波数帯域を伝えやすい特性（伝達関数： transfer function) を持っており、これが聴覚系の周波数ごとの感度の違いの主要な規定因になっている。 - 内耳(inner ear) は、主に蝸牛(cochlea) と前庭(vestibular) および半規管である。 - 蝸牛はその外観のとおり、細長い管（蝸牛管）がカタツムリの殻のように巻かれた構造。 - 蝸牛管の中には、基底膜(basilar membrane) という膜があって蝸牛管を上下の階に分けている。 - この膜上に蝸牛管の入り口から頂に向かって長軸方向に並んだ多数の有毛細胞(hair cell) という器官によって中耳を伝わってきた振動（音情報）が神経信号に変換される。担当周波数は入口で高く、頂で低い。 - 成分の周波数は場所（どの有毛細胞か）と位相固定（神経パルスの時間感覚）で二重に符号化されていることになる。 - 神経信号に変換された音情報は、脳幹の神経核を中継し、枝分かれしながら側頭にある聴覚皮質に伝えられる。これらの聴覚の脳神経系の特徴は、中継される脳幹神経核の数が（視覚系と比べて）大変多いという点である。脳幹神経核は皮質に比べると一般に機能が特化されていることから、音情報をより多くの特徴に分解して並列して処理することで、高速化を図っていることがうかがえる。 ### 2.3.3 聴覚による高さ、大きさ、音色、時間の知覚 - 音の高さの知覚(pitch) は、音が正弦波の場合、その周波数と一対ーで対応している。 - 正弦波の周波数を低い方から順に上げていくと、絶対的な高さの知覚も上がっていくと同時に、2 倍（オクターブ: octave) の関係にある周波数同士が等価に感じられ、オクターブ毎に繰り返される周期が知覚される。 - 絶対的な高さをハイト(height) 、後者のオクターブ毎に繰り返される相対的・周期的な高さの知覚をクロマ(chroma) 。この知覚の二重性は蝸牛における周波数符号化の二重性に起因。 - 基本音(fundamental tone) とその整数倍の周波数の成分である倍音(harmonics) から構成される複合音の高さの知覚は、正弦波によるものほど単純ではない。私たちに基本音周波数に対応する一つの高さの知覚をもたらし、しかも基本音に相当する成分が欠けていてもそれが可能である（失われた基本音：missing fundamental) 。 - 可聴域は最も広い場合でほぼ20Hzから20000 Hzであるが、感度は4000Hzをピークにしたバンドパス様の特性。 - 音色(timbre) は「同じ大きさと高さを持った2音が異なる音と判断されたときの、その相違に対応する聴覚の属性」(American Standard Association,1960) と定義される。異論もある。 - ホワイトノイズの無音部分検出によって測定された聴覚の時間解像度は一般に2-3ms程度と非常に高い。 - 検出や弁別を向上させるための時間積分があり、音の検出においては一般に200ms程度内の情報を積分することができる。 - 両耳間時間差(interaural time difference) の検出においては、最大で6μs程度。 ### 2.3.4 聴覚による空間知覚 - 両耳間差のみでも水平面上の音源位置は1゜程度の精度で弁別でき、両耳間差だけでも十分な空間解像度が得られる。 - 頭部や耳介を一種の「フィルタ」と見なして頭部伝達関数(Head Related Transfer Function : HRTF)と呼ぶ。 - 厳密に頭部伝達関数を測定できても、前方に定位させるのは比較的難しく、また前後の間違いも起こりやすい。 - 頭部伝達関数を畳み込む効果の一つに、ヘッドホンで受聴しても音が頭の外に定位することがある。 ## 2.4 体制感覚・内臓感覚 ### 2.4.1 体性感覚・内臓感覚の分類と神経機構 - 体性感覚(somatic sensation)・内臓感覚(visceral sensation)は、視覚、聴覚、味覚、嗅覚、前庭感覚(5つ）以外の感覚を指す。 - 体性感覚は、皮膚で感じる表在性の皮膚感覚と骨格筋や腱、関節で感じる深部感覚に分類される。内臓感覚は、胃、腸、肝臓などの内臓で感じられる感覚。 - 4つの受容器 - 皮膚の触や圧、筋肉の伸張や緊張など体に加えられた機械的刺激に応答する受容器は機械受容器(rnechanoreceptor)。 - 体内外の温度に対し温冷などの感覚を引き起こす受容器は温度受容器(thermoreceptor)。 - pHなど化学的刺激に応答する受容器は化学受容器(chernoreceptor)。 - 強い機械的刺激、熱刺激、酸など体に傷害を引き起こす刺激に対して応答する受容器は侵害受容器(nociceptor)。 #### 触覚 - 表皮 - 自由神経終末 - マイスナー小体 - メルケル触盤 - 真皮 - ルフィニ終末 - 皮下組織 - パチニ小体 - 通常の触覚に関係する受容器は機械受容器。 ##### 表)皮膚受容器単位の受容野と神経発射特性と受容器 | - | 小受容野、鮮明 | 大受容野、不鮮明 | |--------|-------------------------------------|-------------------------------| | 速順応 | FAⅠ/速度に/マイスナー小体 | FAⅡ/加速度に/パチニ小体 | | 遅順応 | SAⅠ/変位＋速度に/メルケル触盤 | SAⅡ/変位に/ルフィニ終末 | - 有毛部皮膚にはマイスナー小体がないが、毛包受容器が存在する。 - 機械受容器の神経線維は有髄で比較的太いAβ線維。 - 皮膚に1-500Hz程度の正弦波振動刺激を提示して振動検出閾を測定すると、振動検出閾曲線が得られる。振動検出閾曲線は全体としては開いたUな いしV字型をしており、振動周波数250 Hz付近に振幅約0.1μmの最低閾値を持つ。振動検出閾曲線のパターン決定に関しては、約40Hz付近を境として関与する機械受容単位が交代する。すなわち刺激周波数が40Hz以下ではFAIの神経発射閾が振動検出閾と重なり、FAIが振動検出閾曲線パターンを決定している。これに対し、40Hz以上ではFA IIの神経発射閾が振動検出閾と重なり、FAIIが振動検出閾曲線パターンを決定する。 #### 温度感覚 - 温覚受容器は自由神経終末、神経線維は無髄線維(C線維）である。40-45℃付近 でよく神経発射する。 - 冷覚受容器は自由神経終末、神経線維は細い有髄線維(Aδ線維）または無髄線維である。冷覚受容器は30℃付近でもっともよく神経発射する。 - 温度が45℃以上では感覚は熱痛覚、15℃以下では冷痛覚に移行するが、これらは痛覚の一種である。 - 温覚も冷覚も生じない中性判断の生じる温度を無感帯。31-36℃の範囲で生じる。 #### 痛覚 - 体性痛覚 - 表在性痛覚 - 皮膚の痛み - 受容器は自由神経終末 - 神経繊維繊維は細い有髄線維(Aδ線維）と無髄線維(C線維）。 - 脊髄に入ると直ちにニューロンを乗り換え、脊髄中を上行し、視床を経て大脳へ至る - 速い痛みの神経繊維は細い有髄線維(Aδ線維） - 遅い痛みのの神経繊維は無髄線維(C線維） - 深部痛覚 ### 2.4.3 深部感覚 - 四肢相互の位置関係や動き、四肢に加わる力などを検出する。 - 筋肉、腱、関節に存在する固有受容器。 - 筋紡錘(muscle spindle) 、ゴルジ腱器官、関節受容器(3つ)。 - 筋紡錘は、錘内筋線維、感覚神経、運動神経の3要素からなり、全長6-8mmの紡錘形の構造をしている。筋紡錘は、その両端が筋紡錘と並行して走る筋線維（錘外筋線維）に付着した構造をしている。筋紡錘は、錘内筋の長さを調節することにより、錘外筋の収縮・伸張に合わせて自己の長さを変え、筋肉の収縮・伸張の程度や動き情報を知る。 - ゴルジ腱器官は、筋肉と腱の移行部に存在し、筋肉が収縮するときに特によく反応する。筋肉の伸張・収縮に対する筋紡錘と腱器官の反応は異なるので、相補って深部情報を精密に伝えることができる。 - 関節受容器には、特殊構造を持つパチニ小体、ゴルジ・マッツオニ小体、ルフィニ終末のほか多くの自由神経終末がある。 - 位置覚は、自分の四肢の相対的位置を知る感覚である。われわれは、眼を閉じていても自分の四肢がどのような位置にあるかがはっきりとわかる。 - 受容器は筋紡錘、腱器官、関節受容器。 - 運動覚は、自分の体を動かすとき、その動きの速さや方向を知る感覚である。 - 受容器は筋紡錘、腱器官、関節受容器。 - 力覚は、抵抗に逆らって関節位置を保持するための筋力を推定する感覚である。 - 受容器は筋紡錘、腱器官。 - 深部痛覚(deep pain) は、筋肉、骨、関節、結合組織などからの痛みである。 ### 2.4.4 内臓感覚 - 内臓からの情報は内臓求心性線維により中枢に伝えられる。内臓求心性線維 は自律神経系(autonomic nervous system) に属し、自律神経遠心性線維である交感神経、副交感神経と同じ経路を走行し、脊髄を経て脳に情報を送る。 - 内臓受容器の基本的な役目が体内の恒常性の維持。 - 飢え、渇き、尿意、便意などの臓器 感覚は感覚としても意識にのぼる。 - 内臓痛覚(visceral pain)の情報を送ると考えられる自由神経終末の侵害受容器の密度は低く、内臓平滑筋を機械的に刺激しても痛みは引き起こさない。 しかし、内臓平滑筋が強く収縮すると激しい痛みを引き起こす。 # 2.ヒトと感覚 ## 2.5 前提感覚 ### 2.5.1 前提感覚の受容器と神経系 - 受容器は左右一対の器官で、各側3個の 半規管と2個の耳石器からなる 。 - 頭部の回転運動は主に半規管が受容し、直線運動や傾斜は耳石器が受容する。 #### 半規管 - 前半規管・後半規管・水平（外側）半規管 - 互いにほぼ直交する3平面上に位置 - 各半規管は約2/3の円弧をなす環状の構造（直径6.5mm、断面直径0. 4 mm) - 内部は内リンパで満たされている。 - 卵形嚢と連結する付近に膨大部を形成し、ここに管壁が内部に突出した膨大部稜があって有毛細胞が並んでいる。 - 有毛細胞には数十本の不動毛と1本 の動毛が規則的に配列され、ゼラチン様物質のクプラに結束されている。 - 頭部が回転するとき、内リンパは慣性によって静止しようとするので、半規管内では逆方向に相対的な回転が生じることになり、クプラが変位して有毛細胞の感覚毛を傾ける。すると、有毛細胞の細胞内電位が変化して回転が受容される。 - 本質的には角加速度受容器。 - 頭部の生理学的振動の範囲である0.1-5Hzの回転では角速度に比例した出力。 #### 耳石器 - 卵形嚢と球形嚢からなり、両者の平衡斑（へいこうはん）に有毛細胞が並んでいる。 - 頭部が正立位にある時、卵形嚢の平衡斑はおおむね水平に、球形嚢の平衡斑はほぼ垂直に位置する。 - 有毛細胞の形態的極性（感覚毛の配列方向）は分水嶺を境として反対方向に向きを変える。 - 平衡斑は多数の耳石を包埋した耳石膜で覆われている。 - 頭部に直線加速度が加わると、慣性によって耳石は平衡斑に対して相対的に逆方向の動きをすることになる。 - 頭部が傾斜した時には耳石は重力の作用方向に動く。 - 水平方向の加速度や頭部の傾斜は卵形嚢を主に刺激し、垂直運動は球形嚢を刺激して、運動感覚や傾斜感覚を誘起する。 - 有毛細胞の電位変化によって前庭一次求心性線維の放電頻度が増減する。前庭一次求心性線維は前庭神経核で二次ニューロンに投射するが、一部は小脳の片葉小節葉やその周辺に直接投射している。 - 前庭神経核ニューロンの主な投射先は、眼球運動系、脊髄運動系、小脳、自律系および視床大脳皮質系である。 ### 2.5.2 平衡機能の基本特性 - 前庭動眼反射は、視線を空間内で一定に保ち、網膜像のぶれを最小に抑えるように働く。 - 半規管系の反射 - 頭部が回転した時に眼球を逆方向に回転させる。回転が続くと眼振を起こし、頭部回転と逆方向の緩徐な眼球運動と同方向の急速眼球運動を交互に繰り返す。 - 利得は水平および垂直運動ではほぼ1となるが、回旋の利得は小さい。 - 耳石器系の反射 - 直線加速度が加わった時に起こる代償性眼球運動は頭部の直線運動と逆方法に起こる。 - 眼前に意識すれば利得は大きくなり、無 限遠を意識すれば小さくなる - 頭を傾けた時に起こる眼球反対回旋は頭部傾斜と反対方向への眼球の回旋であるが、利得は小さい。 - 前庭脊髄反射は、外乱に対する身体平衡の維持と視野の網膜像の動きを抑える機能を担っている。 - 頭部が動いた時にブレーキをかけるように前庭頸反射が頸筋に働き、頭位を固定して安定化させる。 - 姿勢のくずれや頭位の変化を回復するように四肢を伸展・屈曲させる。 - 耳石器は静的状態あるいは緩やかな運動時に静的な姿勢反射を起こし、半規管は回転運動時に動的姿勢反射を惹き起こす。 - 前庭系と自律神経系は複雑に関連し、脳の広い範囲にわたって相互に影響している。 ### 2.5.3 身体運動と傾斜の知覚特性 - 水平回転運動では重力方向に対して頭部の傾きが変化しないため、回転は主に半規管によって知覚される。水平回転を知覚する閾値は概ね0.1-0.3deg/s²程度。 - ヨー回転の閾値がピッチやロールに比べて低い傾向がある。 - 等角加速度で加速中に水平回転の角速度を推定させると、20-40sまでは角速度が増すように感じるが、その後は回転感覚が減衰し減速していると感じるようになる。さらに加速が続くと回転を感じなくなり、加速を止めて等角速度回転になった時には逆方向に回転していると感じるようになる。 - 仰臥位で水平回転してロール回転を与えると、角速度が4deg/sに達した時に回転を知覚する。 - 角加速度の閾値(0.4deg/s²)以下で正立位からロール回転を与えると、傾斜角が1.2degに達した時に回転が知覚される。 - 角加速度を閾値以上にすると、耳石器と半規管の両者によってこれより小さな角度で回転を知覚するようになる。 - 静的なロール傾斜を知覚する閾値は1.5-2.2degである。 - 身体をロール傾斜させると、ロール角が小さい時には実際の傾斜角より大きく感じ(MÜller効果、E-効果）、ロール角が大きい時には実際より小さく感じる(Aubert効果、Aー効果）。 - 持続的な直線加速度の知覚の閾値は、x軸方向では6cm/s²、z軸方向では10 cm/s²程度である。 - エレベータに乗って上昇する時のように重力方向の加速度が大きくなると、眼前の指標が上がったように見える。この現象をエレベータ錯覚という。加速度の大きさに比例して錯覚は大きくなるが、頭部を25-30deg前傾させるとエレベー夕錯覚は生じない。 ### 2.5.4 動揺病 - 女性の方が男性より感受性が高い。 - 12-15歳までは感受性が高く、その後は加齢に伴って低下する。 - 神経質な人や心配性の人は感受性が高い。 - 回転感覚の感受性と動揺病の感受性との間に相関はない。 - 誘起メカニズムは感覚矛盾説で説明される。 - 視覚と前庭感覚や、半規管と耳石器など、身体の運動や姿勢の情報を受容する感覚系の間で情報の矛盾したとき - 乗物に乗った場合などに通常とは違った感覚情報の組み合わせが入力されると、記憶から予期される組み合わせとの間に不一致が生じたとき。 - 感覚矛盾の中でも主観的鉛直の不一致が動揺病の原因であるという仮説 - 主観的鉛直の方向を変化させる刺激は、方向を変化させない刺激よりも強い動揺病を発生させる。これだけでは説明できない.. - 視運動刺激によって生じる視覚性動揺病に関しては、眼振の関与が提唱されている。 - 前方の道路がよく見えれば動揺病は1/3。 - 車内の静止物を注視していると閉眼時よりもなりやすい。 - ベクションの強さと視覚性動揺病強度は必ずしも一致せず、ベクションが動揺病の原因とは言えないことを示す結果も報告されている。 ### 2.5.5 前庭感覚と視覚の相互作用 - 7a野MST領域では、個々のニューロンに視覚と前庭感覚の統合が見られ、空間認知に中心的役割。 - 注視点を新たな視覚対象に移動する時=>眼球と頭部を回転=>注視の方向を一定に保 つようにサッケードと前庭動眼反射が眼球運動を調整。 - 自分の運動によって視野が動く時には、視運動性眼球運動と前庭動眼反射が協調して眼球を動かし、視野の網膜像を安定させるよう調整。 - 姿勢の維持にも前庭感覚と視覚が重要な役割。 - 視覚による代償は静止時あるいは遅い運動に限られ、速い運動のときには前庭系が主に働く。 ## 2.6 味覚・嗅覚 ### 2.6.1 味覚の受容器と神経系 - 基本五味 甘・酸・塩・苦・うま - 味成分は、舌の上にある味曹という味細胞の集団の先端で受容体と結合する。 - ある 下前部の広い範囲に分布する茸状乳頭、下の奥の狭い範囲に分布する葉状乳頭、有郭乳頭 - 上顎や喉の奥にも味蕾がある。 - ない 糸状乳頭 - 分子量が大きい甘味、うま味、苦味の味物質は、細胞外で七回膜貫通型受容体に結合し、細胞内Gタンパク質を介して情報のみが細胞内に。 - 分子量が小さい塩味、酸味の味物質は、イオンチャネルを介して味細胞内へ流れ込み直接味細胞を活性化。 - 舌の前部からの味情報は鼓索神経、舌の奥部や喉からの味情報は舌咽神経、上あごからの味情報は大錐体神経を介して脳へ送られる。 - 辛味は痛覚として感知され、三叉神経（味覚神経ではない）を介して脳へ。 - 味情報は、まず延髄にある孤束核に集められ、島・頭頂弁蓋部にある一次味覚野の処理を経て、他の感覚と統合処理される眼窩前頭皮質や、好き嫌いの判断をする扁桃体に送られる。 ### 2.6.2 味覚の特性 - 多種の苦味受容体（ヒトの場合は25種類）がある。 ### 2.6.3 嗅覚の受容器と神経系 - 鼻腔の嗅粘膜の嗅細胞に発現する匂い受容体が、匂い分子に反応することから始まる。 - ヒトでは350種類以上の受容体が存在すると考えられている。受容体と分子は一対一の対応関係ではない。 - 匂いの質の符号化や、多感覚情報による匂い検出は、嗅球以降は、第一次嗅覚野と呼ばれる梨状皮質、第二次嗅覚野と呼ばれ、多感覚の情報入力がされる眼窩前頭皮質、さらに長期記憶処理に深く関わる海馬などの多くの領域が関与することが示唆されている。 ### 2.6.4 嗅覚の特性 - 鼻から入ってくる場合（オルソネーザル） - 喉の方から上がってくる場合（レトロネーザル） ## 2.7 モダリティ間相互作用と認知特性 ### 2.7.1 視覚と聴覚の相互作用 - モダリティ(modality。感覚様相とも訳される） - 相互作用のうち、視覚と聴覚のものについて最も詳細に検討が進んでいる。 - 聴覚の音源定位が視覚の位置に「引っ張られる」 腹話術効果(ventriloquism effect)。 - 音と視覚刺激の間隔が10゜程度以内の時は、音と視覚刺激の種類が関係ない時にも効果が現れることがわかっている。 - 成立する時間的条件は比較的厳しく、視覚と聴覚のタイミングが200ms以上ズレると効果 はほぼ消失することがわかっている。 - ピッピッというトーンパルス列によって、物理的には連続した視覚刺激が断続してチカチカと瞬いて見えるというダブルフラッシュエフェクト(double flash effect)。 - 腹話術効果ほど強くないと考えてよい。 - 一般に、視覚系は空間精度が高く、聴覚系は時間精度が高い。 - 言語音声の知覚が口唇の形状など視覚情報の影響を強く受ける「マガーク効果(McGurk effect)」。 ### 2.7.2 体性感覚とその他のモダリティの相互作用 - マウスなどの操作に対応したモニタ上の視覚刺激の移動速度を変化させてやることで、操作している身体部位に擬似的な力覚が生じるという現象を「シュード・ハプティック(pseudo haptics)」 - 視覚や聴覚が、物体表面のテクスチャの触覚に影響を及ほす。 - 身体の動きや情動によって低次の視覚や聴覚が影響を受ける現象。 - 身体の動きがある時には時間順序判断のパフォーマンスが向上するなど時間的な精度が向上する。 - 情動によって高次機能のみならず低次の知覚パフォーマンスが影響を受ける。 ### 2.7.3 思考、記憶と学習 - 短期貯蔵庫の容量は7±2 (チャンク：chunk) と非常に限られている。文字数じゃなくチャンク（意味のまとまり）。符号化の仕方によって容量が変化する。 - 情報処理の観点からは短期貯蔵庫ではなく作動記憶(working memory) と呼ばれる。 - 作動記憶の容量は、一概に示すことはできないが、一般に保持のみ を課題として調べられた短期記憶の容量よりさらに少ない。 - 長期貯蔵庫 - 意味記憶は概念や意味など知識の記憶。 - キウィよりスズメの方が「鳥っぼい」というような典型的効果 - スキルを身につけることも記憶の一つと考えられており、これを手続き記憶。 - 言葉で説明するのが難しい。 - 長期貯蔵庫の容量はほぼ無制限。 - 覚えているという自覚なしにその後の行動や判断に影響を与える情報が保持されていることを潜在記憶と呼び、その存在はプライミングというパラダイムによって実験的にも確認されている。 - 学習(learning)は、より広く脳という情報処理系の可塑性として捉えることが重要であり、知識やスキルの獲得という意味での狭義の学習のみならず、訓練による知覚精度向上なども学習過程として考える必要がある。 ### 2.7.4 アフォーダンス - 生体が環境から受け取っているのは、色や音の高さなど物理的な属性の束ではなく、意味なのであり、それが環境を構成する単位となっている。 # 第3章バーチャルリアリティインタフェース ## 3.1 バーチャルリアリティインタフェースの体系 ### 表）VRインターフェースの基本構造 | - | ハードウェア | ソフトウェア | |--------|--------------|----------------------| | 入力IF | センサ | 認識エンジン | | 出力IF | ディスプレイ | ディスプレイドライバ | ## 3.2 入カインタフェース ### 3.2.1 物理的特性の計測 - 角度を計測するモーションキャプチャは、一般的に機械式モーションキャプチャと呼ばれている。 - ゴニオメータ(goniometer)を用いるシステムでは、人体に対して外骨格のようなフレームを取り付け、そのフレームの関節部分の角度をゴニオメータによって計測することで、人間の動作を写し取る - 容易：センサー位置を固定できるので初期設定 - 難しい：自然な姿勢や激しい動きの計測が制約される - ゴニオメータはロータリエンコーダを利用しているため、角度を高速に安定して読み取ることができるが、フレームの関節角度と人体の関節角 度が正確には一致しないため、相互の対応関係を求める工夫が必要となる。解決方法は人間の関節構造とセンサの位置関係をモデル化した人体モデル. - 角度を計測するデバイスとして、回転物体がその状態を維持しようとする性質を利用したジャイロスコープ(gyroscope)を用いる場合には、センサ単体で傾き角度を得ることができるため、人体に取り付けるフレームが不要となる。 - ジャイロスコープでは、得られた角速度を積分することで角度を求めているため誤差が蓄積しやすい。 - 静止状態での変動量によるドリフト誤差もある。 - 物体の運動状態を計測する加速度センサ(accelerometer) を用いたシステムでは、得られた加速度を積分することで速度や移動距離を求め、姿勢情報を獲得している。 - 板バネによって加速度計測、加速度による光ファイバの張力変化を通過する光の波長変化を計測、微少な可動部でのわずかな位置変化を静電容量変化として計測など方法は様々。 - 小型化が進み、近年ではMEMS技術によって半導体として提供され、センサ自体では数kHz-数十kHzといった高速な計測に対応するものも存在する。 - ただし、計測誤差が積分処理によって蓄積する。 - 超音波センサ：超音波が計測対象にぶつかって反射して戻ってくるまでの時間や、発信されてから受信装置に到達するまでの時間から、発信源と受信装置との間の距離を計測する。 - これに基づき、位置が既知の発信源または受信装置を複数配置し、三つ以上のセンサから得られた距離条件を満たす3次元空間上の位置を求めることで、計測対象の位置情報を得ることができる。得られた位置情報を人体モデルに入力することで、各関節の角度へと変換される. - 磁気式モーションキャプチャと呼ばれるシステムでは、計測したい領域にX 軸·Y 軸·Z 軸それぞれの方向に対応した交流磁場を展開する。その計測領域内においてセンサ部となる小型コイルを移動させると、張り巡らされた磁場の磁束変化によって誘導起電力が発生する。 - 計測精度は高く、位置計測誤差が数mm以下、角度計測誤差が1゜以下といったシステムが多く見られる。 - 応答速度も比較的高く、システム全体として120Hz程度の計測が可能である。 - 磁場を発生させて利用するため、周囲の金属からの影響を避けられない。 - カメラ画像から画像処理技術を用い て位置情報を獲得する光学式モーションキャプチャも実現されている。 - マーカーあり - デメリットと解決方法：姿勢によってはマーカが隠れてしまう場合が避けられない。カメラを取り囲むように増やして対処。 - 2台以上のカメラによってマーカを観測する - 三角測量の原理からマーカまでの距離が算出 - カメラに取り付けられた赤外線照明光を再帰性反射素材によって反射するパッシブ型 - 赤外線LEDなどを内蔵することによって自ら発光するアクティブ型 - 計測速度は100Hz程度と高速なものも多い。 - 計測誤差は数mm程度であるが、高解像度カメラを用いることで1mm以下の誤差を実現するものも存在する。 - マーカーなし - 画像処理よって得られる特徴量や、複数カメラから得られた画像を使った視体積交差法によって得られる3次元形状情報を利用して、モデル化された人体と実際の人間のマッチングを取る。 #### 表)モーションキャプチャシステムの特徴比較 | 計測対象 | 角度 | 角度 | 運動 | 位置 | 位置 | 位置 | 位置 | 位置 | |--------------|----------------|------------------|----------------|----------------|--------------|------------------------------|--------------------------------|------------| | 計測デバイス | ゴニオメーター | ジャイロスコープ | 加速度センサー | 超音波センサー | 磁気センサー | カメラ・マーカー（パッシブ） | カメラ・マーカー（アクティブ） | カメラのみ | | 初期調整 | | | | | △ | △ | | △ | | 安定性 | | △ | △ | | | | | | | 計測領域 | ○ | ○ | ○ | △ | ○ | △ | △ | △ | | 動作制約 | △ | | | | | ○ | | ◎ | - 物理計測の対象として、姿勢と同様に重要なのが顔である。物理計測ができない心理的な変化が現れる部位であり、コミュニケーションにおいて重要な感性情報を多く含んでいることが知られている。 - 眼球の姿勢である視線方向に関しては、表情という感性情報だけではなく、人間の注目点を得たり、インタフェースとして利用したりする目的でも計測対象となる。 - 角膜（黒目）と強膜（白目）の反射率の違いを利用した強膜反射法 - 角膜の曲率中心と眼球の回転中心が異なることを利用した角膜反射法 - コイルを埋め込んだコンタクトレンズの位置を計測するサーチコイル法 - 角膜と眼球部の電位差を計測するEOG法 - 高速度カメラを用いることで、サッカードなどの眼球特有の高速な動きの計測に対応するシステムも近年利用されている ### 3.2.2 生理的特性の計測 - 代表的なものは心電図(ECG:Electrocardiogram)、精神性発汗（皮膚電流反射GSR: Galvanic Skin Reflex : 皮膚電気活動(EDA: Electrodermal Activity))など - 心電図のR波の感覚を調べることで心拍数を計算できる。 - 筋肉の電気的な活動を計測したものが筋電図(EMG : Electromyogram) - 表面筋電図は、2個の電極により計測した信号を差動増幅することで得られる - 唾液のアミラーゼの活性がストレスに応じて増加することから唾液アミラーゼ活性を調べることでストレスの強度を推定 - MEG - 神経の電気的な活動によって生じる磁場を計測する - 超伝導量子干渉計(SQUID) を用いて磁場を計測するが、背景磁場の影響を受けるため、シールドされた部屋で計測を行う必要がある - 空間分解能は数cm程度 - 時間分解能は数十ms単位 - fMRI - 脳活動に伴い血流量が増加し、酸素を消費することから、血液中の酸素化ヘモグロビンと脱酸素化ヘモグロビンの濃度が変化し、磁気共鳴信号が変化する。この変化を捉えることで、脳のどの部位が活動しているかを推定する。 - 血流量の増加に伴って脳の局所の酸素濃度が変化する信号をBlood Oxygenation Level Dependent Contrast : BOLD 信号 - 空間分解能は数mm程度 - 時間分解能は数十～数百ms単位 - NIRS - 脳活動に伴う血流量（酸素化ヘモグロビンと脱酸素化ヘモグロビン の濃度）の変化を近赤外光の波長に対する吸収率の違いを用いて計測するもの - fMRIと異なり、深部の脳活動の計測はできない - 被験者の姿勢の自由度が比較的高い - 空間分解能は数cm程度 - 時間分解能は数十ms単位 - PET - 体内に放射性同位元素でラベル付けされたトレーサと呼ばれる物質を投与し、脳内の神経活動の増加に伴い変化する代謝量や血流量をトレーサを用いて計測 - 空間分解能は数cm程度 - 時間分解能は数秒単位 - EGG - 脳の神経活動である電気信号を計測する - 頭蓋骨などを通して神経活動を計測してい るので空間分解能が低い - ノイズの影響を強く受ける - 瞬きをするだけで眼筋の筋電図が混入 #### 表)非侵略脳計測 | - | PET | fMRI | NIRS | MEG | EGG | |------------|-----|------|------|-----|-----| | 空間分解能 | △ | ○ | △ | △ | × | | 時間分解能 | × | △ | △ | ◎ | ◎ | | 携帯性能 | × | × | ○ | △ | ◎ | | 安全性 | × | ○ | ◎ | ◎ | ◎ | ### 3.2.3 心理的特性の計測 - VRにおいては心理状態の計測手法は、意思をシステムに伝える入カインタフェースとして用いられ、この技術をBMI(Brain-Machine Interface)呼ぶ。 - 侵襲計測では、解剖学的、あるいは神経科学の知見により、どの部位がどのような行動、感覚に関係しているかがわかっているため、その部位の神経活動を計測。 - 運動は運動出力部位の最終部位である一次運動野の活動から運動の方向、筋肉の活動を推定。 - 何を見ているのかは視覚野。線分の向きや画像を見ているときの脳活動との関係を学習して推定。 - 脳波を使ったBMIでは、アルファ波(8-13 Hz)と同じ周波数帯域で運動に関連した信号が検出できるミュー/μ波を用いて、カーソルを動かす方法が提案されている。 - 感覚刺激に応答して300ms程度の時間潜時の後に見られる神経活動 - P300スペラーは、画面上の文字がランダムに点滅し、目的の文字が点灯した回数を数えるなど注意を向けると、P300の信号が計測でき、対応する文字を入力できる。 - 1回の試行だけでは無理。数回から数十回加算して判断。 ## 3.3 出カインタフェース ### 3.3.1 視覚デイスプレイ - 視覚デイスプレイは、バーチャル空間の奥行きとその広がり、個々の物体の色や形、材質感を映像として。 - 奥行き知覚のための手がかりである立体視は、両眼視差（左右の目での見えの違い）、運動視差（頭部の運動に伴う見えの変化）、輻輳作用（眼球の向き）、調節作用（ピント調節） によって行われている。 - 左右の目に別々の映像を提示する方法 - 一つのスクリーンを用いて時分割でスクリーンに映し出す左右の映像を交互に切り替えると同時に、切り替えに同期した液晶シャッターメガネによって左右の目に入る映像を分離する方式 - あらかじめ直交した偏光をかけた視差映像をシルバースクリーンあるいは偏光フィルタ付きデイスプレイに投影し、偏光メガネで左右の映像を分離する方式 - スクリーンあるいはモニタの前に設置したパララックスバリアと呼ばれるスリットによって左右それぞれの目から見えるスクリーンの領域を分離する方法 - HMD - よく知られた光学式の他に...ピンホールによる絞り付プロジェクタを眼球と共役な位置にハーフミラーとともに配置し、再帰性反射機能を持たせたスクリーンに映像を投影することで、それぞれの目に対応する映像を提示する方式もある。 - 特殊な光学系が不要 - 映像同士のクロストークが発生しない - 手の形の画像認識など行わなくても画像とその手前の物体との遮蔽関係を自然に見せることが可能 - 3次元空間に表示する方法 - VR物体を点の集合体として表現する体積走査型デイスプレイ - LEDアレイを高速で走査する方式 - 高速回転するスクリーンにプロジェクタで映像を投影する方式 - レーザ光で特定の場所の空気中の酸素や窒素をプラズマ発光させる方式など - 大型スクリーンを用いた視覚デイスプレイを没入デイスプレイ - 2眼式の立体視方式により立体視は可能である。 - 複数人もOK。厳密に正しいのは1カ所だけど。 - 多面体スクリーン（たとえば、CAVE、CABIN)では、映像をレンダリングする際の視点と、実際のユーザの視点が一致していないと、スクリーンとスクリーンの継ぎ目で直線が不連続に折れ曲がって見えるため、違和感につながりやすい。 - 曲面スクリーンでは、映像をレンダリングする際に、OpenGLなどの平面スクリーン用のライブラリによるレンダリング出力をそのまま出力すると、映像がひずんで見える。 - テクスチャマッピングによって正しい映像に見えるようにひずみ補正 ### 3.3.2 聴覚デイスプレイ - 音像定位伝達関数合成法（以下：両耳型）は、両耳の位置でのみ正しく音が聞こえることを目的とした方式 - 音源から両耳までのすべての物理現象を伝達関数としてとらえ、両耳それぞれの位置に届く音を提示。 - 通常のヘッドホンによる両耳型提示をバイノーラル再生 - 室内に置いた複数のスピーカにより目的の音を合成するトランスオーラル再生。 - クロストークをキャンセルする必要あり。 - 聴取位置や音源位置までの室内の反射や回折などを反映した室伝達関数 - 頭部近傍の音現象を表現した頭部伝達関数（Head-Related Transfer Function : HRTF） - 個人毎 - 聴取者の頭部運動を位置センサによって計測し、音場における耳の位置と音源との相対位置関係に基づいて伝達関数を切り替えることで、前後誤りや頭内定位が大幅に改善 - 時間的・空間的補間が必要 - 音場直接合成法 - ある境界内のすべての場所で正しく音が聞こえる3 次元音空間を作ることを目的 - ある音場における音源を含まない任意の領域を囲む閉曲面境界上の音圧と空気の粒子速度を一致させることで同一の音場を再現できるというキルヒホッフの積分公式(Kirchhoff-Helmholz 積分方程式） に基づいて、スピー力を境界面上に並べることで実現する（波面合成法） - これでは無数のスピー力が必要となるため、境界音場制御法という、有限個のスピーカを境界の外側に配置して境界面上で上記条件を満たすように振動させる方式も。 - 高周波数まで理論的に厳密な合成を行うには、密に境界を制御する必要があり、非現実的なスピーカ数となる。厳密性と実現性の間のトレードオフを鑑みてスピーカ数を決定。 ### 3.3.3 前庭感覚デイスプレイ - アクチュエータの使い方を工夫して加速度を持続的にユーザに提示し、同時にそれに伴う移動を何らかの機構で打ち消す仕組みが必要。 - モーションプラットフォーム：ユーザを動かすためシートをアクチュエータで並進、あるいは回転させる機構を持つ - 加速度提示による前庭感覚だけでなく、体がシートに押しつけられて発生する体性感覚も発生 - アクチュエータの可動範囲が有限なため、加速度を過渡的な成分と定常的な成分に分け、過渡的な部分をアクチュエ ータによって提示し、定常的な成分はユーザの体を傾けて、重力の分力成分を利用して合成加速度として提示。 - アクチュエータの動作限界を超えないような減速動作をウォッシュアウト。 - アクチュエータをユーザーに悟られないようホームポジションに戻す動作をウォッシュバック。 - 前庭感覚器官がある耳のまわりに電極を張り付け、左右の耳の間で微弱な電流を流すことで、ユーザに知覚される重力の方向が電流に応じて陽極側ヘシフトして感じられる ### 3.3.4 味覚デイスプレイ - ストローなどを介して外部から味物質を口内に運ぶ方法 ### 3.3.5 嗅覚デイスプレイ - 嗅細胞は350種類以上存在していて、基本的な匂いと言うのも見つかっていない。 - 拡散と排気と空気砲。 ### 3.3.6 体性感覚デイスプレイ - バーチャルな物体に触った時の表面の感触や硬さ、重さなどを提示。 - 物理刺激を提示するデイスプレイはハプティックインタフェース(haptic interface) とも呼ばれ、皮膚感覚を刺激するものは皮膚感覚提示装置、深部感覚を刺激するものは力覚提示装置と呼ばれる。 - 皮膚感覚提示装置を開発する際には空間分解能の目安として使われる指標である2点弁別閾に基づいて、刺激装置の密度を決める - 刺激する方法としては、振動子や空気圧、電気刺激を用いたものなど - 2 点弁別閾が数mmの小さい場所では、ピエゾ素子の振動をてこを使って拡大することでピンアレイのピンを駆動する方式や、空気圧ノズルアレイ を用いて刺激を行うことが行われている。特に空気圧アレイでは、皮膚の圧覚が応力の向きではなくひずみの大きさに比例する性質を利用して、ノズルの直径が小さい場合は圧迫ではなく吸引によっても圧覚提示が可能で、そのノズルの直径によっても刺激される感覚受容器を選択的に刺激できる。 - 力覚提示装置は物体に触ったときに物体から返ってくる反力を提示 - 厳密には皮膚感覚を含んだ深部感覚の提示 - 地面あるいは人体の一部と力覚提示装置との間での相互作用によって反力を提示する接地型と、地面とは接地せずに力覚を提示する非接地型に分けることができる - 接地型 - 人体に多関節マニピュレータを装着する「装着型」、ペンやボールを握るようにして用いる「把持型」、バーチャルな物体を実世界にそのまま出現 させる「対象型」 - 装着型と把持型では、大半のデイスプレイがカセンサを用いていない。小型で多軸カセンサがあまりないから。 - 近似的な曲面を生成する方法としてはアクチュエータアレイによってゴムなどでできた膜を変形させる方式と、平面や円筒など曲面のプリミティブを組み合わせた立体をVR物体の上 に沿って動く陰のようにマニピュレータによって人体の動きに追従させて曲面を表現する遭遇型。 - 非接触型 - 高速回転するロータをブレーキなどで急激に減速させることで生じる撃力を利用したり、回転ロータを傾けたときに発生するジャイロモーメントを用いる。 ### 3.3.7 他の感覚との複合 - 感覚モダリティごとに許容される空間的時間的な余裕（たとえば歯ごたえが起こってから音が聞こえるまでに数msの遅れがあっても人間には同時に発生したように感じられる）があり、この余裕の中で感覚提示を行えば、相乗効果が現れる。逆にこの制約が守られないと違和感につながりひどいときにはVR酔いなどの悪影響が生じる。 ### 3.3.8 神経系への直接刺激 - 半永久的に使用できる実用化された装置の例として聴覚障害者用医療器具である人工内耳 - 皮膚に電極を貼り付ける方法 - 電極の大きさと刺激強度にトレードオフがある。 - 長期利用によって神経系が変質する可能性も あり、利用に関しては未知の部分が多い。 - 神経を直接刺激する方法は、物理的な刺激の種類を問わず、原理的にはすべての感覚を電気刺激で生起できる可能性を持っている。 ## 3.4 入力と出力のループ - 人間はlOHz以上で更新される画像を動画として認識するので、すべての処理を1/10s以内に行わなければならない。 - 力覚情報を与えるハプティックインタフェースの場合には、視覚よりもさらに高速な処理が要求され、その更新速度は1000Hz以上が望ましい。 - 人間が刺激を受けてから行動を起こすまでの時間が0. 2s。 # 第4章バーチャル世界の構成手法 ## 4.1 総論 ### 4.1.1 バーチャルリアリティのためのモデリング - バーチャルリアリティは体験を目的とするため、体験者の感覚特性と体験内容を考慮して必要な情報をモデリングする。 #### 表)ウォークスルーシステムの提示物体が持つ情報例 | 情報 | 記述形式例 | |--------------------|----------------------------------------------| | 物体の位置・向き | 3次元ベクトルと3次元回転行列 | | 物体の速度・角速度 | 3次元ベクトル | | 物体形状 | ポリゴンモデル | | 物体の色 | 拡散反射率、鏡面反射率、（各三次元ベクトル） | | 車や人の行動 | スクリプト、プログラム | ### 4.1.2 レンダリング、シミュレーションとモデル - モデリングしたバーチャル世界の情報をデイスプレイ・インタフェースの駆動に適した形式に変換して体験者の感覚に提示する必要がある。この変換処理をレンダリングと呼ぶ。 - バーチャルリアリティのためのモデリングは、人間の感覚特性に合わせたモデリングとバーチャル世界の用途に合わせたモデリングという二つの側面から捉えることができる。これは体験者にバーチャル世界を提示するレンダリングと、バーチャル世界に時間経過をもたらし、体験者の行動をバーチャル世界へ反映させるシミュレーションの二つの処理に対応する。 ### 4.1.3 処理量とデータ量のトレードオフ - 物体の様々な視点からの静止画をモデル、視点に対応する静止画出力をレンダリング - レンダリングは簡単、モデルのデータ量は多い。 - メモリが不足すると記録可能な画像数の不足から視点が減りユーザーの行動（視点の移動）が制限される。 - 物体の3次元形状と色をモデル、視点に対応する静止画を3時点CGでレンダリング - レンダリングは計算量が多く、モデルのデータ量は少ない。 - 処理能力が不足すると品質劣化や視点更新が遅れる。 ## 4.2 レンダリング ### 4.2.1 レンダリングのためのモデル - レンダリングとはモデルを提示情報に変換する処理のことである ### 4.2.2 視覚レンダリングとモデル - 視覚レンダリングは、投影、陰面消去および輝度計算なる三つの処理からなる。 - 投影処理 - 3次元空間で定義された図形を2次元スクリーン上の図形へ変換する処理 - 透視投影では、視点から遠い物体ほど小さく表示され、実際の見え方と一致した結果を得る。 - 陰面消去 - 陰面消去処理は視点から見えない面を除去する。 - Zバッファが標準的。 - Zバッファ法はハードウェア化が容易であり、高速な処理が可能。 - 透視投影で得られるZ値をバッファ->Zバッファを∞に相当する非常に大きな値で初期化=>各ポリゴンを描画する際、各画素のZ値を計算し、その値がZバッフアに記憶されている値より小さければ、描画処理を行う。そして、描画と同時に、Zバッファの値を計算したZ値で置き換える。 - 輝度計算 - 物体表面の材質や面の向きによって変化する輝度を計算する処理である「シェーデイング計算」 - 環境光成分は計算点の周囲の物体の反射光などを表し、厳密に求めるためには高度かつ高コストな計算が必要 - 拡散反射光成分は、物体表面の反射率が視点や光源の入射方向によらず一定と仮定した場合の反射光の強度 - 鏡面反射光成分は、金属表面のように、視点や光源の位置に よって輝度が変化する指向性のある反射 - シャドウイング計算はある物体が他の物体に落とす影を計算する処理である「シェーデイング計算」 - 点光源や平行光源のような単純な光源ならZバッファ法を利用した高速計算が可能 ### 4.2.3 聴覚レンダリングとモデル - 音場再現モデル：音場全体を実際の音場として再現し、その中にいる聴取者に自然に3 次元音空間を知覚させようとするモデル。精度に差はあ るが、立体分割法や音場直接合成法がこのモデルに基づく方法である。 - 両耳伝達関数モデル：両耳に入力される音信号を正確に定めれば精密な3次元音空間知覚が可能となるという立場から、音源から耳までの音響 伝搬特性を伝達関数として表現し、聴取される二つの信号を耳元に再現・合成するモデル。音像定位伝達関数合成法が依拠しているモデル - 音源から聴取点までの直接音をレンダリングする際に、すべての距離についてあらかじめ用意するのは現実的ではない。そのため、距離に応じた減衰と遅延を加える必要がある。また、高周波数では伝搬の際の空気吸収が無視できなくなる。 - 反射波 - 直接音の後に到来する初期の反射波は時間的に密度が低く、方向も知覚されやすい。音波の伝搬を光線になぞらえ境界面での反射を鏡面反射として取り扱う幾何音響理論に基づいて反射波を計算する方法は... - 音線法：音源から放射された音線を追跡し、聴取者近傍のある領域をある時間範囲内に通過する音線を計算する方法。 - 反射音の次数によらず計算量が一定。 - ある時刻、ある点における反射音を陽に求めることができない。 - 虚像法：鏡（反射面）の向こうの位置に虚像を仮定し、そこからの直線伝搬をあらかじめ反射の次数を決めて計算する方法。 - 反射の次数に対して指数関数的に計算量が増加する。 - 幾何音響理論では音の波動性は考慮していないため、主に低周波数の精度は低い。 - 後部残響音 - 室内における音波は、反射や拡散を繰り返し時間の経過に伴い反射波の密度が上昇するため、聴取者に到来する波面は徐々方向性が弱まっていく。 - 初期反射と後部残響音は、聴覚上違和 感がないように接続する必要がある。 - 回折 - 解析解を使って伝達関数を求め、物体の端線ごとに信号処理を行うのが一般的である。 - 回折は主に低周波数で起こる現象であり、低域通過型の現象。 ### 4.2.4 カ触覚レンダリングとモデル - 典型的な力触覚レンダリングでは、動特性など必要な情報がモデリングされた物体とのインタラクションにおいて以下が周期的に実行される。 - 指先や手先など接触点（以下、力覚 ポインタ）の位置と方向の検出 - カ覚ポインタとバーチャル物体との接触検出 - 反力計算および物体変形 - カおよびトルクの提示 - 安定して力触覚提示ができる力計算周期は1kHz以上必要。 - テクスチャ判別には5-10 kHz。 - 干渉計算とモデル - 侵入距離に応じて押し戻す力を操作者に返す、位置入カーカ出力のインピーダンス提示型 - 安価 - 操作者が加える力に応じて位置を動かす、力入カ一位置出力のアドミタンス提示型 - 広範囲で大きな力 - 指先と物体形状との干渉計算では、与えられた力覚ポインタから物体に侵入しないという拘束条件を満たしながら手に近い場所に移動し続ける物体表面上のポインタ(God-objectやproxy point とも呼ばれる）を定義し、両者から侵入距離を算出する。 - 表面情報のレンダリング - 表面情報は凹凸などの表面形状、表面の摩擦・粘性特性の組み合わせで表現。 - クーロン摩擦をシミュレートすることで、侵入距 離に応じて操作者に返る力を基に、なぞり方向と反対方向に働く摩擦力を作ることができる。 - 静止摩擦と動摩擦をシミュレートすることでスティックスリップ現象を感じさせることも可能。 ## 4.3 シミュレーション ### 4.3.1 シミュレーションのためのモデル #### 表）剛体がもつ情報 | 情報 | 記述形式例 | |--------------------|------------------------------------------| | 剛体の位置・向き | 3次元ベクトルと3次元回転行列 | | 物体の速度・角速度 | 3次元ベクトル | | 物体形状 | ポリゴンモデルや球や円筒などの組み合わせ | ### 4.3.2　空間のシミュレーション - 座標・移動モデル - 姿勢はロール、ピッチ、ヨーのオイラー角で表現。 - カメラの姿勢の実装にはクォータニオンと呼ばれるテクニックが用いられる場合が多い。 - リアルタイム性の維持のために - Level of Detail (LOD)：視点からの距離に応じてモデルの精細さを切り替えていく方法 - scenegraph：3次元の空間を構成する各種オブジェクトを階層的なツリー構造などで表現したデータセット。 ### 4.3.3　物体/剛体/変形/流体のシミュレーション - 物体の運動：物体に働く力とその作用点がわかれば、剛体の運動方程式を差分化した運動量、角運動量の更新式を計算することで物体の位置、姿勢、速度を更新できる。 - 重力、バネによる力、動摩擦力など、場の力や物体の位置・速度によって決まる力は簡単な計算で求まる。 - 抗力や静止摩擦力など複数物体の位置関係を部分的に拘束する力（拘束力）は、その値ではなく、拘束の条件を満たすような力として与えられ、簡単には求まらない。 - ペナルティ法：拘束力を直接計算せずに拘束条件を違反すると違反の量（ペナルティ）に応じた力を求め、これを拘束力の代わりに物体に加える方法 - 物体間に働く抗力を求めるためには、2 物体の接触点の間にバネダンパモデルを考え、バネダンパモデルが発生する力を抗力として加える。 - 拘束力はバネダンパモデルの状態からすぐに求まるため計算量はと少ない。 - 運動方程式と無関係に拘束力が求まるため、力覚ポインタのような質量や慣性モーメントなどの動力学特性が不明なものと物体モデルの間に働く拘束力も計算できる。 - 条件違反が解消する（と思われる）力であり、ペナルティ量やペナルティカが収束する保証はない。 - バネダンパモデルが収束するようなモデルのパラメータ（バネ係数、ダンパ係数）の範囲は、シミュレーションの更新周期に反比例して狭くなる。 - 硬いバネダンパモデルを用いて大きなペナルティカを加えれば、拘束違反量を小さく抑えることができるが、収束させるために更新周期を十分小さくしなければならなくなる。結果として計算量が多くなる。 - 解析法 - 拘束力の条件を式で表し、運動方程式と連立 させて、条件を満たすような拘束力を求める方法 - 運動方程式と条件式を連立させるため、拘束力に関与している剛体のが増えるとそれにつれて、連立 させる式の数が増えていく。また、抗力のように条件式が不等式になるものや、 摩擦力のように他の拘束力に条件式が依存するものもあるため、計算はあまり 簡単ではない。 - 多くのシミュレータは繰り返し計算による近似解法を用いて拘束力を解いている。 - 更新周期によらず、拘束条件を満たす拘束力が計算できるので、更新周期を大きく取り、一定時間のシミュレーションに必要な計算回数を少なく抑えることができる - 球や直方体のような接触検出処理が容易な簡単な形状(bounding volume）。 - 領域を区切って関係ない物体を除外 -> bounding volume同士の検出　=> 物体形状同士の検出。 - 変形 - 外力により物体表面や内部に移動、つまり変位(displacement) が生じる状態をいう。一般に、変位が微小であれば、物体は弾性変形を示す。弾性(elasticity) とは、作用する外力を取り去ると元に戻る性質をいう。 - ひずみが微小であれば、応力とひずみには線形の関係がある。 - 変形モデル - バネ質点モデル - 物体を質点と質点間を結ぶバネで表現し、バネに生じる弾性力から各質点の運動を解いて物体変形を表現 - 有限要素モデル - 物体を3 角形要素などの集合として表現し、各要素に成り立つ支配方程式の重ね合わせにより得られる連立方程式を解いて、弾性論(theory of elasticity) に基づいた物体変形を表現 - 弾性論におけるパラメータ（弾性率、ポアソン比）に基づく高精度の変形を可能とする一方、実装が複雑であり計算量が多い。 - 変形シミュレーション - 各要素の位置や弾性パラメータを事前に設定する必要がある。たとえば、バネ質点モデルでは、各質点の位置や質量、各バネの弾性係数、質点とバネの接続関係などを設定する必要がある。 - 弾性パラメータの計測法には、引張試験、超音波エラストグラフィ、MRE(Magnetic Resonance Elastography)などがあり、侵襲性や空間分解能などが異なる。 - 流体のシミュレーション - 非圧縮性流体を仮定し、非圧縮性ナビエ・ストークス方程式を用いる場合が多い。 - 。非圧縮性流体の場合、微小体積に流入する流体の量と流出する量が等しくならなければならない。 - 速度ベクトルおよび圧力を未知変数として、その時間変化を計算することで流体の動きを求めることができる。 ### 4.3.4　人物のシミュレーション - 計算量も現実的で、人物の大まかな運動を表現できることから、通常は関節で接続された複数の剛体からなる剛体リンク系(articulated rigid bodies)が使われる。 - 肘、膝などは通常1自由度。他が3自由度。 - 大幅に簡略化していることに注意 - 肩関節は正確に同じ点の回りで回転するわけではなく、回転とともに回転中心が移動する。また、実際の膝関節ではほぼ円形の断面を持つ二つの骨が転がり接触をしながら回転するので、やはり回転中心は移動する。 - 逆運動学とはあるリンクの絶対空間中の位置・姿勢を与えられた値にする関節角を計算する問題 - 物を掴む動作など手・足の軌道により記述できる運動の生成、光学式モーションキャプチャにおけるマーカ位置データから関節角データヘの変換などに用いる。 - 解析的手法：リンクの位置を関節角の関数として表し、その逆関数を求めることでその機構に対する一般的な逆運動学計算式を得る方法。 - 腕や脚のように2個の球面関節の間に1個 の回転関節を持つ機構では比較的容易に導出できるが逆関数を求めるのは困難。 - 数値的手法：リンク位置の関節角に関するヤコビ行列を使い、位置誤差の2乗を評価関数とする最適化問題を最急勾配法を用いて解くか、ニュートン法を用いて関節角を未知数とする方程式の解を求める方法。 - 汎用性が高く複雑な問題にも応用できる。 - 解が無数に存在する場合があることが特徴。 - 人間の腕では手の位置・姿勢を変えることなく肘の位置を円弧上の任意の点に変更できる。 - 運動生成 - 力学シミュレーション - 関節制御：各関節で、関節角・速度の誤差を用いて関節トルクを計算。 - 最もよく使われるのがPID (Proportional-Integral-Derivative) 制御 - バランス制御：さまざまな方法があるが、重心位置のフィードバックを用いるのが簡単。 - 外力に対する反応などの運動を生成できるため、ダイナミックな環境での運動生成に適している。 - 人間らしい運動を生成するのは難しい。 - 転倒など望ましくない運動が生成される可能性がある - モーションキャプチャ - 転倒などの問題がないという利点がある - 動作のはじめと終わりに基準姿勢を取るクリップを複数用意し、状況に応じて再生する方法=>一般化した方法としてモーショングラフ。 - かけ離れたポーズは生成できない。