——MR混合现实简单点来说就是一种将具有高度沉浸感的VR虚拟场景画面和体验者视频画面进行混合输出的一种技术。
在VR体验过程中，MR混合现实拍摄技术可以捕捉现实玩家画面，并将他们正在玩的画面映入虚拟环境之中，这样就能够通过2D显示器展示玩家在VR中所做的事情，是目前将 VR 呈现在 2D 屏幕上最好的方式。
MR视频的原理
普通的VR视频是将体验者左眼看到的影像录制下来。这样的第一人称视角录制带来两个问题，一是因为视角原因看不到体验者的全身，二是即使低头看到了，也只是看到虚拟的模型，甚至多数时候只能看到两只漂浮的手。要解决这两个问题。就需要
l 切换成第三人称视角
l 将体验者的影像也录制下来
l 将游戏画面和摄像机影像合成
1. 切换成第三人称视角
普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼，分别生成左右眼的画面传给HMD，然后将其中一只眼的画面复制到PC屏幕上。为了让屏幕上产生第三人称视角的游戏画面，就需要在和玩家一定距离外摆放一个额外的虚拟camera，并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复刻，而是由这个额外的camera单独绘制的（会增加一定的渲染负担）。
2. 将体验者的影像录制下来
因为我们只需要玩家本人的影像，并不需要看到房间里的桌子、墙壁等背景。所以要用到抠 像技术。在录制的时候，让体验者在一个周围是绿布（或者其他颜色）的房间里，然后用一个摄像机（webcamera或者专业的摄像机）录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉，就只剩下人的影像了。
3. 将游戏画面和摄像机影像合成
在1.和2.中我分别提到了一个虚拟摄像机和一个真实的摄像机。为了让他们拍到的影像能合成起来，需要保证他们的视角是一样的。也就是说，假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角，那么要保正现实中摄像机在体验者左前方2米，朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。 将额外的手柄绑在摄像机上，或者将手柄和摄像机绑在同一个位置上，原则是确保它们相对位置、相对朝向是不变的。这样当现实中摄像机移动时，游戏通过感知手柄的位置变化，也相应地改变虚拟摄像机的位置。然后，把游戏中的物体按位置分为两类，一类是前景，位置在摄像机到玩家之间，另一类是背景，位置在玩家之后。最后把背景、体验者影像、前景合成成视频。
MR混合现实技术可以解决什么问题？
——打破 VR体验封闭性，向外界清晰的传达你的VR感受，让人一目了然的看懂你的VR体验。
身为VR玩家的你要如何向你身边的朋友展示你正在玩的VR游戏呢？或许你会说：脱下VR头盔，让朋友们戴上体验。没错，你的确可以这样，不过这样十分的麻烦，尤其是当你要向多名玩家展示你所玩的游戏的时候。在此之前，要向其他玩家展示你所玩的VR游戏或许十分困难，但MR混合现实技术向我们提供了目前该问题最好的解决方案。 通过MR混合现实技术，可以在2D屏幕全方位展示玩家在VR环境中的体验，让他人看的懂你的VR，只有让人看的懂，VR才有可能会被广泛传播，所以MR混合现实技术是推动VR广泛传播和普及最行之有效的方式。
MR的商业价值是什么？
——使更多的消费者看到整个VR体验的过程，产生体验的欲望，刺激消费进行购买，是推动VR广泛传播和普及最行之有效的方式。
目前大部分VR游戏和应用都集中在steam vr平台上，然而消费者在决定购买和体验一款VR应用时，仅仅靠制作方的宣传片是不足以了解需要的内容，而且由于VR体验的相对封闭性，旁观者在观看体验者进行VR内容时只能看到体验者在空间范围内没有意义的动作，十分乏味；假如加入了混合现实的拍摄技术，把体验者在进行VR内容的过程记录下来并与体验者的现实动作相结合，这样VR体验的乐趣也能够得到分享，能够更好的推广vr应用，使更多的消费者看到整个VR体验的过程，产生体验的欲望，刺激消费进行购买。
1、对虚拟演播室的价值：虚拟演播室成本高昂（约几百万），效果差，操作难度大。用MR的方式对虚拟演播室进行技术升级和改良，可以节约成本，实现简单的一键式操作，构建一个虚实有机融合的演艺空间系统，使得演艺效果呈现清晰流畅真假无缝融合的逼真效果。
2、对网络演艺传播（直播）的价值：目前的直播行业，拍摄背景单调，传播效果参差不齐，用MR的方式来升级直播行业，可以极大地丰富直播的展现背景和效果，主人公可以随时随地“穿越”到他/她想到的任何时空范围内，大大增强了直播的趣味性，直播的画面感也有所提高和增强。
3、对文化展览展示的价值：目前文化展览展示行业受限于场地实物的限制，展现方式较为单一，展现效果也差强人意，互动性不强，用VR和MR的方式来打造全新的展览展示行业，可以使展现效果多样化，甚至可以使现场人士和虚拟场景中的人和物进行交互，将展览展示行业提高了一个指数级的高度。
在VR体验过程中，MR混合现实拍摄技术可以捕捉现实玩家画面，并将他们正在玩的画面映入虚拟环境之中，这样就能够通过2D显示器展示玩家在VR中所做的事情，是目前将 VR 呈现在 2D 屏幕上最好的方式。
MR视频的原理
普通的VR视频是将体验者左眼看到的影像录制下来。这样的第一人称视角录制带来两个问题，一是因为视角原因看不到体验者的全身，二是即使低头看到了，也只是看到虚拟的模型，甚至多数时候只能看到两只漂浮的手。要解决这两个问题。就需要
l 切换成第三人称视角
l 将体验者的影像也录制下来
l 将游戏画面和摄像机影像合成
1. 切换成第三人称视角
普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼，分别生成左右眼的画面传给HMD，然后将其中一只眼的画面复制到PC屏幕上。为了让屏幕上产生第三人称视角的游戏画面，就需要在和玩家一定距离外摆放一个额外的虚拟camera，并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复刻，而是由这个额外的camera单独绘制的（会增加一定的渲染负担）。
2. 将体验者的影像录制下来
因为我们只需要玩家本人的影像，并不需要看到房间里的桌子、墙壁等背景。所以要用到抠 像技术。在录制的时候，让体验者在一个周围是绿布（或者其他颜色）的房间里，然后用一个摄像机（webcamera或者专业的摄像机）录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉，就只剩下人的影像了。
3. 将游戏画面和摄像机影像合成
在1.和2.中我分别提到了一个虚拟摄像机和一个真实的摄像机。为了让他们拍到的影像能合成起来，需要保证他们的视角是一样的。也就是说，假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角，那么要保正现实中摄像机在体验者左前方2米，朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。 将额外的手柄绑在摄像机上，或者将手柄和摄像机绑在同一个位置上，原则是确保它们相对位置、相对朝向是不变的。这样当现实中摄像机移动时，游戏通过感知手柄的位置变化，也相应地改变虚拟摄像机的位置。然后，把游戏中的物体按位置分为两类，一类是前景，位置在摄像机到玩家之间，另一类是背景，位置在玩家之后。最后把背景、体验者影像、前景合成成视频。
MR混合现实技术可以解决什么问题？
——打破 VR体验封闭性，向外界清晰的传达你的VR感受，让人一目了然的看懂你的VR体验。
身为VR玩家的你要如何向你身边的朋友展示你正在玩的VR游戏呢？或许你会说：脱下VR头盔，让朋友们戴上体验。没错，你的确可以这样，不过这样十分的麻烦，尤其是当你要向多名玩家展示你所玩的游戏的时候。在此之前，要向其他玩家展示你所玩的VR游戏或许十分困难，但MR混合现实技术向我们提供了目前该问题最好的解决方案。 通过MR混合现实技术，可以在2D屏幕全方位展示玩家在VR环境中的体验，让他人看的懂你的VR，只有让人看的懂，VR才有可能会被广泛传播，所以MR混合现实技术是推动VR广泛传播和普及最行之有效的方式。
MR的商业价值是什么？
——使更多的消费者看到整个VR体验的过程，产生体验的欲望，刺激消费进行购买，是推动VR广泛传播和普及最行之有效的方式。
目前大部分VR游戏和应用都集中在steam vr平台上，然而消费者在决定购买和体验一款VR应用时，仅仅靠制作方的宣传片是不足以了解需要的内容，而且由于VR体验的相对封闭性，旁观者在观看体验者进行VR内容时只能看到体验者在空间范围内没有意义的动作，十分乏味；假如加入了混合现实的拍摄技术，把体验者在进行VR内容的过程记录下来并与体验者的现实动作相结合，这样VR体验的乐趣也能够得到分享，能够更好的推广vr应用，使更多的消费者看到整个VR体验的过程，产生体验的欲望，刺激消费进行购买。
1、对虚拟演播室的价值：虚拟演播室成本高昂（约几百万），效果差，操作难度大。用MR的方式对虚拟演播室进行技术升级和改良，可以节约成本，实现简单的一键式操作，构建一个虚实有机融合的演艺空间系统，使得演艺效果呈现清晰流畅真假无缝融合的逼真效果。
2、对网络演艺传播（直播）的价值：目前的直播行业，拍摄背景单调，传播效果参差不齐，用MR的方式来升级直播行业，可以极大地丰富直播的展现背景和效果，主人公可以随时随地“穿越”到他/她想到的任何时空范围内，大大增强了直播的趣味性，直播的画面感也有所提高和增强。
3、对文化展览展示的价值：目前文化展览展示行业受限于场地实物的限制，展现方式较为单一，展现效果也差强人意，互动性不强，用VR和MR的方式来打造全新的展览展示行业，可以使展现效果多样化，甚至可以使现场人士和虚拟场景中的人和物进行交互，将展览展示行业提高了一个指数级的高度。
