『壹』 VR系列專題一:什麼是VR
VR的中文名稱是虛擬現實,它利用計算機和各種感測技術,使人能夠在模擬的現實環境中進行各種活動。我們體驗VR的設備是VR頭顯,目前市面上的VR頭顯可為三大類:
PC/主機VR
移動VR
VR一體機
另外清晰度也和顯示器有關。一方面,高清晰度的視頻需要高解析度的顯示器來支持,顯示器解析度越高,對於觀看的清晰度越好。另一方面,人和顯示器的距離也會影響到觀看是否清晰。例如普通的2K電視,我們的觀看距離大概是2-3米甚至更遠,這時會覺得挺清晰的,但是如果我們靠近到半米內觀看,就會覺得不清晰。在VR中,屏幕距離人眼大概5-10cm,經過透鏡光學放大後,大概會在前方25-50cm處成像,想像下在半米內看2K電視會看到什麼,可能是顆粒和鋸齒!
從生理角度看,這其實與人眼視覺有關。人眼在一度的視角內所能看到的像素數稱為PPD(Pixels Per Degree),一般而言PPD越大,觀看清晰度越高,當PPD達到60(人眼視網膜極限)時觀看清晰度最高。以4K(3840*1920)的VR全景視頻為例,其水平方向PPD約為11(3840/360=10.67),遠低於60,而觀看普通標清視頻的PPD約為11,所以從PPD的角度看,目前的4K VR全景視頻和標清的普通視頻觀看起來清晰度是差不多的。
不過不用擔心,VR全景視頻的體驗很快會得到大幅提升,因為在VR全景視頻製作中,專業級的全景攝像機已經可以生成8K的全景視頻源,而顯示屏也將在2017年升級為4K。
那為什麼8K全景視頻需要4K顯示屏呢?我們知道8K電視觀看8K視頻是比較理想的,但在VR全景視頻中不是。8K全景視頻的水平PPD約為22(7680/360=21.33),我們以最基礎的90度FoV要求來估算,則單眼水平像素數為21.33*90=1920,即屏幕解析度需要達到單眼1920*1920,雙眼3840*1920,也就是需要4K屏了。用同樣的方法可以得到4K全景視頻需要2K解析度的顯示屏。如果以Vive和Rift的110度FoV計算,結果會略有偏差,但總的來說,雙眼2K的頭顯適合看4K VR全景視頻,雙眼4K的頭顯適合看8K VR全景視頻。
2.1.2眩暈感
在體驗VR時,畫面經常是變化的,而人通常是靜止的,這時候容易感到眩暈,和暈車暈船的情況差不多。這種情況下,變化的畫面通過人體的視覺系統傳到大腦,大腦認為畫面變化是由於身體發生了某些運動引起的,而控制著身體平衡與協調的耳前庭器官並沒有向大腦反饋身體的運動信息,因此大腦感受到視覺信息和運動的不協調,就可能會導致眩暈、惡心或者嘔吐等反應,俗稱暈動症。暈動症也和個體的體質有關,正如有的人容易暈車而有的人天生就不暈。
天生暈VR的人通過後天的鍛煉可以克服VR暈動症,同時設備商也會從設備角度幫助我們減少暈動症的影響。經過研究,引起VR眩暈的一個主要原因是MTP(Motion To Photons)時延,MTP時延是指從頭動到顯示出相應畫面的時間。MTP時延太大容易引起眩暈,目前公認的是MTP時延低於20ms就能大幅減少暈動症的發生。為降低MTP時延,一方面需要提升GPU的渲染性能,另一方面需要將顯示屏的刷新率提高到75HZ以上,目前Vive和Rift都達到了90HZ的屏幕刷新率。所以不用太擔心眩暈的問題。
2.1.3流暢性
提高刷新率的另一個好處是使畫面更加流暢。一講到刷新率,大家自然會聯想到幀率。刷新率和幀率是不同的概念,但它們影響了VR體驗的流暢性。
普通電影一般是24FPS的幀率,看起來是足夠流暢,而李安的《中場戰事》有120FPS,更加流暢,據說全球只有5家電影院能播放!這是因為高幀率的視頻需要高刷新率的顯示器來匹配,例如用60HZ的顯示器來播放120FPS的視頻,那麼顯示器會每隔一幀顯示一個畫面,人看到的還是60FPS的效果,因此刷新率是畫面變化速度的上限。反過來用60HZ的顯示器來播放30FPS的視頻,那麼顯示器會把每一幀畫面顯示兩次,人在這一秒看到的是30幀畫面,所以在顯示器支持的情況下,幀率代表了畫面實際的流暢性。
電影利用了人眼視覺暫留特性形成流暢的畫面,一系列靜態畫面以每秒 24幀播放,就能騙過大腦產生動態的感覺。但是在一些大型游戲中,24FPS還不夠,例如CS、LOL游戲可能需要60FPS或以上才感覺流暢。拍攝電影所用的膠片或者數碼感光元件也像人眼一樣具有視覺殘留,以24FPS為例,每幀電影畫面記錄的是1/24秒內所有物體的運動軌跡影像,於是人眼觀看起來感覺很流暢很舒服。而游戲的畫面是GPU渲染出來的,每幀游戲畫面對應的是一個瞬間的影像,即使是運動很快的物體也會渲染得很清晰,不符合人眼的觀看習慣,於是感覺很矛盾、不流暢。
這種情況在VR中會更突出,而不流暢的畫面也可能會引起眩暈,所以VR需要高刷新率的顯示器,同時還要高性能的GPU來保證穩定的、比較高的幀率。
2.2交互體驗要素
為什麼大家都覺得廉價的VR盒子體驗不好呢?很大的一個原因是因為它的交互很少,交互可以簡單地理解為我們向VR系統的輸入和VR系統向我們的反饋。好的交互能帶來更強的沉浸感,試想在PSVR中玩《生化危機7》的時候,用自己的手來拿武器攻擊喪屍比用手柄來控制,是不是更帶感?交互包括了位置追蹤、輸入控制和反饋等方面。
2.2.1追蹤系統
如果人在VR中發生了移動、轉動,而畫面沒有得到相應的變化,那麼就會感到不自然,所以需要進行追蹤。我們移動的方向有三組,前後左右上下,頭部的轉動方向也是有三組,左看右看,上看下看,還有左右歪著頭看,所以一共是有6個自由度的運動,稱為6DoF(Degree of Freedom)。普通的VR盒子只能追蹤頭部的轉動,只有3DoF。當然更自然的、更好的是6DoF的追蹤。
隨著2017年1月份的CES展會,inside-out的追蹤基本成為VR盒子、VR一體機的標配。對應的還有outside-in追蹤,Vive/Rift/PSVR的追蹤系統就屬於outside-in。所謂的outside-in 是需要在頭顯的外部空間放置一些追蹤設備,例如Vive的兩個lighthouse基站。而inside-out就是在頭顯內部集成了追蹤系統,不需要再安裝其他設備了。它們是兩種不同的追蹤方式,各有優劣。
2.2.2輸入控制和反饋
好的VR體驗,還需要有好的輸入控制和反饋系統。例如手勢識別可以讓我們更自然的控制虛擬化身的手,表情識別可以極大地方便我們在VR中分享心情。另外,人的視覺、聽覺、觸覺、嗅覺、味覺可以直接關繫到VR的沉浸感。立體視覺和立體音效已經可以實現,觸覺、嗅覺和味覺的反饋技術也在加快發展。在VR中,「這是一個有味道的視頻」就不再是調侃了。
三、良好VR體驗的網路需求
有了好的VR設備,我們還需要好的網路來支撐VR應用的體驗。例如我們通過VR看全景視頻時,如果網路帶寬不夠,就會發生卡頓,卡頓情況嚴重的可能會導致身體不適。還有在玩VR在線游戲時,如果網路時延較大,輕則輸掉游戲,重則引發頭暈惡心。因此VR體驗的好壞還受到網路的影響。接下來為普通家庭介紹良好VR體驗具體需要的網路。
3.1 良好VR體驗的網路需求
如果是主要是看VR視頻,那麼需要比較大的帶寬,根據iLab發布的《面向VR業務的承載網路需求白皮書》,看4K全景視頻大概需要25Mbps的帶寬,看8K全景視頻大概需要100Mbps的帶寬。具體計算公式為:每幀像素數(7680*3840)*色深(8bit)*每秒的幀數(30fps)*YUV420采樣率(3/2)*H264的壓縮比(1/165)*經驗值(1.5)。
為了提高我們的觀看體驗,2017年VR全景視頻會逐步提升至8K,所以建議按照8K全景視頻的帶寬需求來計算。另外需要考慮一個家庭的VR終端數,中國家庭戶均人數約為3人,那麼普通家庭可能會擁有1-3個VR終端,所以建議100-300Mbps的帶寬套餐。
如果主要是玩VR游戲,對帶寬的需求沒有看VR全景視頻那麼高,但是對網路時延的要求卻比較高。玩VR在線游戲時,網路主要是負責傳輸一些控制數據,為了減少暈動症的發生,需要保證網路時延+設備處理時延小於20ms。設備處理時延包含屏幕的刷新周期11.1ms、感測器采樣時間1ms、顯卡渲染時間(大概幾毫秒),所以留給網路傳輸的時間不多了,建議使用光纖套餐。
綜合考慮,目前可以推薦100-300Mbps的家庭光纖帶寬。
3.2 VR對網路需求仍在提高
第一,目前的VR還處於發展早期階段或入門體驗階段,未來1-2年會有較大體驗提升,包括解析度更高、幀率更高、視場角更大、基本不會眩暈等。第二,社交元素在不斷地融入到VR應用當中,通過VR聊天,玩多人在線的VR游戲等等。所以未來幾年良好VR體驗將會需要更高的家庭帶寬和更低時延的網路。
通過以上的科普,應該對VR有了一定的了解了。也可以開始入這個VR坑了,期待未來它會發展的越來越好。