現(xiàn)代醫(yī)學(xué)的發(fā)展，幾乎依賴于所有的基礎(chǔ)科學(xué)和應(yīng)用科學(xué)的進(jìn)步。作為一名神經(jīng)外科醫(yī)生，看著腦部CT或MRI膠片，依賴于自己的豐富經(jīng)驗(yàn)，就進(jìn)入手術(shù)室的年代，正在遠(yuǎn)去。近十多年來，多模態(tài)影像融合技術(shù)，已經(jīng)日臻完善。在手術(shù)之前，通過計(jì)算機(jī)軟件，將患者頭部的CT、磁共振、PET（正電子發(fā)射計(jì)算機(jī)斷層掃描成像）等等多種影像融合，并且3D重建出來，可以讓醫(yī)生充分了解病變的信息，制定優(yōu)化的手術(shù)策略，這些，在清華大學(xué)玉泉醫(yī)院（清華大學(xué)中西醫(yī)結(jié)合醫(yī)院）神經(jīng)外科三病區(qū)已經(jīng)是每臺手術(shù)的必備項(xiàng)目。

近幾年來又提出了新的需求：能否把計(jì)算機(jī)3D重建的虛擬圖像，映射到患者的頭部？這將更直觀地讓醫(yī)生“看”到腦部的各個結(jié)構(gòu)層次。早在三年前，市場上已經(jīng)出現(xiàn)了諸多小型、便于移動的投影儀，使用起來很方便。利用這種便攜式投影儀，就可以把計(jì)算機(jī)上顯示的圖像投射到患者的頭部，不過，操作起來并不方便，醫(yī)生需要不斷調(diào)整距離和角度，才能讓圖像和患者實(shí)際的頭部重合，而且也有一定的誤差，臨床應(yīng)用受到了限制。

神經(jīng)外科三病區(qū)和清華大學(xué)生物醫(yī)學(xué)工程系以及社會力量共同合作，開發(fā)出一種新技術(shù)——將攝像頭和投影儀整合在一起，通過軟件控制，讓虛擬和現(xiàn)實(shí)可以實(shí)時融為一體。醫(yī)生需先在軟件里進(jìn)行影像的融合與3D重建，并設(shè)計(jì)好手術(shù)路徑。在手術(shù)前，對患者的頭部進(jìn)行實(shí)時掃描，攝像頭采集信息，在計(jì)算機(jī)內(nèi)生成一個3D的表面輪廓，然后和事先通過影像重建的模型自動進(jìn)行匹配，就可以在患者頭部表面精準(zhǔn)地投射出重建的模型。根據(jù)需要，醫(yī)生可以直觀地看到想看的結(jié)構(gòu)，例如，顱骨、血管、病變等等，可對手術(shù)路徑做進(jìn)一步的改良與優(yōu)化。

視頻中所顯示的，是在2022年底，神經(jīng)外科三病區(qū)在一臺普通開顱手術(shù)前的早晨，應(yīng)用這種智能視覺識別技術(shù)，優(yōu)化手術(shù)方案的場景。另外這種解決方案，對現(xiàn)有條件要求不高，硬件也小巧且便攜，很容易普及。

其實(shí)，早在2019年，剛剛提出虛擬與現(xiàn)實(shí)融合的需求時，神經(jīng)外科三病區(qū)就同時在研發(fā)更高一級的應(yīng)用場景，將這種智能視覺識別技術(shù)和導(dǎo)航或者神經(jīng)外科手術(shù)機(jī)器人結(jié)合起來，將會更加方便地輔助醫(yī)生改進(jìn)手術(shù)方案，也會讓手術(shù)變得更加安全，創(chuàng)傷也更小。目前，工程樣機(jī)已經(jīng)完成，實(shí)驗(yàn)數(shù)據(jù)顯示，特別是對于微創(chuàng)手術(shù)，大大提高了安全性和高效性，此技術(shù)即將開展臨床應(yīng)用。