在增强现实腹腔镜手术期间体内估计目标配准误差

概要
目的
成功使用增强现实技术进行腹腔镜手术需要外科医生彻底了解任何覆盖层的可能准确性。虽然可以在实验室中估计这种系统的准确性，但是很难将这些方法扩展到体内临床环境。在本文中，作者描述了一种新颖的方法，该方法使外科医生能够在使用期间估计体内误差。作者表明该方法能够定量评估用SmartLiver图像引导系统收集的体内数据。

方法
SmartLiver系统利用直观的显示，使外科医生能够比较投影模型和实时视频流中可见的地标位置。由此，外科医生可以在使用系统定位实时视频中不可见的地下目标时估计系统精度。可见地标可以是点或线要素。作者使用解剖学上代表性的肝模型测试算法的有效性，应用模拟扰动来实现临床上真实的重叠误差。然后作者将该算法应用于体内数据。

结果
体模结果表明，使用表面特征的投影误差为代表性人体肝脏形状提供了地下目标配准误差的可靠预测。将该算法应用于使用SmartLiver图像引导手术系统收集的体内数据，结果表明该系统的精度约为12 mm;然而，实现这一目标仍然是一项重大挑战。

结论
作者提出了SmartLiver图像引导手术系统的体内定量评估，以及评估算法的验证。这是腹腔镜手术增强现实系统的首次定量体内分析。

关键词：图像引导手术，增强现实，肝脏，验证，误差测量，腹腔镜

介绍
由于术后疼痛和瘢痕形成显著减少，腹腔镜肝切除术通常优于开放手术[7]。目前，专科医院中只有少数患者接受腹腔镜切除术。腹腔镜切除率低的一个原因是外科医生通过腹腔镜相机和监护仪识别关键解剖结构的困难[4]。这可以通过将外部图像引入手术来解决，称为图像引导手术（IGS）。最近的综述[5]描述了腹腔镜IGS的现有技术。在大多数情况下，由于难以在变形和移动器官上形成良好对齐的覆盖物，因此避免了模型直接覆盖在腹腔镜视频上的增强现实（AR）。一种方法是显示从手术场景旁边的术前计算机断层扫描（CT）得到的实体模型。虽然模型可以定向为匹配手术场景，但是外科医生需要识别模型和视频之间的最终对应关系。 [10]报道了首次报道在腹腔镜肝脏手术中使用AR覆盖层的情况，以便了解AR腹腔镜系统的优点。作者开发了“SmartLiver”IGS系统，以显示肝脏模型覆盖在腹腔镜的视频输入上。这给外科医生带来了一些认知负担;然而，它提出了对错误的感知和解释的问题。

在任何AR系统中，叠加层与屏幕上可见的内容之间将存在未对准。此外，外科医生必须负责解释并采取任何明显错误。为实现这一目标，作者实施了先进的可视化算法，以便外科医生快速识别AR覆盖误差。图图11显示了使用作者的系统的体内覆盖图。覆盖层的一个关键特征是作者保持了肝脏的投影2D轮廓，可以与可见的解剖结构进行比较。该轮廓使得能够估计任何重叠的不可见解剖结构的准确性。


图1
通过腹腔镜相机看到的右肝叶，左图。右图显示了使用SmartLiver系统增强的相同场景。显示为橙色线的肝脏轮廓可以与可见的肝脏轮廓进行比较。不匹配给出了对不可见血管，静脉（蓝色和紫色）​​和动脉（红色）的覆盖精度的估计。胆囊（黄色轮廓）和肿瘤（绿色）也可见

背景
腹腔镜IGS进展缓慢的一个原因是缺乏对准误差的测量和解释的现实方法。与整形外科或神经外科手术相比，腹部的解剖结构是可移动的，因此使用刚性配准的IGS可能遭受显著的局部误差。理论上可以使用可变形配准和运动模型[17];然而，这增加了复杂性，并使外科医生更难以解释系统的性能。呼吸保持或门控也可用于提高表观准确性，但代价是可用性。

柯林斯等人。 [9]研究表面重建方案的变化对刚性和非刚性表面配准的影响。他们表明，使用刚性配准的系统可能会有大约10毫米的配准误差，而可变形配准可以下降到大约6毫米。这些数字也与作者的结果一致。

康等人。 [13]提出了一种AR腹腔镜系统，其通过仅使用术中获取的超声图像来避免扫描和手术之间的软组织运动和变形的一些问题。他们报告的超声AR系统误差约为3 mm。此类系统中的主要错误来源是跟踪和校准错误，这再次提供了与作者系统的有用比较。

Hayashi等人。 [12]提出了一种新的胃手术登记方法，使用地下标志逐渐改善登记，当它们在切除期间变得可见时。他们报告的精度约为13毫米，这与作者最佳的12毫米精度相似。有趣的是，他们报告说他们的外科医生认为该系统在10毫米的精度下会变得有用，因为外科医生应该能够在精神上补偿由变形和运动引起的残留配准误差。

Amir-Khalili等。 [1]建议显示显示所显示目标周围不确定性的轮廓。另外，Pratt等人。 [15]覆盖器官表面的线框。根据作者的经验，这些方法对于肝脏手术而言过于杂乱，因此作者建议使用轮廓渲染。当使用可变形配准时，对准误差的通信变得更难。 Bano等人。 [3]显示了两项与作者的临床研究相关的研究结果，这些研究使用术中C臂来指导肝脏的非刚性登记。首先，在他们的猪模型中，由吹气引起的变形是配准误差的重要来源（约8mm）。此外，在内部血管测量的误差显著高于（在肝脏表面测量的误差约6mm）。

本文的贡献
作者提出的体内误差测量方法使用肝脏轮廓的可见错位（图（图1）1）来推断不可见目标解剖结构的错位。在本文中，作者定义了可见未对准，重投影误差（RPE）的度量，并测试了RPE是地下目标未对准或目标配准误差（TRE）的有用预测器的假设。在某种程度上，这可以使用Fitzpatrick和West [11]最初提出的基准定位误差（FLE）和TRE之间的关系来估算;但是，有两个因素限制了他们的方法的适用性。首先，个体体内标志物的FLE不是独立的随机变量，因为它们都会受到腹腔镜和组织运动的校准和跟踪中的系统误差的影响。 FLE的独立性是[11]和衍生作品的关键假设;因此，当假设不成立时使用这些关系可以显著低估TRE [19]。其次，在作者的RPE计算中，有效地丢弃了垂直于相机镜头的误差，因为它们不能从2D图像估计。这会产生从3D未对准误差到2D RPE的非线性变换。因此，目前尚不清楚RPE是否可以安全地用作FLE的代理。

在作者的临床前工作中，只有点标志用于验证[21];然而，在作者正在进行的体内验证过程中，作者发现很难识别人体肝脏上的点标志。一般来说，作者能够使用的地标集中在靠近镰状韧带的高曲率点周围。相反，可以识别整个肝脏可见边缘的线标志。为了能够在体内验证系统，作者因此开发了一种使用点和线界标特征来测量RPE的新算法。

通过本文，作者做出了三项重要而新颖的贡献。作者测试了使用来自点和地标特征的RPE来估计地下TRE的有效性，这样作者就可以实现从临床前到临床研究的转换。其次，该算法应用于9个体内病例，据作者所知，这是对多个患者的肝脏AR IGS系统进行定量评估的第一次尝试。最后，作者描述了SmartLiver系统的持续发展，包括使用新颖的渲染引擎来实现未对准错误的体内可视化和改进的用户界面。

材料和方法
使用基于表面的配准的SmartLiver手术工作流程
SmartLiver系统硬件包括工作站PC和Polaris Spectra1光学跟踪系统，安装在带有不间断电源的定制手推车上。 PC运行基于NifTK软件平台的定制软件[8]。 PC包括NVIDIA SDI采集卡和NVIDIA K6000 GPU。在剧院中，该系统位于腹腔镜堆叠旁边，允许外科医生在其现有视线附近看到增强现实覆盖物。

图22显示了从启动到增强现实覆盖的软件流程图和用户界面。直到患者准备好进行手术，安装时间不会影响整个手术室时间。一旦患者麻醉并准备好进行手术，时间就很关键，因此需要明确的工作流程和简单的用户界面。本文报道的体内数据是使用早期版本的用户界面收集的。由于用户界面通常难以使​​用，因此在剧院中执行的任何注册的质量都是高度可变的，如结果中所示。


图2
SmartLiver IGS软件的流程图。用户运行7个选项卡式屏幕，从系统初始化转移到注册和覆盖。为了提供最清晰的图像，作者使用了临床使用的图像混合（图3,4和8）和幻像测试（图1,2,5,6,7）

图22中的步骤6和7定义了从模型空间到世界空间的变换，此后表示为TM2W。一旦估计出TM2W，外科医生就可以参考增强现实显示器来定位地下解剖结构。如果肝脏显著移动，可以重复步骤6和/或7以给出TM2W的新估计。可视化（图（图1）1）将可见解剖结构显示为2D轮廓，将内部解剖结构显示为深度模糊表面模型。使用可视化库实现可视化.2外科医生可以使用可见轮廓和投影轮廓之间的不匹配来快速评估系统精度。使用手术期间保存的数据，在手术后进行登记准确性分析。这些数据包括整个过程中记录的视频和跟踪数据，腹腔镜的校准数据，以及剧院注册中TM2W的任何估计。

估计重投影误差
在一些应用中可以估计增强现实中的误差，其中特征在视频和投影模型中都是可见的。这种方法在作者之前关于临床前和幻像数据的出版物[21]中有所描述，并在此处进行了扩展。

CT衍生模型和视频数据上的地标点由经过使用作者软件培训的外科医生手动识别。使用MITK的[14]点集交互插件，使用NifTK [8]完成模型上的点和线拾取。作者为视频数据编写了一个自定义点和线选择应用程序，现在它构成了NifTK软件套件的一部分。软件扫描一个记录的视频文件，每隔n帧停止一次，其中n由用户设置，通常在25到100帧之间，具体取决于录制视频的长度。软件找到与视频帧最接近的（及时）跟踪数据并检查时序差异。如果跟踪数据来自视频帧的20ms内，则向用户显示来自左右声道的一对静止图像。如果时间差大于20毫秒，则跳过帧。

当呈现两个静止图像时，用户能够点击它们中的任何一个来定义可见的标志。用户可以在点和线选择模式之间切换。界标对应于在患者模型上选择的那些。在给定框架中不可见的地标被简单地排除。

作者已经编写了另一个应用程序，使用标志点，摄像机校准，摄像机跟踪数据和TM2W来确定RPE。对于已经拾取了界标点的每个视频帧，计算所拾取的界标与其在模型上的投影位置之间的像素误差。不会投影到屏幕可见区域的地标将从分析中排除。

出于两个原因，表示像素中的错误是有问题的。首先，它没有任何物理意义，外科医生对系统误差与解剖结构的比​​较感兴趣，例如可以安全切割和烧灼的最小血管尺寸（约3 mm）。其次，它没有考虑物体与相机的距离。如果几何误差（以mm为单位）保持不变，则当相机靠近物体时，像素误差将增加。为了解决这个问题，作者将屏幕上的错误“重新投影”到相应模型特征距离处与相机框架平行的平面上。该平面上两点之间的距离可以毫米为单位测量。因为屏幕上的点被反投影到通过相应模型点的平面上，所以在垂直于相机平面的方向（z方向）上没有误差。

上述方法用于使用界标点的幻像和临床前数据[21]。然而，作者发现难以识别体内数据的相应界标点。具体而言，很难找到远离肝脏中心（靠近镰状韧带）的点特征。相比之下，可以在整个肝脏上识别线条特征，例如肝脏边缘，并由外科医生用于评估准确性。因此，该方法扩展到允许在肝脏表面上使用线特征。用户将线条定义为模型和视频上的一组离散顶点。计算误差时，视频图像上的线条被视为一组离散顶点，而顶点之间的线性插值则用于模型。图33显示了体模和体内数据中识别的线和点特征的示例。如何使用线测量RPE的问题比点更加模糊。作者使用以下算法：

在CT衍生的肝脏表面模型上定义唯一可识别的点和线（由直线段连接的点）。

对于给定的视频帧，标记任何可见的点和线。可以使用部分线，即不要求整条线在视频帧上可见。

图像上的每个线顶点都沿着光线通过相机的原点重新投影。

使用TM2W和世界到相机变换将模型特征转换为相机镜头的坐标系。

对于每条光线，找到相应模型线上的最近点（x）。

通过（x）定义与摄像机图像平面平行的平面（p）。

计算点x与光线与平面p的交点之间的距离。

重新投影线的所有顶点的平均距离是该特征的RPE。


图3
使用体模上的表面特征（左）和体内数据的示例投影。 屏幕上的功能（以黄色显示）在录制的视频图像上定义。 使用估计的TM2W从模型投射投影特征（白色）

实验1：TRE和RPE在肝脏模型上的相关性
假设RPE可用于估计TRE是作者提出的IGS系统效用的基础。 作者在这里测试这个假设。 为了估计系统定位地下标志的准确性，使用了定制的硅胶模型，见图44。


图4
有机硅肝模型用于验证。外部（左）代表成年雄性肝脏的外观和几何形状。内部针脚（中心，以红色突出显示）可固定肝脏模型，并作为测量TRE的底标志。右侧图像显示了底目标和地表标志的相对位置。 9个目标以红色显示，6个外围表面点标志以黄色显示，2个中心标志以绿色显示，9个线以蓝色显示

体模的形状取自成年男性肝脏的CT扫描。外观设计为代表健康的成人肝脏，以便能够在体模上测试计算机视觉算法[21]。肝体模的外部由柔性硅胶制成，可以重复安装在一组插入模塑环氧树脂基座的9个刚性销上，见图4.4。通过利用具有不同引脚几何形状的基座，该配置使得能够进行可变形配准的未来工作。

对于本文，作者将9个定位销视为次表面目标，因此可以通过移除柔性肝模型并测量针头位置来评估给定TM2W估计的准确性。该方法取决于柔性肝模型在基部上的定位的可重复性，其通过进行2次CT扫描来检查，肝脏模型被移除并在每次扫描之间被替换。然后使用针头位置对准CT扫描，并且在视觉上比较肝脏幻像表面的对准。没有观察到明显的错位。

通过使用单独的跟踪指针来定位世界空间中的针头，可以找到世界变换模型TM2W;但是，作者不使用此方法，因为它会对SmartLiver系统中观察到的重叠错误进行不准确的测量。使用单独的指针会导致立体腹腔镜的手眼误差和左右镜头校准，显示为线性偏移。 SmartLiver系统通过在腹腔镜镜片的坐标系中执行所有定位和叠加，避免了对高精度手眼校准的需求。肝脏模型相对于腹腔镜镜片位置在零时间定位。使用手眼变换和跟踪数据将模型放置在世界坐标中。随后使用相同的手眼变换将模型投影到屏幕上。如果腹腔镜运动在时间零和AR投射时间之间受到限制，则手眼校准中的不准确性在很大程度上抵消了。由于临床腹腔镜受到套管针的限制，作者发现在系统的临床前和临床评估期间就是这种情况。

为了获得更相关的误差测量，使用立体三角测量法发现TM2W如下。针头头部位置是从未覆盖的针头的视频序列中取出的多个立体图像对中手动定义的。使用每个立体对中的像素位置，两个相机的固有矩阵和从右到左的透镜变换来对销相对于左相机镜头的3D位置进行三角测量。使用手眼和跟踪变换将三角测量点放置在世界坐标中。结果是每个针头的世界空间中的点云。通过最小化每个Arun等人的基准配准误差（FRE），将模型中定义的针头对准这些点云的质心。 [2]。这种理想模型到世界变换的RPE（表示为TM2W（i））不会为零，因为跟踪，校准和点拾取引起的误差仍然存在;然而，RPE将近似最小化，使外科医生能够最好地估计地下目标的位置。因此，TM2W（i）被赋予零TRE。对于幻像数据集的世界变换的任何其他模型可以根据其相对于TM2W（i）的TRE来描述。

作者进行的实验包括：

识别肝脏模型的CT模型中的界标点和线。

记录肝脏模型表面的跟踪视频序列。

取下硅胶模型，记录地下引脚的跟踪视频序列。

识别两个视频中的地标点，以及表面视频中的线条。

使用TM2W（i）测量界标（针头和表面点和线）的RPE。

这样发现的RPE将显著低于体内数据观察到的RPE，因为体内没有遇到大量的误差源，最显著的是由于肝脏运动和变形导致的误差，但也难以实现最佳的刚体对准。尽管误差源是变化的，但作者假设它们的组合效应可以使用TM2W（i）的扰动来建模。为了创建足够的数据来测试RPE和TRE之间的相关性，作者生成了20,000个TM2W（i）的随机扰动，并测量了每个的RPE和TRE的均方根（RMS）值。

随机扰动由6个独立的随机变量定义，3个平移和3个旋转。所有旋转都是关于肝脏体模的质心。从标准偏差1.0mm的零均值正态分布中随机采样翻译。从标准偏差为1.2°的零均值正态分布中随机采样旋转。设定缩放比例（每毫米1.2°），使得1个标准偏差的平移或旋转导致跨肝脏体模的相同平均绝对位移。然后缩放旋转和平移（对所有六个矢量使用相同的标量）以从TM2W（i）给出定义的标准化欧几里德距离。以这种方式进行采样产生沿6个自由度中的每一个均匀分布的扰动。在从1到20英寸的归一化欧氏距离的每个整数值处产生1000个随机扰动。设定归一化欧几里德距离的范围以在临床代表性RPE处提供可用的结果分布。

在每个扰动变换（表示为TM2W（p））时，针对每个可用界标计算TRE和RPE。然后计算并报告多个标志上的每个测量的RMS值。使用方程式计算RMS TRE。 1，其中Xi是世界坐标中九个目标（针头）中每一个的位置矢量。

使用图4.4所示的表面特征的不同子集计算RMS RPE的三个测量值。第一个使用所有8个可用的表面点标志，第二个仅使用镰状韧带附近的2个点标志来表示可以在体内定位的点特征。 RMS RPE的最后一个测量使用这两个点标志以及9个线特征，主要沿着肝体模的前边缘，代表可以在体内定位的线特征。

实验2：评估体内数据
对于体内数据，由于底标志的位置仍然未知，因此不存在理想的变换。然而，作者能够收集大量的体内临床数据，尽可能接近“使用基于表面的注册的SmartLiver手术工作流程”部分中描述的方案。到目前为止，作者已经评估了九种临床程序的准确性。在每种情况下，在CT衍生的肝脏模型中和每个患者的数百帧视频中识别界标点。

在可用的情况下，通过剧院中的手动对准确定的任何世界变换模型TM2W用于测量表面标志上的RMS RPE。在有足够的点标志的情况下，还可以基于三角测量和地表标志点的登记来估计TM2W。这种基于地标的登记由类似的肝脏IGS系统[6,12]使用，因此它与作者的系统进行了有用的比较。

在大多数情况下，作者还记录了离体腹腔镜校准数据，无论是十字准线[20]还是早期的棋盘校准网格[23]。这些校准数据用于评估在没有组织运动的情况下系统的准确性。在视频数据中手动识别棋盘角或十字线中心，每个数据集数十帧。这些特征被三角化到世界坐标，这些用于使用“重新投影误差的估计”部分中描述的方法测量重新投影误差。与报告校准残差相比，使用此方法将包括在视频帧中拾取点时的错误，允许与体内准确度进行更直接的比较。

结果
实验1：TRE和RPE在肝脏模型上的相关性
记录肝脏幻影表面的视频，对表面点和线标志进行成像。共记录了2296个立体图像（2×540×1920像素）。用手稳定地移动腹腔镜，以大约30mm / s的平均速度（在镜片处测量）试图对每个界标成像。共有68幅图像由经验丰富的研究科学家用点和线标志的位置手动注释，总共提供76个点标志和104个线标志。然后从其基部移除柔性硅酮肝模型。记录了总共2460个立体对的固定销头，腹腔镜再次以约35mm / s的速度围绕体模稳定地移动。手动注释总共44帧，给出87个针头位置样本。

在CT模型中拾取的针头和从视频三角测量的针头形成两组有序的基准点，允许通过最小化FRE来找到TM2W（i）[2]。残余FRE为2.55 mm，表明使用[11]中的等式10将每个针头定位在2.89 mm左右时出错。 TM2W（i）的RMS RPE为2.15 mm

图55绘制了RMS TRE与RMS RPE和FRE的分布。 20,000个配准中的每一个根据它们的RMS RPE在以1至30mm的整数值为中心的1mm箱中装箱，对于每个箱，绘制RMS TRE的平均值和标准偏差。使用Pearson相关系数（r）和所有箱的平均标准偏差（σˉ）测量RMS TRE和RMS RPE或FRE之间的相关性。图5a5a绘制了RMS TRE与RMS RPE和FRE在针头自身上进行评估时的情况。 RMS RPE和FRE都与RMS TRE非常相关，这是一个不足为奇的结果，因为测量都是在相同的特征上进行的，但确认RPE可以在理想情况下用作TRE的代理。


图5
在可见特征上测量的RMS RPE与在体模的针头处测量的RMS TRE测量。 a显示使用9个针头测量的RMS RPE（即从其基部移除硅酮肝模型。）b显示使用肝脏模型表面上的3个子集特征测量的RMS RPE

图图5Bb示出了当仅使用表面界标特征计算RPE时RMS TRE与RMS RPE，而RMS TRE在地下针头处测量。第一条（红色）线显示了当所有（8个）表面点标志用于测量RPE时的结果，类似于作者的临床前结果（[21]）。在这种情况下，RMS RPE提供了良好的RMS TRE预测因子，Pearson相关系数为0.79。这表明，在表面点标志在重要区域可用的情况下，它们提供了地下精度的有用指标。第二条（蓝色）线显示更具临床实际情况，其中仅使用镰状韧带附近的那些点标志来计算RPE。在这种情况下，相关系数显著降低（至0.44），并且主要发生在15mm的RMS RPE之上的相关性，使得这种测量具有可疑的临床应用。图5b5b中的第三条（绿色）线显示了如何通过引入可在体内鉴定的表面线特征来改善相关性。

实验2：评估体内数据
分析了9名患者的数据。在手术期间进行采集，手动缓慢移动腹腔镜。采集时间和速度各不相同，但通常包括1-3分钟的视频，腹腔镜镜头以10-20 mm / s的速度移动。所使用的点和线特征的数量因患者而异。最小点数为3，最大值为7.最小行数为5，最大值为9.平均每个患者手动注释469帧视频数据，最小值为80，最大值为19094帧。视频和CT的注释由经验丰富的腹腔镜外科医生完成。在所有情况下，RPE在静态校准模式上，在一组三角形体内点标志上测量，并且使用基于点的配准登记一组体内线和点。得到的RMS RPE记录在表11的前三个数值列中。

表格1
针对人类临床数据测量的平均RMS RPE误差，根据误差源对每个误差测量进行分类

包含刻度的单元格表示给定的错误源（行）会导致给定注册方法（列）的总错误

表Table11中的最后三个数字列显示了使用SmartLiver系统的用户界面执行的注册结果。在四种情况下，在手术期间进行登记（手动实时对准），在三种不同情况下，在手术后对记录的数据进行手动对准（手动复制。对准）。使用基于表面的迭代最近点（ICP）算法进行一次注册，使用手术期间抓取的表面贴片。由于样本量较小，作者没有对不同的注册方法进行任何统计比较。

正如作者的临床前工作[21]，根据错误来源对整体错误的贡献来分析体内结果是有用的。表格11的底部10行显示了哪些错误源对每个结果有贡献。

讨论
从表格1.1中可以得出几个初步结论。动态和静态变形以及腹腔镜跟踪和校准误差的组合至少为10 mm。这是利用光学跟踪和刚性模型的腹腔镜IGS的最佳病例精度。 RMS RPE对于回顾性手动对准与剧院手动对准有轻微改善，可能是由于手术期间存在时间压力和人体工程学折衷。使用基于表面的ICP发现了最好的RMS RPE;然而，使这一过程变得强大仍然存在重大挑战。

体内结果表明，可以获得约12mm的表观精度（RPE），其对应于具有刚性配准系统的约15mm的平均表面下精度（图5b中的绿线）5b）。这种准确性在临床上是否有用目前尚不清楚。 SmartLiver IGS系统目前是唯一一种常规尝试增强现实覆盖的腹腔镜肝脏手术系统。正在进行临床评估，试图将准确性与临床结果联系起来。临床评估还可以分析最有用的报告错误的方法，即在这里作者报告RMS错误，而关注极端值可能更相关。有趣的是，外科医生通常对所实现的覆盖层印象深刻，鼓励该系统在其当前的准确度水平上可能是有用的。

作者的长期目标是开发一种临床指导系统，该系统能够可靠地实现优于5 mm的精度，以便外科医生能够在该尺寸的血管周围航行。然而，这个目标是在没有商定的方法来衡量准确性的情况下设定的，因此有点武断。尽管如此，这里给出的结果表明，只有通过可变形配准才能达到优于10 mm的精度。几组已经证明肝脏的可变形配准和呼吸运动补偿[16]在技术上是可能的[9,17]。这提出了当模型计算变形时外科医生如何解释对准误差的问题。进一步的工作可以比较TRE和RPE在更广泛的肝脏形状和结合可变形配准。作者提出的使用2D投射器官轮廓的方法应继续允许快速体内评估误差。

作者的幻像结果，图5,5，表明线标记特征的添加导致相同TRE的较小RPE。这可能是由于匹配两条线的自由度更大。在这种情况下，这有助于使RPE值更接近TRE;但是，该结果可能特定于测试的几何形状。需要进一步的工作来确定在更一般的情况下这是否属实。

基于体模结果，表面测量的RPE与地下标志处的TRE之间的正相关性在使用点和线时低于RMS RPE约6 mm，仅使用中心点时为10 mm。其主要原因可能是表面标志位置与地下目标之间的几何关系。理论上，控制基准标记和跟踪仪器设计的相同规则[11,19,24]可以为体内表面标志的理想选择提供信息，用于误差估计。作者已经开始工作[18]，研究哪些表面特征提供了最佳配准，这可以扩展，使覆盖层仅显示肝脏边缘的部分，以最大化表观RPE和TRE之间的相关性。

结论
作者已经描述了SmartLiver AR IGS系统的体内临床应用的一些方面。作者已经强调了IGS从临床前研究向临床研究过渡所涉及的许多挑战。其中最重要的是需要一种清晰且经过充分验证的方法来确定体内准确度。作者提出，测试和使用的算法应该能够在更大的患者队列中评估IGS系统，可能显示覆盖准确性和临床结果之间的相关性。

参考：
In vivo estimation of target registration errors during augmented reality laparoscopic surgery
1. Amir-Khalili A, Nosrati M, Peyrat JM, Hamarneh G, Abugharbieh R (2013) Uncertainty-encoded augmented reality for robot-assisted partial nephrectomy: a phantom study. In: Medical Image Computing and Computer-Assisted Intervention Workshop on Medical Imaging and Augmented Reality (MICCAI MIAR), vol 8090, pp 182–191
2. Arun KS, Huang TS, Blostein SD. Least-squares fitting of two 3-D point sets. IEEE Trans Pattern Anal Mach Intell. 1987;5:698–700. doi: 10.1109/TPAMI.1987.4767965. [PubMed] [CrossRef] [Google Scholar]
3. Bano J, Nicolau S, Hostettler A, Doignon C, Marescaux J, Soler L (2013) Registration of preoperative liver model for laparoscopic surgery from intraoperative 3D acquisition. In: Augmented reality environments for medical imaging and computer-assisted interventions, Lecture Notes in Computer Science, vol 8090, pp 201–210. Springer, Berlin Heidelberg
4. Bartoli A, Collins T, Bourdel N, Canis M. Computer assisted minimally invasive surgery: is medical computer vision the answer to improving laparosurgery? Med Hypotheses. 2012;79(6):858–863. doi: 10.1016/j.mehy.2012.09.007. [PubMed] [CrossRef] [Google Scholar]
5. Bernhardt S, Nicolau SA, Soler L, Doignon C. The status of augmented reality in laparoscopic surgery as of 2016. Med Image Anal. 2017;37:66–90. doi: 10.1016/j.media.2017.01.007. [PubMed] [CrossRef] [Google Scholar]
6. Buchs NC, Volonte F, Pugin F, Toso C, Fusaglia M, Gavaghan K, Majno PE, Peterhans M, Weber S, Morel P. Augmented environments for the targeting of hepatic lesions during image-guided robotic liver surgery. J Surg Res. 2013;184(2):825–831. doi: 10.1016/j.jss.2013.04.032. [PubMed] [CrossRef] [Google Scholar]
7. Ciria R, Cherqui D, Geller D, Briceno J, Wakabayashi G. Comparative short-term benefits of laparoscopic liver resection. Ann Surg. 2016;263(4):761–777. doi: 10.1097/SLA.0000000000001413. [PubMed] [CrossRef] [Google Scholar]
8. Clarkson M, Zombori G, Thompson S, Totz J, Song Y, Espak M, Johnsen S, Hawkes D, Ourselin S. The NifTK software platform for image-guided interventions: platform overview and NiftyLink messaging. Int J Comput Assist Radiol Surg. 2015;10(3):301–316. doi: 10.1007/s11548-014-1124-7. [PMC free article] [PubMed] [CrossRef] [Google Scholar]
9. Collins J, Weis J, Heiselman J, Clements L, Simpson A, Jarnagin W, Miga M. Improving registration robustness for image-guided liver surgery in a novel human-to-phantom data framework. IEEE Trans Med Imaging. 2017;36:1502–1510. doi: 10.1109/TMI.2017.2668842. [PMC free article] [PubMed] [CrossRef] [Google Scholar]
10. Conrad C, Fusaglia M, Peterhans M, Lu H, Weber S, Gayet B. Augmented reality navigation surgery facilitates laparoscopic rescue of failed portal vein embolization. J Am Coll Surg. 2016;223(4):e31–e34. doi: 10.1016/j.jamcollsurg.2016.06.392. [PubMed] [CrossRef] [Google Scholar]
11. Fitzpatrick J, West J. The distribution of target registration error in rigid-body point-based registration. IEEE Trans Med Imaging. 2001;20(9):917–927. doi: 10.1109/42.952729. [PubMed] [CrossRef] [Google Scholar]
12. Hayashi Y, Misawa K, Hawkes DJ, Mori K. Progressive internal landmark registration for surgical navigation in laparoscopic gastrectomy for gastric cancer. Int J Comput Assist Radiol Surg. 2016;11(5):837–845. doi: 10.1007/s11548-015-1346-3. [PubMed] [CrossRef] [Google Scholar]
13. Kang X, Azizian M, Wilson E, Wu K, Martin AD, Kane TD, Peters CA, Cleary K, Shekhar R. Stereoscopic augmented reality for laparoscopic surgery. Surg Endosc. 2014;28(7):2227–2235. doi: 10.1007/s00464-014-3433-x. [PubMed] [CrossRef] [Google Scholar]
14. Nolden M, Zelzer S, Seitel A, Wald D, Müller M, Franz AM, Maleike D, Fangerau M, Baumhauer M, Maier-Hein L, Maier-Hein KH, Meinzer HP, Wolf I. The medical imaging interaction toolkit: challenges and advances. Int J Comput Assist Radiol Surg. 2013;8(4):607–620. doi: 10.1007/s11548-013-0840-8. [PubMed] [CrossRef] [Google Scholar]
15. Pratt P, Mayer E, Vale J, Cohen D, Edwards E, Darzi A, Yang GZ. An effective visualisation and registration system for image-guided robotic partial nephrectomy. J Robot Surg. 2012;6:23–31. doi: 10.1007/s11701-011-0334-z. [PubMed] [CrossRef] [Google Scholar]
16. Ramalhinho J, Robu M, Thompson S, Edwards P, Schneider C, Gurusamy K, Hawkes D, Davidson B, Barratt D, Clarkson MJ (2017) Breathing motion compensated registration of laparoscopic liver ultrasound to ct. In: SPIE Medical Imaging, pp 101,352V–101,352V. International Society for Optics and Photonics
17. Reichard D, Häntsch D, Bodenstedt S, Suwelack S, Wagner M, Kenngott H, Müller-Stich B, Maier-Hein L, Dillmann R, Speidel S. Projective biomechanical depth matching for soft tissue registration in laparoscopic surgery. Int J Comput Assist Radiol Surg. 2017;12(7):1101–1110. doi: 10.1007/s11548-017-1613-6. [PubMed] [CrossRef] [Google Scholar]
18. Robu MR, Edwards P, Ramalhinho J, Thompson S, Davidson B, Hawkes D, Stoyanov D, Clarkson MJ. Intelligent viewpoint selection for efficient ct to video registration in laparoscopic liver surgery. Int J Comput Assist Radiol Surg. 2017;12(7):1079–1088. doi: 10.1007/s11548-017-1584-7. [PMC free article] [PubMed] [CrossRef] [Google Scholar]
19. Thompson S, Penney G, Dasgupta P, Hawkes D. Improved modelling of tool tracking errors by modelling dependent marker errors. IEEE Trans Med Imaging. 2013;32(2):165–177. doi: 10.1109/TMI.2012.2216890. [PubMed] [CrossRef] [Google Scholar]
20. Thompson S, Stoyanov D, Schneider C, Gurusamy K, Ourselin S, Davidson B, Hawkes D, Clarkson MJ. Hand-eye calibration for rigid laparoscopes using an invariant point. Int J Comput Assist Radiol Surg. 2016;11(6):1071–1080. doi: 10.1007/s11548-016-1364-9. [PMC free article] [PubMed] [CrossRef] [Google Scholar]
21. Thompson S, Totz J, Song Y, Johnsen S, Stoyanov D, Ourselin S, Gurusamy K, Schneider C, Davidson B, Hawkes D, Clarkson MJ (2015) Accuracy validation of an image guided laparoscopy system for liver resection. In: SPIE medical imaging. International society for optics and photonice, vol 9415, pp 941509–941509–12. 10.1117/12.2080974
22. Totz J, Thompson S, Stoyanov D, Gurusamy K, Davidson B, Hawkes DJ, Clarkson MJ (2014) Fast Semi-dense Surface Reconstruction from Stereoscopic Video in Laparoscopic Surgery. In: Information processing in computer-assisted interventions, Lecture Notes in Computer Science, vol 8498. Springer International Publishing, pp 206–215
23. Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf tv cameras and lenses. IEEE J Robot Autom. 1987;3(4):323–344. doi: 10.1109/JRA.1987.1087109. [CrossRef] [Google Scholar]
24. West JB, Maurer CR. Designing optically tracked instruments for image-guided surgery. IEEE Trans Med Imaging. 2004;23(5):533–545. doi: 10.1109/TMI.2004.825614. [PubMed] [CrossRef] [Google Scholar]