全球首例！联影智能多模态大模型打开口腔颌面整复外科手术新思路

今年6月，来自香港大学牙医学院口腔颌面外科的苏宇雄教授和蒲静雅医生，在香港玛丽医院实施了一场「特别」的手术——「全球首例」由医疗多模态大模型驱动的口腔颌面整复外科手术，为虚实结合的手术技术发展开启了一个新方向。

多模态大模型赋能，探索未来手术新方式

此次手术是为帮助一位因患肿瘤失去单侧下颌骨的患者重建下颌骨，以恢复正常口腔颌面功能。手术需要将患者下肢的腓骨和皮肤及软组织移植至口腔内，以替代缺失的下颌骨和软组织。

此类手术成功实施的关键操作之一，在于精准定位并提取患者下肢软组织内的穿支血管。传统方式下，通常只有高水平、高年资的医生才可在定位过程中做到最小误差，而定位的精度常受限于超声等不够精准的影像；同时，医生还需要花费大量的精力耗费于反复比对超声图像和手术部位的手动勾画。

然而此次，苏教授团队首次使用联影智能多元手术治疗平台 uAI MERITS，创新性地解决了传统口腔颌面整复手术穿支皮瓣制备中，医生靠经验和感觉定位穿支血管的临床痛点。

联影智能多元手术治疗平台 uAI MERITS 是一款用于机器介入、治疗和手术的元宇宙生态系统。它依托医疗多模态大模型技术，可创建在手术场景下的患者、医务人员和操作环境的数字孪生，为术前准备、术中导航、术后随访提供全方位的智能支持。

此次的手术方案，通过在术前使用基于各种医疗图像上训练的Transformer模型实现精准分割；在术中，通过一个多模态大模型来实现术中 3D 图像和视频配准、透视投影和动态视觉跟踪，实时提供术中的指引，大大提升手术效率和精准度。

图1：苏宇雄教授团队正在实施手术

图2：蒲静雅医生根据 3D 重建的血管投影标记小腿穿支血管

目前，该团队已成功完成三例由 uAI MERITS 平台赋能的口腔颌面整复外科手术，其中区别于前两例的腓骨肌皮瓣制备手术，第三例手术首次实现了股前外侧穿支皮瓣制备手术。这些里程碑式的成功标志着多模态大模型在外科手术领域已迈出重要一步，为虚实结合的手术技术发展开启了一个新方向。

AI技术加速演进，范式变革揭开序幕

6 月，在于香港举办的国际口腔面部康复学会会议中，苏教授分享了使用 uAI MERITS 开展口腔颌面外科修复手术的最新实践，引发与会专家们的高度关注。

苏教授强调，软组织规划是计算机辅助手术治疗的最后一块拼图，其中以术中精准定位软组织供血动脉——穿支动脉为代表的技术难题，始终困扰着医生在手术精准度和效率方面的提升。但 uAI MERITS 的赋能，使穿支动脉、血管、骨骼等在术中就得以直观展现，一举解决长期以来的痛点问题，这意味着多模态大模型等人工智能新技术正引领着颌面外科手术的范式变革。

图3：苏宇雄教授分享 uAI MERITS 的最新实践

谈及 AI 技术的未来前景，苏教授指出，随着 AI 技术的演进和应用，口腔颌面外科手术将有望促进术后美观性和功能性的双双提升，既能深度融合美学考量，又能改善患者术后功能恢复。同时他也表示，技术的研究者是极具创新精神的，作为技术的使用者，更应延续和发挥这份创新精神，共同激发未来手术的无限可能。

会议期间，联影智能首席医疗官夏炯教授也出席并发言，他详尽介绍联影智能在大模型领域的全维布局，从基础模型的构建，到基于基础模型所打造的多余款 AI 应用，包括语言大模型、图像大模型和多模态大模型等，再度点燃与会者对大模型创新技术的热情。

图4：夏炯教授介绍 uAI MERITS

长期深耕与积累，持续拓宽拓深应用场景

本次新技术在手术场景中的成功应用，得益于联影智能在医学影像领域的长期深耕与积累。例如，在本次手术中发挥关键血管重建作用的联影智能CTA下肢血管智能系统，辅助了医生实现快速、精准的腓骨肌皮瓣移植。

图5：联影智能CTA下肢血管系统辅助穿支血管分割重建

该应用是联影智能在「全栈全谱」策略下所推出的其中一款 AI 应用。截至目前，联影智能已开发超过 100 多款 AI 应用，其中 50 多款专注于临床工作流程，覆盖神经、心血管、胸部、肿瘤、手术等。

基于既有的医学影像 AI 产品布局，并深度融合前沿的大模型技术，未来 AI 在医疗场景中的应用边界将进一步拓宽、拓深，不仅能够为临床决策提供强有力的支持，还能在复杂疾病的治疗中发挥关键作用，带动整体医疗行业的智能升级。