切换至 "中华医学电子期刊资源库"

中华肝脏外科手术学电子杂志 ›› 2024, Vol. 13 ›› Issue (03) : 328 -333. doi: 10.3877/cma.j.issn.2095-3232.2024.03.012

临床研究

智能化辅助图像实时去雾技术在腹腔镜胆囊切除术中的应用
彭子洋1, 王志博1, 王丹2, 彭浩茜2, 王蕾1, 彭薇1, 王娟娟2, 李宇3, 刘学民3, 吴荣谦1, 向俊西3, 吕毅4,()   
  1. 1. 710061 西安交通大学第一附属医院精准外科与再生医学国家地方联合工程研究中心;710049 西安交通大学未来技术学院
    2. 710061 西安交通大学医学部
    3. 710061 西安交通大学第一附属医院肝胆外科
    4. 710061 西安交通大学第一附属医院精准外科与再生医学国家地方联合工程研究中心;710049 西安交通大学未来技术学院;710061 西安交通大学医学部;710061 西安交通大学第一附属医院肝胆外科
  • 收稿日期:2024-02-26 出版日期:2024-06-10
  • 通信作者: 吕毅
  • 基金资助:
    国家自然科学基金重大研究计划项目(92048202); 国家自然科学基金面上项目(82172167); 陕西省重点研发计划项目(2022ZDLSF04-09); 陕西省自然科学基础研究计划项目(2021JM-268); 陕西省重点研发计划高校联合项目重点项目(2020GXLH-Z-001); 西安交通大学自由探索与创新项目(xzy022023069)

Application of intelligent auxiliary real-time image defogging technology in laparoscopic cholecystectomy

Ziyang Peng1, Zhibo Wang1, Dan Wang2, Haoqian Peng2, Lei Wang1, Wei Peng1, Juanjuan Wang2, Yu Li3, Xuemin Liu3, Rongqian Wu1, Junxi Xiang3, Yi Lyu4,()   

  1. 1. National and Local Joint Engineering Research Center for Precision Surgery and Regenerative Medicine, the First Affiliated Hospital of Xi'an Jiaotong University, Xi'an 710061, China; School of Future Technology, Xi'an Jiaotong University, Xi'an 710049, China
    2. Xi'an Jiaotong University Health Science Center, Xi'an 710061, China
    3. Department of Hepatobiliary Surgery, the First Affiliated Hospital of Xi'an Jiaotong University, Xi'an 710061, China
    4. National and Local Joint Engineering Research Center for Precision Surgery and Regenerative Medicine, the First Affiliated Hospital of Xi'an Jiaotong University, Xi'an 710061, China; School of Future Technology, Xi'an Jiaotong University, Xi'an 710049, China; Xi'an Jiaotong University Health Science Center, Xi'an 710061, China; Department of Hepatobiliary Surgery, the First Affiliated Hospital of Xi'an Jiaotong University, Xi'an 710061, China
  • Received:2024-02-26 Published:2024-06-10
  • Corresponding author: Yi Lyu
引用本文:

彭子洋, 王志博, 王丹, 彭浩茜, 王蕾, 彭薇, 王娟娟, 李宇, 刘学民, 吴荣谦, 向俊西, 吕毅. 智能化辅助图像实时去雾技术在腹腔镜胆囊切除术中的应用[J]. 中华肝脏外科手术学电子杂志, 2024, 13(03): 328-333.

Ziyang Peng, Zhibo Wang, Dan Wang, Haoqian Peng, Lei Wang, Wei Peng, Juanjuan Wang, Yu Li, Xuemin Liu, Rongqian Wu, Junxi Xiang, Yi Lyu. Application of intelligent auxiliary real-time image defogging technology in laparoscopic cholecystectomy[J]. Chinese Journal of Hepatic Surgery(Electronic Edition), 2024, 13(03): 328-333.

目的

探讨智能化辅助图像实时去雾技术在腹腔镜胆囊切除术(LC)中的应用价值。

方法

回顾性分析2022年9月至2023年4月在西安交通大学第一附属医院行LC治疗的128例胆结石患者临床资料。其中男78例,女40例;年龄31~66岁,中位年龄53岁。患者均签署知情同意书,符合医学伦理学规定。患者LC利用智能化辅助手段在对图像进行识别处理,记录智能化设备识别出的不同级别雾气等级、持续时间,并记录去雾时间。实际烟雾持续时间与智能化图像识别时间比较采用秩和检验。

结果

患者术中烟雾持续存在时间8~17 min,中位时间13 min;术中取出镜子擦拭3~11次,中位次数6次;总体用时69~230 s,中位时间141 s。经过智能化去雾系统应用可有效识别术中产生雾气的级别,并根据需要进行雾气去除;单帧图像处理时间0.02~0.08 s,中位时间0.04 s,图像处理成功率97%(15 522/16 000),可有效节省术中图像去雾时间(Z=-2.167,P<0.05)。

结论

智能化辅助图像实时去雾技术在LC术中应用是安全、可行的,可有效处理术中的雾气,利于术者更清晰地识别手术边界,提高手术效率,减少并发症发生。

Objective

To evaluate the application of intelligent auxiliary real-time image defogging technology in laparoscopic cholecystectomy (LC).

Methods

Clinical data of 128 patients with gallstones treated with LC in the First Affiliated Hospital of Xi'an Jiaotong University from September 2022 to April 2023 were retrospectively analyzed. Among them, 78 patients were male and 40 female, aged from 31 to 66 years, with a median age of 53 years. The informed consents of all patients were obtained and the local ethical committee approval was received. Intelligent auxiliary technology was adopted to identify and process the images. The grades and duration of different levels of fog identified by intelligent equipment were recorded. The defogging time was also recorded. The actual duration of fog and that identified by intelligent images were compared by the rank-sum test.

Results

The duration of fog was ranged from 8 to 17 min, with a median duration of 13 min. Intraoperatively, the laparoscope was wiped for 3-11 times, with a median of6 times. The overall used time was 69-230 s, with a median time of 141 s. Application of intelligent defogging system could effectively identify the grade of fog generated during LC, and remove the fog as required. The processing time of single-frame image was 0.02-0.08 s, with a median time of 0.04 s. The success rate of image processing was 97%(15 522/16 000), which effectively shortened intraoperative image defogging time (Z=-2.167, P<0.05).

Conclusions

Intelligent auxiliary real-time image defogging technology is safe and feasible in LC, which can effectively process intraoperative fog, assist the surgeons to identify surgical margins, enhance surgical efficiency and lower the incidence of complications.

图1 Yun-Transformer系统去雾算法工作示意图注:使用EnhanceNet增强模块对输入的有烟雾图像X进行预处理,将有烟雾图像X和烟雾增强图像X1输入"Dehaze-Net",将得到的折射率图像M、大气光值A和烟雾增强图像X1一起输入EnhanceDehaze-Net,从而得到去雾图像Y;通过对第一阶段的初步去雾图像Y进行细化将去雾图像Y与清晰无雾图像对比得到高质量去雾图像
图2 腹腔镜胆囊切除术中雾气严重程度分级注:a为第一级,非操作区局部有雾气不影响操作;b为第二级,操作区局部有雾气部分影响操作,需要辨别清楚手术区安全操作边界后手术;c为第三级,能正常认清器械和组织但操作有风险,需要待雾气部分散去后进行手术;d为第四级,能认出器械但是无法进行操作,需要利用人工智能辅助去雾后进行手术;e为第五级,雾气完全分不清器械与组织边界,必须应用人工智能辅助去雾
图3 经不同去雾算法对术中图像有效的识别并清除雾气注:4组图由下至上分别展示了腹腔镜胆囊切除过程的不同进展,3种算法是通过对算法设置不同参数与对比进行去雾处理。第1列为术中带有烟雾的腔镜视野原图;第2列为使用Dehaze-NET算法后的腔镜视野对比画面;第3列是使用DCP算法后的腔镜视野去雾图像;第4列是我们优化后提出的Yun-Transformer算法的腔镜视野对比画面去雾图像
[1]
Thomas DJ, Singh D. Applications of artificial intelligence and deep learning in colorectal cancer surgery - correspondence[J]. Int J Surg, 2022, 108:106980.
[2]
武玉多,蔡月日,翟羿, 等. 5G+人工智能在外科手术过程中的应用探讨[J]. 中国数字医学, 2022, 17(6):6-9.
[3]
申红倩. 基于深度神经网络的单幅图像去雾方法研究[D]. 秦皇岛: 燕山大学, 2021.
[4]
李小玲. 基于深度神经网络的单幅图像去雾算法研究[D]. 烟台: 山东工商学院, 2022.
[5]
Manning TG, Papa N, Perera M, et al. Laparoscopic lens fogging: solving a common surgical problem in standard and robotic laparoscopes via a scientific model[J]. Surg Endosc, 2018, 32(3):1600-1606.
[6]
刘馨,庞朝梓,康山. 腹腔镜手术视野受损原因及解决办法[J/OL]. 中华腔镜外科杂志(电子版), 2019, 12(2):122-125.
[7]
杨霞,顾磊,胡文娟, 等. 数字去雾技术在腹腔镜手术中的应用效果简介[J]. 中国医疗设备, 2016, 31(12):107-109.
[8]
顾磊,钟鸣,吴志勇, 等. 数字化去雾技术在腹腔镜直肠癌手术中的应用[J/OL]. 中华腔镜外科杂志(电子版), 2015, 8(1):20-23.
[9]
韩洋. 基于深度学习的图像雾化去除方法研究[D]. 哈尔滨: 哈尔滨理工大学, 2023.
[10]
刘晔,顾磊,须捷平, 等. 数字去雾技术在腹腔镜影像教学中的应用[J]. 中国医学教育技术, 2017, 31(2):200-203.
[11]
王少霞,林文婧,柯晓郑. 自制简易吸烟装置在腹腔镜肝切除术中消除烟雾的应用效果[J]. 福建医药杂志, 2022, 44(1):166-167.
[12]
吕建威. 昼夜图像去雾算法的研究[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2022.
[13]
陈燕. 图像去雾及雾气浓度分类技术研究[D]. 淮北: 淮北师范大学, 2019.
[14]
李志红. 手术室电刀产生烟雾颗粒对手术室人员健康的危害及防护策略[J]. 医疗装备, 2022, 35(19):59-60.
[15]
李维青,李志田,郭惠琴. 经胸壁穿刺持续负压吸引法解决胸腔镜手术烟雾问题的效果[J]. 武警医学, 2022, 33(6):468-471.
[16]
韩昊男. 基于双约束的单帧和序列图像去雾关键技术[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2022.
[17]
姜鑫. 基于生成式对抗网络的图像去雾算法研究[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2022.
[18]
乔丹. 基于深度学习的图像去雾算法[D]. 南京: 南京信息工程大学, 2022.
[19]
刘贤英,张雨云,刘娟. 改良密闭排烟气法应用于腹腔镜下胆囊切除手术患者的效果[J]. 基层医学论坛, 2022, 26(14):15-17.
[20]
陈海奕,罗俊青,练敏. 腹腔镜手术中不同排烟雾方法的效果比较[J]. 黑龙江医学, 2022, 46(4):424-426.
[1] 刘韩, 王胰, 舒庆兰, 彭博, 尹立雪, 谢盛华. 基于深度学习的超声心动图三尖瓣反流严重程度智能评估方法研究[J]. 中华医学超声杂志(电子版), 2024, 21(02): 121-127.
[2] 成汉林, 史中青, 戚占如, 王小贤, 曾子炀, 单淳劼, 钱隼南, 罗守华, 姚静. 基于深度学习的超声心动图动态图像切面识别研究[J]. 中华医学超声杂志(电子版), 2024, 21(02): 128-136.
[3] 赫兰, 杨泽堃, 张颖, 王玉东, 陈伟导, 王一同, 申锷. 双输入BCNN-ResNet模型对超声颈动脉斑块稳定性的分类诊断价值[J]. 中华医学超声杂志(电子版), 2024, 21(02): 137-142.
[4] 钟佩芝, 杜宇. 龋病诊断方法的研究进展[J]. 中华口腔医学研究杂志(电子版), 2024, 18(02): 73-79.
[5] 戴雨霖, 张新春. 人工智能在口腔修复诊疗中的应用与进展[J]. 中华口腔医学研究杂志(电子版), 2024, 18(01): 65-69.
[6] 甄子铂, 刘金虎. 基于列线图模型探究静脉全身麻醉腹腔镜胆囊切除术患者术后肠道功能紊乱的影响因素[J]. 中华普外科手术学杂志(电子版), 2024, 18(01): 61-65.
[7] 杨龙雨禾, 王跃强, 招云亮, 金溪, 卫娜, 杨智明, 张贵福. 人工智能辅助临床决策在泌尿系肿瘤的应用进展[J]. 中华腔镜泌尿外科杂志(电子版), 2024, 18(02): 178-182.
[8] 王晓栋, 蔡凤军, 白燕萍, 杨永生. ICG荧光导航在腹腔镜胆囊切除术中应用的关键问题探讨[J]. 中华肝脏外科手术学电子杂志, 2024, 13(01): 16-20.
[9] 张天献, 吕云福, 郑进方. LC+LCBDE与ERCP/EST+LC治疗胆囊结石合并胆总管结石效果Meta分析[J]. 中华肝脏外科手术学电子杂志, 2024, 13(01): 45-50.
[10] 王佳琦, 李兴源, 熊寰, 常泽文, 王子桐, 燕国庆, 丁可, 袁子茗, 乔天宇, 黄睿, 王贵玉, 汤庆超. 机器人手术系统辅助下的结直肠癌经自然腔道取标本手术与常规辅助切口取标本手术的近期疗效对比研究[J]. 中华结直肠疾病电子杂志, 2024, 13(02): 121-128.
[11] 朱先理, 王守森. 大语言模型在创伤性脑损伤病历书写的应用前景[J]. 中华神经创伤外科电子杂志, 2024, 10(01): 55-57.
[12] 卢梦诗, 刘威, 马加威, 嵇丹丹, 贾璇, 詹心萍, 罗亮. 人工智能在急性呼吸窘迫综合征领域的应用进展[J]. 中华重症医学电子杂志, 2024, 10(01): 66-71.
[13] 邱凯锋, 王则远, 何志超, 付凯利, 梅童霖, 关英杰, 高飞, 伍俊妍. 人工智能技术在超说明书用药循证中的应用研究[J]. 中华临床医师杂志(电子版), 2023, 17(12): 1212-1218.
[14] 王靖玺, 赵丽, 吕滨. 人工智能在肺栓塞CT检查中的临床研究进展[J]. 中华心脏与心律电子杂志, 2024, 12(01): 26-31.
[15] 胡陈玥, 葛贤秀, 邓雪婷, 姚家楠, 缪林. 图像增强放大内镜诊断胃癌前病变及早期胃癌[J]. 中华胃肠内镜电子杂志, 2024, 11(01): 47-51.
阅读次数
全文


摘要