У Nature представили нейромережі для зіставлення рентгенівських знімків з 3D-об’ємами

Дослідники представили xvr — підхід із пацієнт-специфічними нейромережами для зіставлення рентгенівського знімка з тривимірним медичним об’ємом. Роботу опублікував Nature. Автори пов’язують розробку із завданням 2D/3D-реєстрації, яке застосовують у візуалізації для процедур із рентгенівським контролем.

Перевірка на відкритих наборах даних

xvr та інші базові методи оцінювали на трьох загальнодоступних наборах даних для 2D/3D-реєстрації: DeepFluoro, Femur і Ljubljana. За дозволом авторів оригінальних наборів команда також оприлюднила їхні перероблені версії у стандартизованих форматах NIfTI та DICOM.

Для попереднього навчання пацієнт-незалежної базової моделі дослідники використали набори тривимірних медичних зображень CTPelvic1K, NITRC MRA Atlas, TotalSegmentator та AutoPET із колекції ENHANCE.PET 1.6k. У статті зазначено, що дані Brigham CTA/DSA та Boston Children’s MRA/DSA не є публічними через вимоги щодо конфіденційності пацієнтів і умови погоджень етичних комітетів.

Код і розробники

Автори повідомили, що Python-пакет і інтерфейс командного рядка для xvr, а також скрипти для відтворення експериментів доступні у відкритому репозиторії. Програму реалізували мовою Python версії 3.10 або новішої із використанням DiffDRR та PyTorch.

Серед авторів роботи — представники Массачусетського технологічного інституту, Гарвардської медичної школи, Массачусетської лікарні загального профілю, Бостонської дитячої лікарні та Інституту нейронаук Saint Luke’s Marion Bloch. Внесок у збирання й стандартизацію публічних даних, розроблення коду, навчання моделей, експерименти та аналіз результатів здійснив Вівек Гопалакрішнан.