Новое приложение, разработанное исследователями Корнелла, помогает пользователям записывать высокоточные покадровые видеоролики с изображением частей тела — на удивление сложная задача и неудовлетворенная потребность в приложениях для дистанционной медицины и телемедицины.

Команда под руководством Эйба Дэвиса, доцента компьютерных наук в Cornell Ann S. Bowers College of Computing and Information Science, создала приложение MeCapture. Оно использует дополненную реальность, 3D-отслеживание и интерактивную визуальную обратную связь, чтобы помочь пользователям постоянно делать снимки частей тела день за днем ​​и собирать медицинскую информацию за пределами клиники.

Нхан Тран, докторант в области компьютерных наук и ведущий научный сотрудник проекта, представил работу «Персональная покадровая съемка» на симпозиуме ACM по программному обеспечению и технологиям пользовательского интерфейса ( UIST 2024 ), который состоялся 15 октября в Питтсбурге.

Вдохновение для приложения пришло из трудностей во время пандемии COVID-19. «Многие пациенты общались со своими врачами, используя данные, которые они собирали на своих телефонах», — сказал Дэвис.

Однако предыдущие приложения для покадровой съемки не справлялись с этой задачей.

«Пациенты могут делать снимки с разных ракурсов или при разном освещении, и это затрудняет сравнение двух фотографий и определение того, становится ли пациенту лучше или хуже», — сказал он. «Решение заключается в том, чтобы убедиться, что единственное, что меняется от одного снимка к другому, — это состояние пациента. Но это требует точного отслеживания, а существующие трекеры на телефонах не справляются с объектами, которые двигаются и изгибаются, как тело».

Дэвис, Тран и Итан Янг, докторант в области компьютерных наук, сотрудничали с Анжеликой Тейлор, доцентом кафедры информационных наук в Cornell Tech и Cornell Bowers CIS, которая специализируется на взаимодействии человека и робота, особенно в медицинских учреждениях.

Исследователи определили три фактора, которые необходимо воспроизвести для получения медицинской полезной информации: поза; точка обзора камеры; и условия освещения. Они интегрировали несколько новых функций в приложение на основе камеры для управления этими переменными.

Чтобы гарантировать, что часть тела позиционируется последовательно, приложение накладывает исходную фотографию на экран, чтобы пользователь мог занять правильное положение. Каждый пиксель также загорается красным, синим или зеленым, чтобы сигнализировать, когда часть тела находится слишком близко, слишком далеко или в самый раз, соответственно.

Для воспроизведения правильной точки обзора камеры приложение отображает в центре экрана набор колец с перекрестьем, которые пользователи должны выровнять.

Наконец, поскольку свет постоянно меняется в зависимости от местоположения и времени суток, исследователи полагались на единственный источник света, который они могли контролировать — вспышку. Приложение делает два снимка подряд — один со вспышкой и один без — а затем вычитает фоновый свет на втором снимке из первого. Использование только света от вспышки позволяет поддерживать равномерное освещение части тела на протяжении всего покадрового снимка.

Исследователи также добавили функцию автоматической повторной съемки, которая делает снимки сразу после того, как камера будет правильно выровнена, чтобы нажатие кнопки спуска затвора камеры не нарушало выравнивание — распространенная проблема во время первоначального тестирования.

Дэвис и Тран протестировали MeCapture, отслеживая рост волос на лице и записывая жизненный цикл питомца породы чиа. Другой сотрудник лаборатории случайно обжег руку, а один исследователь отслеживал заживление синяка на ноге, все это можно увидеть в их интерактивной 3D-галерее.

Приложение в его нынешнем виде представляет собой весьма общее решение для сбора данных для телемедицины, но технологию можно адаптировать для конкретных медицинских приложений.

«Возможным расширением могло бы стать общение с врачами, чтобы изучать данные и решать, как можно усовершенствовать приложение и разработать некий интерфейс для врачей, который поможет пользователю собирать еще более качественные данные», — сказал Тран.

Помимо медицины, этот тип приложений может регистрировать рост растений для полевых исследований и контролировать состояние конструкций зданий — отслеживать повреждения, такие как коррозия или трещины, чтобы видеть, распространяются ли они.

В настоящее время они разрабатывают это приложение, регистрируя строительство нового здания Bowers CIS на Хой-роуд.