АдаптивТон — улучшение эндоскопических изображений в реальном времени

Обновлено:

АдаптивТон — алгоритм адаптивного локального контраста для обработки эндоскопических изображений и видео. Он входит в состав АРМ врача-эндоскописта Medical Vision и работает с видеопроцессорами Pentax, Olympus, Fujinon, Aohua и др. Обработка идёт на обычном процессоре: отдельная видеокарта для этого не нужна. Это собственная разработка НПО Астек.

По сути это алгоритм улучшения эндоскопических изображений, а не система документирования и не средство диагностики.

Какую задачу мы решаем

Качество эндоскопического изображения ограничено физикой съёмки: эндоскоп сам подсвечивает ткани, поэтому участки около дистального конца пересвечены, а удалённые области уходят в глубокую тень. К этому добавляются неравномерное освещение и виньетирование, тени за складками, блики от влажной слизистой и падение контраста. Детали в тенях и под бликами читаются плохо, растёт зрительная нагрузка, и то же самое попадает в архивную запись. АдаптивТон выравнивает читаемость по всему кадру.

Эндоскопический кадр до и после обработки алгоритмом АдаптивТон: раскрытие теней
Слева — исходный кадр, справа — он же после обработки. Детали в глубокой тени становятся читаемыми, при этом яркие участки у дистального конца не пересвечиваются.

Исходные кадры для примеров на этой странице взяты из открытого набора данных HyperKvasir (Simula Research Laboratory, Норвегия), лицензия CC BY 4.0: H. Borgli et al., «HyperKvasir, a comprehensive multi-class image and video dataset for gastrointestinal endoscopy», Scientific Data 7, 283 (2020), doi:10.1038/s41597-020-00622-y. Левая половина каждой пары — исходный кадр без изменений, правая — результат обработки алгоритмом АдаптивТон.

Что АдаптивТон делает с изображением

Эндоскопический кадр до и после обработки алгоритмом АдаптивТон: выравнивание освещения по кадру
Тот же кадр до и после обработки: освещение выравнивается по площади кадра, и дальние участки кадра перестают проваливаться в темноту.

Когда работает: во время исследования и по сохранённым записям

АдаптивТон применяется в двух режимах, и оба входят в состав АРМ.

Во время исследования. Алгоритм обрабатывает видеопоток в реальном времени, до записи. Практический смысл этого — в архив может попадать уже улучшенное видео, а не исходное. Обработанную картинку в этот момент видно на мониторе рабочего места: компьютер АРМ обычно стоит в соседнем помещении, поэтому её видит тот, кто работает за ним. Монитор эндоскопической стойки при этом занят собственным видеовыходом видеопроцессора и не задействуется.

По сохранённым материалам. Тот же алгоритм применяется к уже записанным кадрам и видео — при разборе исследования, подготовке протокола и отборе кадров для отчёта. Здесь возможно то, чего не даёт живой сигнал: одну и ту же запись можно пересмотреть с обработкой и без неё, сравнить и выбрать. Результат сохраняется в новый файл, оригинал остаётся нетронутым.

Для пакетной обработки накопленных материалов есть консольная утилита — она проходит по папке с записями без участия оператора.

Место в рабочем процессе

Место алгоритма АдаптивТон в рабочем процессе Видеосигнал с эндоскопического видеопроцессора захватывается в АРМ Medical Vision, обрабатывается алгоритмом АдаптивТон на процессоре в реальном времени и уходит в запись и архив уже улучшенным; та же обработанная картинка видна на мониторе рабочего места. Видеопроцессор Pentax, Olympus, Fujinon, Aohua Захват в АРМ цветной кадр (RGB) АдаптивТон на процессоре, реальное время Запись и архив улучшенное видео и кадры Монитор рабочего места та же картинка в реальном времени
АдаптивТон стоит в конвейере АРМ Medical Vision и результаты обработки видны на мониторе рабочего места.
  1. Эндоскопический видеопроцессор (Pentax, Olympus, Fujinon, Aohua и др.) — источник видеосигнала.
  2. Захват в АРМ Medical Vision (Windows), ISP → цветной кадр (RGB).
  3. АдаптивТон на процессоре, в реальном времени — раскрытие теней, локальный контраст, выравнивание освещения, микроконтраст.
  4. Та же картинка видна на мониторе рабочего места во время исследования.
  5. Архивирование: можно хранить любые исходники, обработку можно сделать и позже.
  6. В отчёт попадают улучшенные кадры.

Чем АдаптивТон отличается от виртуальной хромоэндоскопии

В АРМ Medical Vision есть два разных инструмента улучшения изображения, и путать их не нужно.

Это разные задачи, и они не заменяют друг друга: АдаптивТон делает читаемым весь кадр, VCE выделяет структуры внутри него. Шесть режимов тонирования VCE входят в комплектации системы, где VCE стоит в названии, — Medical Vision VCE и HD VCE.

Эндоскопический кадр до и после обработки алгоритмом АдаптивТон: усиление микроконтраста
До и после обработки на крупном плане: усиливается микроконтраст рельефа слизистой и границ структур, картина при этом не «замыливается».

Классический алгоритм, а не нейросеть

АдаптивТон построен на классическом детерминированном алгоритме обработки изображений. Он не обучается на данных и ничего не «додумывает»: на экране остаётся только то, что действительно зафиксировала камера. Из этого следуют три практических свойства.

Отсюда же и требования к оборудованию: обработка идёт на обычном процессоре и не требует ни видеокарты, ни тяжёлых моделей вывода.

Ещё примеры

Те же настройки обработки на других кадрах. Слева в каждой паре — исходный кадр, справа — обработанный; щёлкните по кадру, чтобы открыть его в полном размере.

Кадры из того же набора данных HyperKvasir (CC BY 4.0). Обработка выполнена алгоритмом АдаптивТон; исходные кадры не изменялись.

Области применения

АдаптивТон одинаково работает в разных видах эндоскопии без дополнительной настройки:

Варианты поставки

Системные требования

ПараметрЗначение
ПлатформаАРМ врача-эндоскописта Medical Vision, Windows 10/11
Процессорx86_64 (Intel/AMD) — вся обработка выполняется на нём
Видеокартане требуется
Оперативная памятьот 16 ГБ (зависит от разрешения: Full HD / 4K)
Источник видеовидеопроцессоры Pentax, Olympus, Fujinon, Aohua
Входные форматывидеопоток или кадры (RGB): JPEG, TIFF, PNG, BMP
Выходные форматыобработанный видеопоток; кадры JPEG, TIFF
Задержкареальное время, низкая латентность

Важно: АдаптивТон — средство улучшения визуализации. Он не ставит диагноз и не выделяет патологию, а повышает читаемость картинки для специалиста.

Частые вопросы

Что такое АдаптивТон?

Это алгоритм адаптивного локального контраста, который обрабатывает эндоскопическое видео: раскрывает тени, усиливает локальный контраст, выравнивает освещение и улучшает микроконтраст. Входит в состав АРМ Medical Vision, работает на процессоре.

Видно ли обработку во время исследования?

Да, алгоритм работает в реальном времени, и обработанная картинка выводится на мониторе рабочего места. Компьютер АРМ обычно стоит в соседнем помещении, а монитор эндоскопической стойки занят собственным видеовыходом видеопроцессора, поэтому во время самого исследования обработку видит тот, кто работает за АРМ. Главный практический эффект здесь другой: обработка может применяться к сохранённым кадрам и видео, что способствует улучшению качества.

Чем АдаптивТон отличается от виртуальной хромоэндоскопии?

АдаптивТон работает с яркостью и контрастом и делает читаемым весь кадр; виртуальная хромоэндоскопия работает с цветом и выделяет сосудистый рисунок и ямочную структуру. Это разные задачи, инструменты друг друга не заменяют.

Нужна ли видеокарта?

Нет. Вся обработка выполняется на процессоре — и в реальном времени, и при пакетной обработке записанных материалов. Отдельная видеокарта не требуется, система работает на обычном компьютере.

АдаптивТон дорисовывает изображение или ставит диагноз?

Нет. Алгоритм работает только с реальными пикселами кадра — не создаёт структур, которых нет, и не выделяет патологию. Это средство улучшения визуализации: оно повышает читаемость картинки для специалиста, а не ставит диагноз.

Можно ли встроить АдаптивТон в своё программное обеспечение?

Да. Кроме работы в составе АРМ доступны консольная утилита для пакетной обработки и модуль для интеграции в стороннее программное обеспечение и видеосистемы. Демо-версию и документацию предоставляем по запросу.

Демо-версия, техническая документация и цена — по запросу. Запросить консультацию.

← Все комплектации АРМ Medical Vision

Форма для отправки запроса

Форма сохраняет указанные вами имя, телефон и адрес электронной почты, чтобы мы могли ответить на запрос.