Как найти болячку по фото

ООО «СберМедИИ» использует Cookies (файлы с данными о прошлых посещениях веб-сайта) для персонализации сервисов и удобства пользователей. Чтобы продолжить пользоваться сайтом необходимо дать согласие на использование файлов cookies и принять Условия использования cookies. Вы можете отказаться от обработки cookies, однако сайт будет недоступен для использования. Условия использования cookie

Согласиться

Приложение по фото определяет возможные заболевания кожи

Текст:
Кристина Головийчук, 14 марта 2022

6600

Google собирается использовать искусственный интеллект, чтобы помочь пациентам найти ответы на вопросы по дерматологии с помощью смартфонов.

Как это работает?

Предварительная версия дерматологического «помощника» функционирует на базе приложения:

1. пользователь загружает фотографию на платформу;
2. программа спрашивает о длительности заболевания, типе кожи, симптомах, но отвечать необязательно;
3. модель искусственного интеллекта анализирует информацию и выдает список возможных заболеваний.

Самые точные совпадения отображаются в верхней части поиска. Затем идут статьи дерматологов по заболеванию.

Также пользователь может посмотреть изображения, похожие на фото своей кожи. Есть возможность сохранить информацию или передать врачу.

Разработчики создали модель на основе около 65 000 изображений диагностированных заболеваний кожи, миллионов изображений проблем кожи и тысяч примеров здоровой кожи.

Однако искусственный интеллект не устанавливает окончательный дигноз – лучше все-таки обратиться к врачу-дерматологу.

Читайте также: На мировом рынке появятся антигистаминные контактные линзы

В ходе последней телеконференции с журналистами и инвесторами глава Apple Тим Кук рассказал о медицинском приложении VisualDx. О том, почему именно это приложение на искусственном интеллекте оказалось в поле зрения корпорации, рассказывает Business Insider.

Apple давно планирует выйти на рынок медицинских продуктов и товаров для здоровья. Несмотря на то, что VisualDx доступно потребителям в магазине приложений Apple, оно не предназначено для широкой публики. Приложение нацелено на дипломированных врачей, которые смогут использовать его для диагностики различных заболеваний, в том числе определять болезни по состоянию кожи.

Осенью этого года в приложение добавили возможность использовать камеру iPhone и технологию машинного обучения для определения состояния кожи или сужения списка возможных диагнозов. Решение позволяет определять заболевания по фотографии. Так, VisualDx способен предоставить список условий, которые приводят к возникновению сыпи.

В будущем некоторые из подобных технологий станут доступны широкому потребителю: пользователи подобных приложений смогут сфотографировать свое тело и, после ответа на серию вопросов, узнать, требует ли проблема медицинского вмешательства или же речь идет об обыкновенной сыпи, рассказал изданию генеральный директор VisualDx Арт Папье. По его словам, компания уже разрабатывает новую версию инструмента Aysa для обычных воспалений кожи.

Папье объясняет, что приложение не решает задачу постановки диагноза, речь идет об обучении системы и сортировке. А в ближайшие несколько лет VisualDx не планирует сообщать клиентам, что с ними всё в полном порядке и им не нужно идти к врачу.

Причина по которой Тим Кук упомянул VisualDx — библиотека CoreML от Apple, которая позволяет запускать алгоритмы машинного обучения на мобильном телефоне и не загружать фотографии на сервер для обработки. Основные клиенты VisualDx — больницы, которые против того, чтобы врачи отправляли фотографии пациентов третьим лицам.

Программа от VisualDx способна анализировать изображения за одну секунду. Разработчики обучали модели на изображениях из медицинской практики: пользователи сети не могут загрузить изображение на сервер компании и добавить к нему любое понравившееся описание. Компания работает с несколькими университетами и отдельными врачами. В базе данных для обучения VisualDx — библиотека с 32 тысячами фотографий.

Приложение VisualDx позволяет врачам подтверждать диагнозы, Пользователи могут искать заболевания по различным симптомам с учетом информации о пациенте. Доступ ко всем базам данных компании составляет $499, однако подписку на приложение обычно оформляет медицинское учреждение. Врачи могут добавить дополнительные симптомы в ходе анализа, а также просмотреть информацию о различных заболеваниях.

В октябре стало известно, что венчурный фонд Gagarin Capital вложился в два проекта из Y Combinator, один из которых занимается дерматологической диагностикой на мобильном телефоне с помощью искусственного интеллекта.

Подписывайтесь на наш канал в Telegram!

Сейчас особо не удивишь чат-ботами, которые могут вести диалоги на естественном языке. Поэтому сегодня я расскажу о том, как мы делаем бота, который может видеть.

Меня зовут Кирилл, я уже более 7 лет занимаюсь различными проектами в Digital Health. Идеи по использованию технологий искусственного интеллекта у меня витали уже достаточно давно, но вплотную с ними работать начал около года назад.

Реализовав несколько идей, используя для обучения текстовые массивы данных, и убедившись в отличных результатах, которые показывают нейросети, я естественно захотел попробовать поработать и с другими видами данных.

После недолгого анализа соревнований на Kaggle стало очевидно, что применение сверточных нейросетей для работы с медицинскими изображениями — это одна из наиболее популярных тем для соревнований между Data Scientists.

Большое количество участников соревнований, наличие разнообразных датасетов медицинских изображений (рентгенограммы, МРТ, КТ и другие) создавали иллюзию, что участие в этих соревнованиях даст возможность реализовать какой-либо проект и внедрить его в реальную жизнь.

На практике это оказалось совсем не так: «потренироваться на котиках» и работа с узкоспециализированными медицинскими данными требует совершенно других подходов и ответственности. О применении технологий вроде распознавания злокачественных новообразований на снимках МРТ с помощью ИИ вообще можно забыть, не имея сильного лобби в учреждениях здравоохранения.

Первый этап: Baseline

Очень вовремя на глаза мне подвернулось соревнование ISIC 2017: Skin Lesion Analysis (анализ кожных заболеваний по дерматоскопическим снимкам). Он показался не таким сложным и мы с моими знакомыми не долго думая решили попробовать свои силы в этом соревновании и параллельно с этой идеей принять участие в хакатоне по искусственному интеллекту AI Hackathon, который проходил 17-18 декабря 2017 года в ПВТ (Минск).

На этом хакатоне и начался данный челлендж, который не заканчивается по сей день. Спалив не одну тысячу долларов на вычислительные ресурсы, перебрав несколько моделей и фреймворков нейронных сетей за эти два дня мы заслуженно ничего не выиграли.

Хочу поделиться уроками, которые мы вынесли из данного хакатона:

И самое главное: надо заниматься одновременной разработкой всех этапов с самого начала — как обучением нейросетей, так и сборкой прототипа для демонстрации. Есть большая вероятность, что под конец хакатона ваш прототип может рассыпаться. Столкнувшись с этой неудачей, мы не забросили эту идею, как это часто случается с другими проектами, реализованными в рамках хакатона.

Поработав над ошибками, уже через пару месяцев в начале 2018 года мы обучили нейронную сеть выдавать довольно неплохие результаты по классификации здоровых опасных родинок (где может развиться или уже развивается рак кожи).

Второй этап: Immersion

Во время работы над технологией распознавания рака кожи естественно встал вопрос о необходимости привлечения врачей-консультантов в области дерматологии. Благодаря их экспертизе мы вышли за рамки классификации родинок по категориям «хот-дог или не хот-дог», так как помимо здоровых и опасных невусов (родинок) есть еще предраковые состояния, а также много различных доброкачественных новообразований на коже, которые обыватели также называют родинками.

Начав сотрудничество с дерматологами, мы кардинально изменили датасет для обучения, расширив до двух десятков диагнозов, и прекратили участие в ISIC Challenge 2017.

Третий этап: Accessibility

В среднем ручные дерматоскопы имеют увеличение в 10 раз. Фотографии, сделанные через дерматоскопы, безусловно, имеют хорошее качество и детализацию. Их преимущество является и недостатком — для получения таких снимков нужен прибор дерматоскоп. Это сужает использование автоматического распознавания кожных заболеваний только для обладателей дерматоскопов, и это, как правило, врачи-дерматологи.

Мы хотели же сделать технологию, доступную для всех. Очевидным решением было использование фотоснимков, сделанных с помощью смартфонов.

Представьте, что ваш смартфон сможет помочь вам распознать вид кожного заболевания, определить степень риска для здоровья и дать рекомендации о дальнейших действиях.

Если описать все методы, которые мы пробовали и применяли для того, чтобы можно было анализировать снимки со смартфона, то получится целая диссертация по компьютерному зрению. Скажу лишь, что в апреле мы это сделали и решили, что пора получить обратную связь от первых пользователей.

Четвёртый этап: Soft Launch

Самый быстрый способ сделать рабочую версию MVP в нашем случае — подключить наши нейросети через бота в Telegram. Это гораздо быстрее, чем разрабатывать мобильное приложение, а пользователям отправить фотографию родинки через бота гораздо проще, чем устанавливать отдельное приложение.

@Skinseption_bot — это бот в мессенджере Telegram. Ему достаточно отправить фотоснимок с кожными проблемами (бородавки, акне, угри, родинки и другие новообразования на коже) и он определит степень риска, вероятный диагноз и рекомендации по дальнейшим действиям. Бот поможет записаться на очный прием к нужным врачам: косметологам, дерматологам, дерматоонкологам.

О запуске нашего бота мы рассказали в канале «Технологии будущего» @Tech_ru, где получили первые отзывы. Англоязычную версию бота мы опубликовали на Producthunt. Самое приятное — наш бот уже помог нескольким пользователям распознать опасные диагнозы, и благодаря этому люди смогут своевременно обратиться со своей проблемой к врачам.

Сейчас мне нужна помощь комьюнити vc.ru — вы первые альфа-тестировщики, и ваша обратная связь позволит сделать сервис лучше. Буду рад вашим отзывам, пишите мне в Telegram — @Malkieler.

Долгосрочные планы на будущее сейчас не строим — в приоритете, конечно, точность распознавания и количество диагнозов. В ближайшие дни бот будет доступен и в Facebook Messenger. Больше информации и демовидео (англ) на Producthunt.

P.S. Telegram-бот @Skinseption_bot не должен использоваться для установки конечного диагноза или лечебных целей. Точный диагноз и курс лечения назначает только врач на очном приеме.