Как называется болезнь найти по фотографии

ООО «СберМедИИ» использует Cookies (файлы с данными о прошлых посещениях веб-сайта) для персонализации сервисов и удобства пользователей. Чтобы продолжить пользоваться сайтом необходимо дать согласие на использование файлов cookies и принять Условия использования cookies. Вы можете отказаться от обработки cookies, однако сайт будет недоступен для использования. Условия использования cookie

Согласиться

В ходе последней телеконференции с журналистами и инвесторами глава Apple Тим Кук рассказал о медицинском приложении VisualDx. О том, почему именно это приложение на искусственном интеллекте оказалось в поле зрения корпорации, рассказывает Business Insider.

Apple давно планирует выйти на рынок медицинских продуктов и товаров для здоровья. Несмотря на то, что VisualDx доступно потребителям в магазине приложений Apple, оно не предназначено для широкой публики. Приложение нацелено на дипломированных врачей, которые смогут использовать его для диагностики различных заболеваний, в том числе определять болезни по состоянию кожи.

Осенью этого года в приложение добавили возможность использовать камеру iPhone и технологию машинного обучения для определения состояния кожи или сужения списка возможных диагнозов. Решение позволяет определять заболевания по фотографии. Так, VisualDx способен предоставить список условий, которые приводят к возникновению сыпи.

В будущем некоторые из подобных технологий станут доступны широкому потребителю: пользователи подобных приложений смогут сфотографировать свое тело и, после ответа на серию вопросов, узнать, требует ли проблема медицинского вмешательства или же речь идет об обыкновенной сыпи, рассказал изданию генеральный директор VisualDx Арт Папье. По его словам, компания уже разрабатывает новую версию инструмента Aysa для обычных воспалений кожи.

Папье объясняет, что приложение не решает задачу постановки диагноза, речь идет об обучении системы и сортировке. А в ближайшие несколько лет VisualDx не планирует сообщать клиентам, что с ними всё в полном порядке и им не нужно идти к врачу.

Причина по которой Тим Кук упомянул VisualDx — библиотека CoreML от Apple, которая позволяет запускать алгоритмы машинного обучения на мобильном телефоне и не загружать фотографии на сервер для обработки. Основные клиенты VisualDx — больницы, которые против того, чтобы врачи отправляли фотографии пациентов третьим лицам.

Программа от VisualDx способна анализировать изображения за одну секунду. Разработчики обучали модели на изображениях из медицинской практики: пользователи сети не могут загрузить изображение на сервер компании и добавить к нему любое понравившееся описание. Компания работает с несколькими университетами и отдельными врачами. В базе данных для обучения VisualDx — библиотека с 32 тысячами фотографий.

Приложение VisualDx позволяет врачам подтверждать диагнозы, Пользователи могут искать заболевания по различным симптомам с учетом информации о пациенте. Доступ ко всем базам данных компании составляет $499, однако подписку на приложение обычно оформляет медицинское учреждение. Врачи могут добавить дополнительные симптомы в ходе анализа, а также просмотреть информацию о различных заболеваниях.

В октябре стало известно, что венчурный фонд Gagarin Capital вложился в два проекта из Y Combinator, один из которых занимается дерматологической диагностикой на мобильном телефоне с помощью искусственного интеллекта.

Подписывайтесь на наш канал в Telegram!

Приложение по фото определяет возможные заболевания кожи

Текст:
Кристина Головийчук, 14 марта 2022

6618

Google собирается использовать искусственный интеллект, чтобы помочь пациентам найти ответы на вопросы по дерматологии с помощью смартфонов.

Как это работает?

Предварительная версия дерматологического «помощника» функционирует на базе приложения:

1. пользователь загружает фотографию на платформу;
2. программа спрашивает о длительности заболевания, типе кожи, симптомах, но отвечать необязательно;
3. модель искусственного интеллекта анализирует информацию и выдает список возможных заболеваний.

Самые точные совпадения отображаются в верхней части поиска. Затем идут статьи дерматологов по заболеванию.

Также пользователь может посмотреть изображения, похожие на фото своей кожи. Есть возможность сохранить информацию или передать врачу.

Разработчики создали модель на основе около 65 000 изображений диагностированных заболеваний кожи, миллионов изображений проблем кожи и тысяч примеров здоровой кожи.

Однако искусственный интеллект не устанавливает окончательный дигноз – лучше все-таки обратиться к врачу-дерматологу.

Читайте также: На мировом рынке появятся антигистаминные контактные линзы

Отправляясь в больницу для установки диагноза, получить его больной сможет далеко не всегда сразу. Как правило, необходимо сдать анализы и ждать ответа из лаборатории. Может пройти немало времени, прежде чем вы узнаете причину недуга. Но появились программы, способные определять множество болезней по фотографии.

Приложение для мобильных телефонов VisualDx

Разработка программного обеспечения для больниц ведётся во всех странах. Клиники и соответствующие государственные объединения заказывают их для определённых задач. Так было создано приложение VisualDx, которое при помощи камеры мобильного телефона предварительно и довольно точно может устанавливать различные заболевания. В списке возможностей программы немало полезных функций. Одной из них является определение кожных заболеваний, с которым программа справляется достаточно хорошо.

В программу встроена также функция «Поделиться». На первый взгляд её наличие кажется абсурдным, кто станет делиться своими болезнями с друзьями? Но она предназначена для врачей, чтобы они смогли отправить больным предположительный диагноз до того, как анализы будут готовы. Приложение полезно в клинических случаях, когда необходимо быстро установить болезнь и принять необходимые меры. Больной может через приложение отправить скан со своего смартфона на устройство врача.

Приложение VisualDx могут скачать пользователи для телефона Андроид в Play Market или для Айфона в App Store. Бесплатно в нём доступно сканировать внешние проявления сыпей, раздражений на коже. Более детальный материал, а также некоторые другие функции доступны по платной подписке. Версия VisaulDx доступна также для ПК в виде программы. Больные смогут сканировать болезни при помощи веб-камеры в ноутбуке или настольном ПК.

Читайте также: как определить название цветка по фото.

Сканирование болезней Medgic – Scan

В домашних условиях можно определять болезнь без похода в больницу. Преимущественно сканеру Medgic – Scan поддаются болезни с внешним проявлением на коже или по снимку, который уже был создан ранее. Все снимки, которые были сделаны ранее, пользователь может позже найти в истории приложения. Если они не нужны, историю доступно очистить. Приложение с простым интерфейсом, для начала работы с ним выберите подходящую функцию и наведите камеру на проблемный участок.

Специальная камера Medgic AI быстро определяет состояние кожи и показывает название болезней в результатах. Среди его функций пользователь найдёт:

С этим приложением люди могут давать оценку даже здоровой кожи. Её цвет, оттенки, пятна и прочие признаки могут предупредить некоторые заболевания. Программа умеет замечать у пациента: эритему, экзему, старение, разные стадии рака, меланомы, прыщи, угри, рубцы и прочее. Medgic доступен по ссылке в Google Play для пользователей Android.

Это интересно: определить цветотип внешности по фото онлайн бесплатно.

Приложение MedicAi

Это приложение не является сканером для определения болезней по фотографии. Но оно способно существенно помочь пользователям узнать, как называется та или иная болезнь онлайн. Результаты формирует искусственный интеллект. Создатели обещают точность определения заболеваний с вероятностью до 95%. Кроме этого программа определит возможное дальнейшее развитие болезни и порекомендует шаги для её лечения. MedicAi будет полезным в качестве профилактики множества заболеваний.

Список заболеваний и их симптомы помогут самостоятельно определить, чем заразился человек и что необходимо делать в данный момент. При помощи навигатора по аптекам находите все точки для покупки лекарства в вашем городе. Для этого необходимо создать свою учётную запись и добавить город проживания. Кроме этого в программе обширный список травмпунктов, клиник, больниц. Все данные добавлены в базу данных MedicAi на основе международных классификаций недугов. Приложение часто обновляется и усовершенствуется разработчиками.

Найти болезнь в поисковой базе

Интернет поисковики имеют встроенные системы для нахождения любого предмета по изображению. Их можно использовать по отдельности – Яндекс и Гугл. И есть также возможность находить всё в одном приложении, которое называется Фото Шерлок. Оно доступно для Android и IOS. Приложение даёт возможность камерой определять любой предмет, в том числе болезни на коже. Для его использования понадобится запустить функцию определения и навести камеру на проблемный участок кожи. Или предоставить готовую фотографию.

Через мгновение пользователь сможет посмотреть результаты из двух самых больших баз данных в Интернете. Поисковики Google и Яндекс покажут ответ на ваш вопрос картинкой. При этом программа полностью бесплатна без платных подписок и услуг. Photo Sherlock умеет видеть на изображении любой предмет и показывать то, что человек хочет найти. Нет встроенной рекламы и возможность открывать ссылки в разных поисковых системах. Перед поиском картинку можно обрезать или повернуть. Встроен собственный браузер, с помощью которого можно искать ответы на свои вопросы.

Определить симптомы болезни на ПК

Сайт Symptomate.com предоставляет инструменты самостоятельной диагностики своих заболеваний или недугов близких людей. При помощи небольшого теста через несколько минут человек может установить название болезни и получить квалифицированную помощь в виде подсказок и советов традиционной и народной медицины. После попадания на сайт нажмите на кнопку «Начать». Предлагается небольшое исследование, где нужно ответить на несколько вопросов, в том числе предоставить личные данные. Сайт не разглашает их третьим лицам и использует в качестве статистики.

Данный тест достаточно точно сможет установить вашу болезнь, при этом не требуется предоставлять сайту фотографию или другие документы. Опишите все симптомы, предполагаемые контакты с другими больными, ощущения при обострении болезни и т.д. В результате теста откроется несколько предположений насчёт вашей болезни. Основной блок содержит рекомендации. Возможно в данный момент вам срочно нужна медицинская помощь. Медицинский портал порекомендует в этом случае обратиться в скорую помощь.

Не следует слепо доверять этим подсказкам. Ориентируйтесь по собственному ощущению состояния своего здоровья.

Энциклопедия заболеваний

Если удалось установить название заболевания, воспользуйтесь мобильным приложением «Все заболевания«. Это сборник определений, причин и лечения практически всех известных заболеваний. Преимущество этой цифровой книги в том, что она будет всегда под рукой даже в отсутствие подключения к Интернету. К заболеваниям можно добавлять заметки, свои мысли, список лекарств и прочее. Добавляйте заболевания в раздел Избранное и просматривайте полезный материал в любое время.

Это приложение было разработано по рекомендациям и поддержке нескольких специалистов в области медицины. Автор подчёркивает, что информации в энциклопедии недостаточно для лечения большинства болезней. Необходимо в любом случае обратиться к врачу.

Видеоинструкция

Люди могут определять болезни кожи и другие не только по фотографии, но и по цвету и форме ногтей. Посмотрите об этом в видео.

Сейчас особо не удивишь чат-ботами, которые могут вести диалоги на естественном языке. Поэтому сегодня я расскажу о том, как мы делаем бота, который может видеть.

Меня зовут Кирилл, я уже более 7 лет занимаюсь различными проектами в Digital Health. Идеи по использованию технологий искусственного интеллекта у меня витали уже достаточно давно, но вплотную с ними работать начал около года назад.

Реализовав несколько идей, используя для обучения текстовые массивы данных, и убедившись в отличных результатах, которые показывают нейросети, я естественно захотел попробовать поработать и с другими видами данных.

После недолгого анализа соревнований на Kaggle стало очевидно, что применение сверточных нейросетей для работы с медицинскими изображениями — это одна из наиболее популярных тем для соревнований между Data Scientists.

Большое количество участников соревнований, наличие разнообразных датасетов медицинских изображений (рентгенограммы, МРТ, КТ и другие) создавали иллюзию, что участие в этих соревнованиях даст возможность реализовать какой-либо проект и внедрить его в реальную жизнь.

На практике это оказалось совсем не так: «потренироваться на котиках» и работа с узкоспециализированными медицинскими данными требует совершенно других подходов и ответственности. О применении технологий вроде распознавания злокачественных новообразований на снимках МРТ с помощью ИИ вообще можно забыть, не имея сильного лобби в учреждениях здравоохранения.

Первый этап: Baseline

Очень вовремя на глаза мне подвернулось соревнование ISIC 2017: Skin Lesion Analysis (анализ кожных заболеваний по дерматоскопическим снимкам). Он показался не таким сложным и мы с моими знакомыми не долго думая решили попробовать свои силы в этом соревновании и параллельно с этой идеей принять участие в хакатоне по искусственному интеллекту AI Hackathon, который проходил 17-18 декабря 2017 года в ПВТ (Минск).

На этом хакатоне и начался данный челлендж, который не заканчивается по сей день. Спалив не одну тысячу долларов на вычислительные ресурсы, перебрав несколько моделей и фреймворков нейронных сетей за эти два дня мы заслуженно ничего не выиграли.

Хочу поделиться уроками, которые мы вынесли из данного хакатона:

И самое главное: надо заниматься одновременной разработкой всех этапов с самого начала — как обучением нейросетей, так и сборкой прототипа для демонстрации. Есть большая вероятность, что под конец хакатона ваш прототип может рассыпаться. Столкнувшись с этой неудачей, мы не забросили эту идею, как это часто случается с другими проектами, реализованными в рамках хакатона.

Поработав над ошибками, уже через пару месяцев в начале 2018 года мы обучили нейронную сеть выдавать довольно неплохие результаты по классификации здоровых опасных родинок (где может развиться или уже развивается рак кожи).

Второй этап: Immersion

Во время работы над технологией распознавания рака кожи естественно встал вопрос о необходимости привлечения врачей-консультантов в области дерматологии. Благодаря их экспертизе мы вышли за рамки классификации родинок по категориям «хот-дог или не хот-дог», так как помимо здоровых и опасных невусов (родинок) есть еще предраковые состояния, а также много различных доброкачественных новообразований на коже, которые обыватели также называют родинками.

Начав сотрудничество с дерматологами, мы кардинально изменили датасет для обучения, расширив до двух десятков диагнозов, и прекратили участие в ISIC Challenge 2017.

Третий этап: Accessibility

В среднем ручные дерматоскопы имеют увеличение в 10 раз. Фотографии, сделанные через дерматоскопы, безусловно, имеют хорошее качество и детализацию. Их преимущество является и недостатком — для получения таких снимков нужен прибор дерматоскоп. Это сужает использование автоматического распознавания кожных заболеваний только для обладателей дерматоскопов, и это, как правило, врачи-дерматологи.

Мы хотели же сделать технологию, доступную для всех. Очевидным решением было использование фотоснимков, сделанных с помощью смартфонов.

Представьте, что ваш смартфон сможет помочь вам распознать вид кожного заболевания, определить степень риска для здоровья и дать рекомендации о дальнейших действиях.

Если описать все методы, которые мы пробовали и применяли для того, чтобы можно было анализировать снимки со смартфона, то получится целая диссертация по компьютерному зрению. Скажу лишь, что в апреле мы это сделали и решили, что пора получить обратную связь от первых пользователей.

Четвёртый этап: Soft Launch

Самый быстрый способ сделать рабочую версию MVP в нашем случае — подключить наши нейросети через бота в Telegram. Это гораздо быстрее, чем разрабатывать мобильное приложение, а пользователям отправить фотографию родинки через бота гораздо проще, чем устанавливать отдельное приложение.

@Skinseption_bot — это бот в мессенджере Telegram. Ему достаточно отправить фотоснимок с кожными проблемами (бородавки, акне, угри, родинки и другие новообразования на коже) и он определит степень риска, вероятный диагноз и рекомендации по дальнейшим действиям. Бот поможет записаться на очный прием к нужным врачам: косметологам, дерматологам, дерматоонкологам.

О запуске нашего бота мы рассказали в канале «Технологии будущего» @Tech_ru, где получили первые отзывы. Англоязычную версию бота мы опубликовали на Producthunt. Самое приятное — наш бот уже помог нескольким пользователям распознать опасные диагнозы, и благодаря этому люди смогут своевременно обратиться со своей проблемой к врачам.

Сейчас мне нужна помощь комьюнити vc.ru — вы первые альфа-тестировщики, и ваша обратная связь позволит сделать сервис лучше. Буду рад вашим отзывам, пишите мне в Telegram — @Malkieler.

Долгосрочные планы на будущее сейчас не строим — в приоритете, конечно, точность распознавания и количество диагнозов. В ближайшие дни бот будет доступен и в Facebook Messenger. Больше информации и демовидео (англ) на Producthunt.

P.S. Telegram-бот @Skinseption_bot не должен использоваться для установки конечного диагноза или лечебных целей. Точный диагноз и курс лечения назначает только врач на очном приеме.