Вступление

Медицинский сектор активно внедряет искусственный интеллект, и темпы его использования значительно опережают рост других отраслей. В рамках этой трансформации Google обновляет свои модели с открытым исходным кодом — MedGemma 1.5 и MedASR — для улучшения интерпретации медицинских изображений и преобразования медицинской речи в текст.

MedGemma это мультимодальная модель, созданная для генерации и интерпретации медицинских данных, которая уже показала отличные результаты в обработке медицинских изображений, таких как рентген, МРТ, а также текстовых данных, например, из медицинских отчетов. С обновлением MedGemma 1.5 стало возможным работать с более сложными данными, такими как объемные данные КТ и МРТ, а также с более высокими показателями точности при анализе медицинских изображений.

Новые возможности MedGemma 1.5

Обновленная версия модели поддерживает: Медицинские изображения высокой размерности: теперь можно работать с объемными изображениями, такими как КТ и МРТ, а также с полнослайдовыми гистопатологическими изображениями. Локализация анатомических особенностей: например, на рентгеновских снимках грудной клетки. Извлечение структурированных данных из медицинских отчетов: модель может интерпретировать лабораторные данные, включая типы анализов, значения и единицы измерения. Обновление MedGemma 1.5 обеспечило улучшение точности на 3% при классификации КТ и на 14% при классификации МРТ. Также было улучшено качество предсказаний для гистопатологических слайдов. Для разработчиков доступна возможность интеграции с DICOM для более легкой адаптации модели в медицинских приложениях.

MedASR: преобразование медицинской речи в текст

MedASR это новая модель для автоматического распознавания речи, специально обученная для медицинской области. Модель эффективно справляется с медицинским диктовка, обеспечивая более высокую точность распознавания речи по сравнению с другими общими моделями, такими как Whisper. Например, на задачах по расшифровке рентгеновских снимков грудной клетки MedASR показала на 58% меньше ошибок по сравнению с Whisper. MedASR можно использовать не только для расшифровки медицинской речи, но и для создания подсказок для MedGemma, улучшая тем самым взаимодействие с медицинскими данными.

Возможности для разработчиков

MedGemma 1.5 и MedASR открывают новые горизонты для разработки приложений в области медицины. Уже сегодня стартапы и исследовательские организации активно используют эти модели для разработки решений, таких как система для поддержки принятия решений на основе клинических практических рекомендаций в Малайзии или анализ предоперационных данных для пациентов с раком легких в Тайване.