Как сообщает опубликованное в среду рецензированное исследование, несмотря на то, что медицинский ИИ-чатбот Med-PaLM от Google сдал экзамен на право работать с клиентами, его ответы все же не «дотягивают» до уровня ответов настоящих врачей.
Напомним, в декабре минувшего года Google представила свой очередной продукт на базе искусственного интеллекта — Med-PaLM, способный отвечать на вопросы по медицинской тематике. Руководство IT-гиганта сообщило, что Med-PaLM — первая языковая ИИ-технология, обученная работать с огромными объемами медицинской информации, получила соответствующую лицензию США — USMLE.
Критерием оценки стали требования, предъявляемые к студентам-медикам, проходящим врачебную стажировку, то есть нужно было набрать около 60 % правильных ответов. Med-PaLM перевыполнил установленный «план», набрав 67,6 %.
Для сокращения количества неправильных ответов Google сообщила, что ее специалисты разработали новый оценочный критерий — бенчмарк для оценки новой версии ИИ-модели. В результате, на очередной проверке по стандарту USMLE Med-PaLM набрал уже 86,5 %.
По мнению специалиста по информатике британского Университета Лидса Джеймса Дэвенпорта, главной проблемой Med-PaLM по-прежнему остается «большая разница между простыми ответами на «медицинские вопросы» и реальной медициной».