Аспирант Школы электротехники и компьютерных наук UQ Тяньци Вэй заявил, что даже самые продвинутые мультимодальные зрительно-языковые модели ИИ (VLM) испытывают огромные трудности с интерпретацией изображений микроскопических деталей растений.
«Зрительно-языковые модели (VLM) широко используются в качестве исследовательских инструментов в других областях микроскопии, например, в медицине, но не в науке о растениях, поскольку на них нельзя положиться для точного анализа клеточных деталей. В конечном итоге возникают «слепые пятна», мешающие нам использовать эти инструменты для совершения открытий, продвигающих исследования в таких критически важных областях, как продовольственная безопасность и экологическая устойчивость», — поясняет Вэй.
Чтобы помочь моделям искусственного интеллекта лучше понимать микроскопию растений, Тяньци Вэй и его коллеги создали специализированный набор данных для сравнительного анализа ИИ под названием PlantMicro, который теперь выложен в открытый доступ на GitHub. Результаты этого масштабного исследования были официально представлены на Европейской конференции по компьютерному зрению (ECCV 2026), проходившей в Мальмё (Швеция) с 8 по 12 сентября 2026 года.
Проект разрабатывался в тесном сотрудничестве со Школой сельского хозяйства и устойчивого развития пищевой промышленности Университета Квинсленда, а также получил частичную финансовую поддержку от Корпорации исследований и разработок в области зерновых культур (GRDC).
Программное обеспечение PlantMicro объединяет в себе тысячи высокоточных микроскопических изображений. Используя сложные механизмы машинного обучения, система тестирует и проверяет способность современных моделей ИИ идентифицировать, классифицировать и подсчитывать мельчайшие структуры в тканях растений и выявлять их заболевания.
«Отчасти причина такого разрыва в производительности ИИ в микроскопии растений заключалась в том, что мы не могли точно определить, в чем именно модели VLM дают сбой и как их можно улучшить, — говорит Вэй. — С помощью PlantMicro мы наконец можем четко указать, в каких именно задачах эти базовые модели ИИ испытывают трудности».
Эксперименты, проведенные командой Университета Квинсленда с помощью PlantMicro, подтвердили серьезный кризис точности: как коммерческие VLM-системы с закрытым исходным кодом, так и бесплатные модели с открытым кодом крайне плохо справляются с идентификацией растений-хозяев и их болезней. Их средняя точность составила всего около 30%.
«Эти результаты лишь немного превосходят случайное угадывание, — подчеркивает Тяньци Вэй. — Это доказывает, что нейросети по-прежнему сталкиваются со значительными трудностями при попытке определить типы хозяев или патогенов исключительно по микроскопическим данным».
Выявление этих пробелов дает разработчикам искусственного интеллекта важнейшую обратную связь. Теперь создатели нейросетей точно знают, какие параметры нужно доработать, чтобы адаптировать ИИ для глубоких микроскопических исследований.
«Мы искренне надеемся, что наша программа заложит лучшую основу для использования ИИ в науке о растениях на благо всех жителей нашей планеты», заключил исследователь.
Источник: University of Queensland.
На заглавном фото: PlantMicro объединяет тысячи микроскопических изображений, подобных этому, — поперечный срез клубня, окрашенный йодом (раствором Люголя). Источник: Университет Квинсленда.
