Как заставить робота собирать помидоры в постоянно меняющейся среде? Вагенингенский университет и исследовательский центр (WUR) изучает, как моделирование может помочь быстрее и точнее разрабатывать роботов для сбора урожая в садоводстве. С этой целью исследователи создают имитированную тепличную среду, в которой роботы и томатные растения взаимодействуют реалистично.
На практике тестирование роботов в садоводстве — сложная задача. Растения растут, условия меняются, и каждый урожай навсегда меняет ситуацию. В результате, испытания трудно воспроизвести в одинаковых условиях. Поэтому WUR работает над созданием среды моделирования, в которой эта динамика воспроизводится в цифровом виде, чтобы можно было систематически тестировать конструкцию и управление роботами.
«Моделирование роботов довольно распространено в контролируемых средах, таких как автомобильные заводы, но в садоводстве это действительно новшество. Здесь вы имеете дело с живыми растениями, с большим количеством естественных вариаций. Это значительно усложняет моделирование», — говорит Арьян Вроегоп, исследователь из WUR и руководитель проекта в команде Vision+Robotics.
Моделирование с помощью роботов довольно распространено в контролируемых средах, таких как автомобильные заводы, но в садоводстве это действительно новшество.
Суть исследования заключается в объединении различных областей знаний в рамках WUR. В рамках проекта «Цифровой двойник» исследователи в области робототехники, моделирования, физиологии растений и 3D-моделирования сотрудничают. Цель состоит в том, чтобы моделировать не только движения робота, но и само растение, включая его форму, вариации и физические характеристики.
«В предыдущих исследовательских проектах мы уже проводили моделирование урожая и имитацию роста, — говорит Вроегоп. — Но в тех случаях реалистичное визуальное представление не было необходимо. В этом проекте оно необходимо, поскольку робот должен уметь определять, где висят плоды и как он с ними соприкасается».
Эти растения созданы исследователями из области физиологии сельскохозяйственных культур. Исследователь из WUR Маартен ван дер Меер работает над 3D-моделированием томатов. «Мы измеряем реальные растения и виртуально реконструируем их на основе заданных протоколов измерений. Допуская вариации в пределах измеренных значений, таких как высота, расположение листьев и положение плодов, мы можем создать множество различных, реалистичных растений», — объясняет он.
По словам Ван дер Меера, именно это разнообразие имеет решающее значение: «Робот также должен уметь справляться с неидеальными ситуациями, когда до фруктов трудно добраться. Мы хотим иметь возможность явно протестировать эти ситуации в симуляции».
Данная модель используется в проекте с технологической компанией DENSO и ее дочерней компанией Certhon, которые работают над роботом для сбора томатов. Сотрудничество началось в мае 2024 года. С тех пор была создана рабочая среда моделирования, в которой моделируются как робот, так и томатная культура. Эта среда также генерирует синтетические данные, такие как семантическая сегментация и сегментация экземпляров, которые используются для обучения моделей обнаружения.
В условиях имитируемой теплицы взаимодействие робота и томатного растения можно тестировать поэтапно, в неизменно идентичных условиях. Это позволяет систематически сравнивать конструктивные и программные корректировки. В настоящей теплице это практически невозможно, поскольку растения продолжают расти, и каждый урожай навсегда меняет ситуацию. Цифровое моделирование этих изменений позволяет быстрее завершать этапы разработки, чем при использовании одних только полевых испытаний.
На текущем этапе проекта основное внимание уделяется дальнейшей автоматизации тестирования роботов и совершенствованию взаимодействия робота с установкой. Это позволяет быстрее и более последовательно оценивать различные варианты развития проекта.
По словам Вроегопа, проект демонстрирует, как моделирование открывает новые возможности для исследований в садоводстве: «В секторах со стабильной средой моделирование уже давно является важным инструментом. Этот проект исследует, как применить этот подход в области, которая характеризуется именно биологической изменчивостью и непрерывными изменениями».
Источник: Wageningen.