Александр выполнил работу во время второй смены всероссийского проекта «АгроХаб–2026», которая проходила на территории Истринской сыроварни. В ходе этого этапа участники занимались адаптацией серийного гуманоидного робота Unitree G1 для решения конкретных задач в сфере агропромышленного комплекса и фермерского хозяйства.
Студент СПбГАУ занимался разработкой систем компьютерного зрения и части голосового интерфейса робота. Его программное обеспечение анализирует данные, поступающие с RGB-камеры, датчика глубины и двух стереокамер. Обработав полученную информацию, система выявляет объекты в поле зрения робота, определяет их расположение и передает результаты другим компонентам программного комплекса.
Для демонстрационного задания команда разработчиков обучила систему различать три категории объектов: человека, стаканчик и коробку. В результате робот способен идентифицировать человека среди других предметов, обнаружить чашку с кофе, определить её габариты и расположение, а затем аккуратно взять её и передать посетителю. В ходе испытаний на Истринской сыроварне робот успешно принес основателю компании, Олегу Сироте, стаканчик с кофе.
«Моя задача заключалась в том, чтобы робот понимал, что находится в его поле зрения. Система анализирует данные с камер, распознает людей и предметы, определяет их расположение, а затем передает эту информацию другим модулям. Кроме того, я работал над голосовой частью, связанной с анализом происходящего. Человек может подать команду, а робот — ответить и описать то, что видит», — рассказал Александр Ласточкин.
Команда, включающая Александра Ласточкина, а также студентов Российского государственного аграрного университета МСХА имени К.А. Тимирязева и Уральского государственного аграрного университета, разработала отдельные программные блоки. Эти компоненты были объединены в единую систему: один модуль отвечал за распознавание команд, другой - за анализ изображений, а оставшиеся управляли перемещением робота и его руками.
Александр Ласточкин отметил, что одной из наиболее трудных задач является настройка нейросетевых моделей и одновременная обработка данных с нескольких устройств. Для функционирования системы в режиме реального времени требуются мощные вычислительные ресурсы, поскольку робот должен не только получать изображение, но и оперативно идентифицировать объект, определить его расстояние и передать эти данные системе управления.
Во второй смене «АгроХаб» приняли участие 20 студентов. По завершении работы организаторы выделили пятерых наиболее выдающихся разработчиков, среди которых оказался и Александр Ласточкин. Эти специалисты были приглашены продолжить участие в проекте в роли организаторов. С 9 августа по 15 сентября студенты занимаются дополнительной подготовкой робота Unitree G1 к публичным демонстрациям на Всемирном фестивале молодежи и студентов, а также на главной российской агровыставке «Золотая осень».
«АгроХаб–2026» представляет собой первую в России молодежную полевую лабораторию, предназначенную для студентов и аспирантов, специализирующихся в области сельского хозяйства, инженерных наук и информационных технологий. Мероприятие проходит в формате палаточного лагеря, где участники разрабатывают и тестируют робототехнические решения в условиях реального фермерского хозяйства. Этот проект реализуется Ассоциацией сельскохозяйственных товаропроизводителей «Народный фермер» при поддержке Министерства сельского хозяйства РФ и АО «Росагролизинг».
Источник: СПбГАУ.
