IEEE Spectrum: Армия зерноуборочных роботов марширует по России

Как искусственный интеллект управляет комбайнами на вторичном рынке

Россия является крупнейшим в мире экспортером пшеницы, на нее приходится 20% мировой торговли пшеницей. Зерноуборочные комбайны, которые могут управлять собой с помощью технологий российской компании Cognitive Pilot, помогают сделать процесс уборки урожая более быстрым и эффективным.

Сфера автоматизированного точного земледелия основана на одной концепции — технологиях автономного вождения, которые управляют транспортными средствами с помощью GPS-навигации. Пятнадцать лет назад, когда высокоточный GPS стал доступен для использования в гражданских целях, фермеры думали, что все будет просто: установите станцию GPS-приемника на краю поля, настройте маршрут для трактора или комбайна и вперед, дорогой робот!

Однако практика показала, что такая беззаботная обработка поля неэффективна и опасна. Технология работает только в идеальных полях, которые в реальной жизни практически не встречаются. Если в поле есть бревно или камень, или парочка деревенских любовников дремлет во ржи под солнцем, техника наедет прямо на них. И не все страны имеют надежное спутниковое покрытие — на сельскохозяйственных рынках, например, таких как Казахстан, покрытие может быть нестабильным. Вот почему, если вы хотите получить по-настоящему безопасное и эффективное сельское хозяйство, вам необходимо оснастить свою машину датчиками и искусственным интеллектом, который может видеть и понимать окружающую среду, вместо того, чтобы слепо следовать инструкциям GPS-навигации.

Вы можете подумать, что GPS-навигация идеальна для автоматизированного сельского хозяйства, поскольку задача, стоящая перед оператором сельскохозяйственной машины, такой как комбайн, состоит в том, чтобы просто объехать поле по извилистой схеме, скашивая всю пшеницу или любую другую культуру, которой оно заполнено. Но в действительности все совсем иначе. Механизаторы должны следить за сотнями вещей одновременно, не отрывая глаз от края поля, чтобы гарантировать, что они будут двигаться по нему с высокой точностью.

Сельскохозяйственный комбайн по сложности эксплуатации ничем не отличается от церковного органа. Когда комбайнер работает с помощником, один рулит (держит кромку), а второй управляет мотовилом, жаткой, барабанами и вообще следит за сбором урожая в целом. В советское время в кабине комбайна зачастую было два оператора, а сейчас остался один. Это означает выбор между безопасным вождением и эффективной уборкой урожая. А поскольку вы не можете убирать зерно, не двигаясь, вождение становится главным приоритетом, и эффективность процесса уборки, как правило, страдает.

Эффективность сбора урожая особенно важна в Восточной Европе, где сельское хозяйство сопряжено с высоким риском и собирают урожай только один раз в год. Сезон начинается в марте, и фермеры не отдыхают до самой осени, и там у них есть всего две недели на сбор урожая. Если что-то пойдет не так, каждый пропущенный день может привести к потере 10% урожая. Если водитель плохо справляется с уборкой урожая или напивается и разбивает технику, теряется драгоценное время — часы или даже дни. Около 90% времени оператор комбайна тратит на то, чтобы убедиться, что комбайн движется точно по краю нескошенного поля, чтобы максимизировать эффективность, не пропуская ни одного колоска.

Но это и есть самая неприятная часть вождения, и из-за усталости в конце смены операторы обычно оставляют не скошенным около метра на краю каждого ряда. Эти ошибки рулевого управления приводят к 25%-му увеличению времени уборки урожая. Технология Cognitive Agro Pilot позволяет операторам комбайнов делегировать управление, чтобы вместо этого они могли сосредоточиться на оптимизации качества уборки урожая.

Добавьте к этому тот факт, что опытный комбайнер — это вымирающая порода. Уровень профессионального образования снизился, и молодые люди, попадающие на эту работу, не соответствуют тем же стандартам, что ранее. То же самое можно сказать и о большинстве ручных операций, этот эффект создает большой спрос на роботизированную систему Cognitive Agro Pilot.

Ольга Ускова:Разработка систем искусственного интеллекта находится в моем геноме. Мой отец, Анатолий Усков, входил в первую команду разработчиков программ искусственного интеллекта в Институте системного анализа РАН. Их программа, под названием КАИССА, стала чемпионом мира по компьютерным шахматам в 1974 году. Два десятилетия спустя, после распада Советского Союза, эта лаборатория ИИ сформировала основу компании Cognitive Technologies. Нашим первым бизнесом была разработка программного обеспечения для оптического распознавания символов, используемого такими компаниями, как HP, Oracle и Samsung, и наш успех позволил нам поддержать научно-исследовательскую группу математиков и программистов, проводящих фундаментальные исследования в области компьютерного зрения и смежных областях.

В 2012 году мы добавили группу математиков, разрабатывающих нейронные сети глубокого обучения. Позже в том же году эта группа с гордостью представила мне свое творение: Васю, игрушечную машинку для игры в футбол с камерой вместо глаза. «Одноглазый Вася», среди других предметов в нашем длинном коридоре офиса, мог сам распознать мяч и толкать его. Робот сильно отвлекал всех, кто работал на этом этаже, поскольку сотрудники выходили в коридор «тестировать» машину, опрокидывая ее и преграждая путь мячу с помощью различных препятствий. Между тем, алгоритм показал стабильную работу. Вежливо объезжая препятствия, машина продолжала искать мяч и толкать его. Она производила впечатление почти живого существа, и это был наш «Эврика-момент» — почему бы нам не попробовать сделать то же самое с чем-то более большим и более полезным?

После первоначальных экспериментов с огромными грузовиками большой грузоподъемности мы поняли, что сельскохозяйственный сектор не имеет таких юридических и нормативных ограничений, которые существуют на автомобильном транспорте в России и других странах. Поскольку нашим приоритетом была разработка коммерчески жизнеспособного продукта, мы создали бизнес-подразделение под названием Cognitive Pilot, которое и занимается разработкой дополнительных автономных функций для зерноуборочных комбайнов, которые используются для уборки подавляющего большинства зерновых культур (включая кукурузу, пшеницу, ячмень, овес, рожь и др.) в крупных фермерских хозяйствах.

Всего пять лет назад было невозможно использовать анализ видео данных для управления сельскохозяйственной техникой на таком уровне автоматизации, как сейчас, потому что не было полнофункциональных нейронных сетей, которые могли бы определять границы полосы сельскохозяйственных культур или видеть какие-либо препятствия на ней.

Сначала мы рассматривали возможность объединения GPS с визуальным анализом данных, но нам не потребовалось много времени, чтобы понять, что одной визуальной аналитики достаточно для выполнения основной задачи. Для работы системы рулевого управления на базе GPS необходимо заранее подготовить карту, установить базовую станцию для RTK-поправок или приобрести пакет связи. Это также требует нажатия множества кнопок во многих меню, а операторы комбайнов очень мало ценят и любят всевозможные дополнительные интерфейсы. Мы же предлагаем камеру и коробку с вычислительной мощностью и нейронными сетями. Как только камера и бокс смонтированы и подключены к системе управления комбайном, все готово. Оказавшись в поле, только что установленный Cognitive Agro Pilot говорит: «Ура, мы в поле», и спрашивает у водителя разрешение взять на себя управление и начинает движение. Через пять лет, по нашим прогнозам, все зерноуборочные комбайны будут оснащены автопилотом на основе компьютерного зрения, способным контролировать все аспекты уборки урожая.

Добраться до этого момента означало решить несколько увлекательных задач. Мы поняли, что столкнемся с огромным разнообразием полевых сцен, которые наша нейронная сеть должна быть обучена понимать. Уже работая с фермерами на ранних стадиях проекта, мы выяснили, что одни и те же культуры могут выглядеть совершенно по-разному в разных климатических зонах. Готовясь к массовому производству нашей системы, мы постарались собрать максимально диверсифицированный набор данных с различных полей по всей России при самых разных погодных и световых условиях. Но вскоре стало очевидно, что нам нужно найти более гибкое решение.

Мы решили использовать сверточные нейронные сети для обучения автономному вождению. Первоначальная версия улучшается с каждым новым клиентом, поскольку мы получаем с полей дополнительные данные о разных местах и культурах. Мы используем эти данные, чтобы сделать наши сети более точными и надежными, используя методы доменной адаптации для повторной калибровки сетей за короткое время, добавляя тщательно рандомизированные «шумы» и искажения к обучающим изображениям.Люди по-прежнему необходимы для семантической сегментации новых сортов и типов сельскохозяйственных культур. Благодаря такому подходу мы теперь получили высокоустойчивые универсальные нейронные сети, подходящие для использования на десятках различных культур.

Метод управления комбайном при помощи Cognitive Agro Pilot аналогичен тому, как это делает водитель-человек. То есть нашим уникальным конкурентным преимуществом является способность системы видеть и понимать ситуацию в поле так же, как это сделал бы человек, поэтому она поддерживает полную эффективность в сотрудничестве с людьми. В конце концов, все сводится к экономике. Один комбайн с управлением человеком может обработать около 20 гектаров урожая за смену. Когда Cognitive Agro Pilot ведет машину, нагрузка на операторов значительно снижается: они не устают, могут делать меньше остановок и делать меньше перерывов. На практике это означает уборку от 25 до 30 га за смену. Для владельца бизнеса это означает, что два комбайна, оснащенных нашей системой, обеспечивают производительность трех комбайнов без нее.

Сейчас на рынке представлены отдельные разработки различных агропромышленных компаний. Но каждая из их автономных функций выполняется именно как отдельная функция — движение по краю поля, движение по рядку и так далее. Мы еще не видели другой промышленной системы, которая могла бы полностью управляться компьютерным зрением, но одноглазый Вася показал нам, что это возможно. И вот, подумав об оптимизации затрат и решении задачи с минимальным набором устройств, мы решили, что для помощника фермера на основе искусственного интеллекта достаточно одной камеры.

Основной датчик Cognitive Agro Pilot — это 2-мегапиксельная цветная видеокамера, которая может видеть большую площадь перед комбайном, установленная на кронштейне возле одного из боковых зеркал комбайна. Внутри кабины установлен блок управления с компьютерным модулем Nvidia Jetson TX2 со встроенным дисплеем и интерфейсом для водителя. Этот блок управления содержит в себе основной стек алгоритмов для автономного движения, обрабатывает видеопоток и выдает команды гидравлическим системам комбайна для управления рулевым управлением, ускорением и торможением. Дисплей в кабине обеспечивает интерфейс для водителя и показывает предупреждения и настройки. Мы не привязаны к какому-либо конкретному бренду; наш комплект дооснащения будет работать с любой моделью комбайна, имеющейся в парке фермера. Для комбайна старше пяти лет взаимодействие с его системой управления может оказаться не таким простым (иногда требуется дополнительный датчик угла поворота рулевого колеса), но установку и калибровку обычно можно выполнить в течение одного дня, а обучение одного механизатора занимает всего 10 минут.

Наша система технического зрения управляет движением комбайна, поэтому механизатор может сосредоточиться на уборке урожая и регулировать процесс в соответствии с особенностями урожая. Cognitive Agro Pilot выполняет все функции рулевого управления и поддерживает точное расстояние между рядами, сводя к минимуму зазоры. Он ищет препятствия, классифицирует их и прогнозирует их траекторию, если они движутся. Если время позволяет, он предупреждает водителя, чтобы он избежал препятствия, или сам решает объехать его или снизить скорость. Система также координирует движение комбайна с зерновозом и другими комбайнами, когда входит в строй. Единственный раз, когда оператору обычно требуется вести машину — это развернуть комбайн в конце поля. Если вам нужно повернуть – поворачивайте, затем Cognitive Agro Pilot начинает искать новую кромку поля. Как только он её находит, робот говорит: «Дай мне рулить, дружище». Вы нажимаете кнопку, и он берет управление полностью на себя. Все просто и интуитивно понятно. А поскольку длина пробега обычно составляет до 5 километров, на эти повороты приходится менее 1% нагрузки водителя.

Оказавшись в поле, только что установленный Cognitive Agro Pilot говорит: «Ура, мы в поле», спрашивает у водителя разрешения взять на себя управление и начинает автономное движение. Во время нашего пилотного проекта в прошлом году урожайность с тех же полей увеличилась на 3-5% благодаря способности комбайна поддерживать ширину среза, не оставляя неубранных площадей. Она увеличилась еще на 3% просто потому, что у операторов было время более внимательно следить за тем, что происходит перед ними, оптимизируя производительность уборки. С нашим автопилотом нагрузка на водителей очень низкая. Они запускают систему, отпускают руль и могут сосредоточиться на управлении оборудованием или проверке цен на товары и зерно на своих телефонах. Недели уборки урожая — настоящее испытание для комбайнеров, которые не отдыхают, кроме ночного сна. За один месяц им нужно заработать достаточно, чтобы хватило на следующие шесть, поэтому они выматываются. Однако комбайнеры, которые уже использовали наше решение, поняли, что у них даже остается энергия, чтобы поработать еще не менее двух дополнительных часов.

Увеличение рабочего времени на 10-15% в ходе уборки урожая может показаться незначительным, но это означает, что у водителя есть три дополнительных дня для сбора урожая. Плюс если есть дни с плохой погодой (например, дождь, который заставляет зерно прорастать или опадать). Поскольку операторы комбайнов получают зарплату в соответствии с объемом собранного урожая, использование нашей системы помогает им зарабатывать больше. В конечном итоге и водители, и менеджеры единодушно заявляют, что уборка урожая стала проще, и, как правило, стоимость системы (порядка 10,000 долларов США) окупается всего за один сезон. Водители комбайнов быстро осваивают нашу технологию — по прошествии первых нескольких дней многие водители либо начинают доверять нашему роботу как всемогущему разуму, либо решают «затестить» его до смерти. Некоторые ошибочно полагают, что наши роботы уже сейчас думают и действуют абсолютно как люди, и немного разочарованы, увидев, что наша система может работать не так эффективно в ночное время или сталкиваться с проблемами с движением в пыли, когда несколько комбайнов едут близко один за другим. Но ведь даже если у людей могут быть проблемы в таких ситуациях, операторы будут ворчать: «Как он может не видеть?» Водитель-человек понимает, что расстояние до впереди идущего комбайна около 10 метров и что он движется с постоянной скоростью. Облако пыли через минуту сдует, и все будет хорошо. Тормозить не нужно. Алекс, водитель комбайна впереди, тормозить точно не будет. Или все же будет, чтобы случайно не врезаться? Поскольку система еще не провела годы вместе с Алексом и не может использовать его жизненный опыт для прогнозирования его действий, она останавливает комбайн и освобождает элементы управления. Вот где человеческий интеллект снова побеждает ИИ.

Развороты после каждого загона пока также оставлены на усмотрение человеческого разума. Эта особенность всегда удивляла водителей комбайна, но оказалась самой сложной во время тестов: огромная ширина жатки означает, что необходимо учитывать огромное количество гипотез об объектах, находящихся за пределами прямой видимости нашей камеры. Но мы эту функцию уже тоже автоматизируем и ждем завершения тестов на пересеченной местности. Мы также экспериментируем с нашим собственным радаром, который может видеть края и ряды сельскохозяйственных культур как радиочастотные изображения. Это не сильно увеличивает общую стоимость решения, и мы планируем использовать радар для продвинутых версий наших агродроидов, предназначенных для работы в условиях плохой видимости и в ночное время.

Летом и осенью 2020 года более 350 автономных комбайнов, оснащенных системой Cognitive Agro Pilot, преодолели более 160,000 гектаров полей и помогли фермерам собрать более 720,000 тонн урожая от Калининграда на Балтийском побережье до Владивостока на Дальнем Востоке России. Наши роботы наработали более 230,000 часов, проехав в автономном режиме более 950,000 километров. А к концу уже этого года наша система будет доступна в США и Южной Америке.

Обычные фермеры и конечные пользователи нашего решения, возможно, слышали о беспилотных автомобилях в новостях или пару раз видели слово «нейронная сеть», но на этом их опыт работы с ИИ заканчивается. Так что очень приятно слышать, как они говорят такие вещи, как «Посмотрите, как хорошо сработала сегментация!» или «Нейронная сеть в полном порядке!».

Изменение технологической парадигмы требует времени, поэтому мы обеспечиваем максимально возможную совместимость наших решений с существующим оборудованием. Несомненно, по мере того как фермеры адаптируются к текущим инновациям, мы будем постоянно увеличивать автономность всех типов техники для всех видов задач.

Несколько лет назад я изучала работу миссии ООН в Руанде, занимающейся проблемами детского недоедания. Никогда не забуду эти фотографии истощенных детей. Это напомнило мне о голоде, охватившем блокадный Ленинград во время Второй мировой войны. Некоторые из моих родственников погибли там, и их дневники свидетельствуют о том, что мало финалов ужаснее голодной смерти. Я считаю, что автоматизация и усовершенствование ИИ для сельскохозяйственной техники, используемой в районах рискованного земледелия или регионах с нехваткой квалифицированных рабочих кадров, должна быть наивысшим приоритетом для всех правительств, заинтересованных в обеспечении адекватного ответа на глобальные вызовы продовольственной безопасности.