Nomadic привлекла $8,4 млн для управления потоком данных от автономных транспортных средств

Чтобы построить автономные машины будущего, иногда вашей модели нужна другая модель.

Компании, разрабатывающие беспилотные автомобили, роботов-манипуляторов или автономную строительную технику, собирают тысячи, если не миллионы часов видеоданных для оценки и обучения.

Организация и каталогизация этого видео сейчас — работа для людей, которые должны просмотреть всё это. Даже в ускоренном режиме это не масштабируется. NomadicML, стартап, основанный генеральным директором Мустафой Балом и техническим директором Варуном Кришнаном, хочет решить проблемы клиентов, у которых 95% данных флота находятся в архивах.

Задача становится сложнее при поиске граничных случаев — наиболее ценные данные изображают события, которые редко происходят и могут сбивать с толку неопытные модели физического ИИ.

Nomadic работает над решением этой проблемы с помощью платформы, которая преобразует видеозаписи в структурированный, доступный для поиска набор данных через набор моделей компьютерного зрения и языка. Это, в свою очередь, позволяет лучше контролировать флот и создавать уникальные наборы данных для обучения с подкреплением и более быстрого итерирования.

Компания объявила о раунде финансирования в размере $8,4 млн во вторник при оценке $50 млн после закрытия. Раунд возглавила TQ Ventures при участии Pear VC и Джеффа Дина и позволит компании привлечь больше клиентов и продолжить совершенствование своей платформы. Nomadic также выиграла первый приз на питч-конкурсе Nvidia GTC в прошлом месяце.

Двое основателей, познакомившихся в Гарвардском университете как студенты специальности информатика, «снова и снова сталкивались с одинаковыми техническими проблемами на наших работах» в компаниях вроде Lyft и Snowflake, рассказал Бал TechCrunch.

«Мы предоставляем людям информацию об их собственных видеозаписях, независимо от того, что управляет их беспилотниками и роботами, — сказал он. — Именно это движит разработчиками автономных систем вперёд, а не случайные данные».

Представьте, например, попытку улучшить понимание беспилотником того, что он может проехать на красный свет, если офицер полиции приказывает ему это делать, или изолировать каждый раз, когда транспортные средства проезжают под определённым типом моста. Платформа Nomadic позволяет выявлять эти инциденты как для целей соответствия требованиям, так и для непосредственной подачи в тренировочные конвейеры.

Клиенты, такие как Zoox, Mitsubishi Electric, Natix Network и Zendar, уже используют платформу для разработки интеллектуальных машин. Антонио Пульелли, вице-президент по инженерии в Zendar, сказал, что инструмент Nomadic позволил компании масштабировать свою работу намного быстрее, чем альтернатива передачи на аутсорсинг, и что её экспертиза в предметной области выделяет её от других конкурентов.

Этот вид инструмента автоматической аннотации на основе моделей становится ключевым рабочим процессом для физического ИИ. Установленные компании по маркировке данных, такие как Scale, Kognic и Encord, разрабатывают инструменты ИИ для выполнения этой работы, тогда как Nvidia выпустила семейство открытых моделей, Alpamayo, которые можно адаптировать для решения проблемы.

Варун утверждает, что инструмент его компании — это больше, чем просто маркировщик; это «система агентического рассуждения: вы описываете, что ему нужно найти, и оно определяет, как это найти», используя несколько моделей для понимания происходящих действий и их контекстуализации. Инвесторы Nomadic рассчитывают, что фокус стартапа на этой специфической инфраструктуре будет преимуществом.

«Это то же самое, почему Salesforce не строит свой собственный облако и Netflix не строит свои собственные сети доставки контента, — сказал TechCrunch Шустер Танжер, партнер TQ Ventures, возглавивший раунд. — В тот момент, когда компания автономного транспортного средства пытается построить Nomadic внутри себя, она отвлекается от того, что её отличает, — от самого робота».

Танжер похвалил талант Nomadic, отметив, что Кришнан — международный гроссмейстер по шахматам с рейтингом 1549-го лучшего игрока в мире. Кришнан же, со своей стороны, хвастается, что все дюжина или около того инженеров компании опубликовали научные статьи.

Сейчас они усердно работают над разработкой специальных инструментов, например того, который понимает физику смены полосы движения с видеокамер, или другого, который получает более точные местоположения для захватов робота в видео. Следующая задача, с точки зрения Nomadic и её клиентов, — разработать подобные инструменты для невизуальных данных, таких как показания датчиков лидара, или интегрировать данные датчиков по нескольким модальностям.

«Жонглирование терабайтами видео, соединение этого со сотнями моделей с более чем 100 миллиардами параметров и последующее извлечение их точных выводов — это действительно невероятно сложно, — сказал Бал».