Во время своей работы консультантом и менеджером в сфере данных я множество раз просидел через презентации. С обеих сторон. И любая презентация, которая стоит своего места, что-то обещает, часто в отношении эффективности или производительности. Вы, вероятно, уже слышали что-то подобное:

  • Этот инструмент сделает ваших data scientists на 40% более производительными!
  • Вы потратите на 30% меньше времени на исправление ошибок. Вы сможете работать всего 6 часов в день и все еще выиграете!
  • С нашим решением вы сможете реализовать два проекта в то время, в которое раньше реализовывали один. Это вдвое сокращает время до запуска!

Иногда обещания не работают просто потому, что предложенный продукт плохой. Но почему это не работает даже с хорошими продуктами? Вы можете перейти на продукт, который вам действительно нравится, но все еще не увидеть обещанное улучшение. Почему? Лгут ли вам числа, которые вам представили?

Мой опыт работы в качестве доктора математики, вероятно, оставил глубокие шрамы. Один из самых глубоких — это моя потребность понять точно, что представляют числа. И числа, которые вы видите в высказываниях выше, говорят об одном, но рассказывают совершенно другую историю, если вы остановитесь и подумаете.

Хотя ложь, конечно, случается, гораздо более распространенной практикой является введение в заблуждение. Такой маркетинг предполагает, что вы не будете критически мыслить, когда вам представляют числа. Давайте критически подумаем вместе и посмотрим, что мы получим.

Ложь, ложь и маркетинг

Так в чем же проблема с утверждениями о производительности?

Главная проблема заключается в том, что они обещают оптимизировать определенный аспект процесса, но (косвенно) обещают глобальное повышение производительности.

Давайте разберемся на простом примере.

Допустим, вы крупный игрок в сфере ИИ и недавно запустили продукт, который отлично помогает data scientists с выбором параметров модели. Отлично! Первоначальные опросы показывают, что он дал data scientists 20% увеличение производительности при выборе параметров модели. Вы сначала представляете это как:

Наш инструмент улучшил производительность выбора параметров модели для data scientists на 20%.

Довольные этим впечатляющим результатом, вы отправляете свое заявление в маркетинг, и они возвращаются только с незначительными корректировками:

Наш инструмент улучшил выбор параметров модели, делая data scientists на 20% более производительными.

Вы пожимаете плечами и на секунду задаетесь вопросом, за что на самом деле платят людям в маркетинге, если они только переставили несколько слов. На самом деле они преобразовали ваше утверждение из чего-то умеренно впечатляющего во что-то невероятно впечатляющее.

Почему? Корректировка маркетинга создает впечатление, что продукт делает data scientists на 20% более производительными в целом. Но ваш опрос действительно говорил только о производительности во время выбора параметров модели data scientists. В чем реальная разница?

Data scientist занимается множеством дел, включая создание прототипов, управление стейкхолдерами, координационные встречи и так далее. Хотя машинное обучение часто находится в центре внимания того, как они описали бы себя, многие data scientists только около 40% своего времени проводят на типичных задачах обработки данных. Большую часть этих 40% занимает отладка проблем с качеством данных, управление pipeline и валидация данных. Выбор параметров модели может занимать только 10% их 40% времени на задачах обработки данных. Умножение показывает нам, что это только 4% их общего времени.

Если data scientist использует инструмент для повышения производительности выбора параметров модели на 20%, это будет влиять только на 1% их общего времени. Вы не заметите этого в течение рабочей недели. На самом деле, с добавленной сложностью изучения нового инструмента в начале, вы даже можете увидеть снижение производительности вначале.

Лучшая часть? Посмотрите на утверждение внимательно:

Наш инструмент улучшил выбор параметров модели, делая data scientists на 20% более производительными.

Это, конечно, кажется говорящим, что data scientists в целом станут на 20% более производительными, но это всего лишь одна интерпретация. Если настаивать, маркетинг установит связь между началом и концом предложения и скажет, что подразумевается, что увеличение производительности только для выбора параметров модели.

Таким образом, вы эффективно можете сказать одно, а при обнаружении вводящего в заблуждение утверждения отступить к другому. Зарплата маркетологов идет за подбор правильных слов!

Более лучший способ? Сосредоточьтесь на когнитивной нагрузке вместо производительности

О чем действительно говорит история, которую я вам рассказал? Если у вас много разных сложных задач (как у data scientist), то стремление к повышению производительности действительно не решает проблему.

Не поймите меня неправильно. Если у вас есть легкая возможность стать на 20% более производительным в одной из ваших задач, воспользуйтесь этим! Но не ожидайте, что это приведет к разнице более чем на один-два процента в общей производительности.

Что мы можем сделать вместо этого, когда у нас много разных сложных задач? Мы можем использовать когнитивную нагрузку как метрику и пытаться снизить её.

Предположим, конкурирующая компания разработала свой собственный инструмент для выбора параметров модели. Вместо того, чтобы ускорить процесс, единственной целью их инструмента было снижение когнитивной нагрузки на data scientist. Таким образом, процесс выбора модели занимал бы столько же времени, но data scientist чувствовал бы себя энергичным и готовым к новому вызову после выбора параметров модели.

Большинство людей, включая меня, не могут работать 8 часов в день и быть на вершине своих сил все время. Некоторые дни у меня есть 6 эффективных часов. Другие дни это больше похоже на 2 эффективных часа. Если один процесс не требует столько когнитивной нагрузки, то я могу работать дольше эффективно. Это часто приводит к той же общей производительности в несколько процентов, но с добавленным преимуществом улучшения морального духа.

Поэтому в следующий раз, когда кто-то представит «увеличение производительности на 40%», задайте им следующие вопросы:

  • Какую часть общего времени работы затрагивает это повышение производительности?
  • Сколько когнитивной нагрузки это убирает или добавляет?