Как Dataiku поддерживает «повседневный искусственный интеллект»
Основанная в 2013 году, в то время, когда искусственный интеллект (ИИ) не был так популярен, как сегодня, компания Dataiku поставила перед собой задачу демократизировать доступ к данным для поддержки более эффективного принятия решений предприятиями.
Теперь компания надеется сделать то же самое для искусственного интеллекта, опираясь на возможности, отточенные за десять лет в области управления данными и DataOps, для поддержки «повседневного развертывания искусственного интеллекта» на предприятии. В сентябре 2023 года она запустила LLM Mesh, «магистральную» платформу, которая помогает в управлении, управлении затратами и безопасности приложений генеративного ИИ (GenAI).
В интервью Computer Weekly в Сингапуре президент Dataiku Криш Венкатараман и ее вице-президент и генеральный менеджер по Азиатско-Тихоокеанскому региону Дж. Я. Пук рассказали о преимуществах компании на рынке операций машинного обучения (MLOps) и инструментов DataOps. как это работает с такими партнерами, как Amazon Web Services (AWS), и с огромными возможностями роста в Азии.
Вокруг искусственного интеллекта, MLOps и DataOps ходит много шума, и разные игроки, включая гиперскейлеры, платформы данных и даже производители чипов, присматриваются к кусочку пирога. Чем выделяется Dataiku?
Венкатараман: Как и в случае с любой новой возможностью, всегда будут первоначальные игроки, которые будут играть между компонентами. ИИ сейчас следует той же теме, которую мы видим в любой новой технологии, где есть много участников, а затем каждый выясняет, где у него больше всего возможностей для инноваций, продажи возможностей и расширения.
Сегодня. такие компании, как Nvidia и другие, уделяют большое внимание вычислениям. Также огромное внимание уделяется большим языковым моделям (LLM), поскольку они, по сути, являются тем же устройством, которым был iPhone. В ближайшие несколько лет больше внимания будет уделяться прикладному уровню, использующему преимущества вычислений и LLM. При этом предприятиям потребуется возможность организовывать и управлять всей средой и, что более важно, предоставлять пользователям доступ к их собственным данным. Это та область, в которой мы преуспели на протяжении долгого времени. Нашими клиентами являются более 10% из 2000 компаний мира. Это большое достижение, поскольку компаниям, которые, как правило, жестко регулируются и являются сложными, требуются продукты, которые масштабируются и обеспечивают определенный уровень управления и безопасности.
В основе нашего успеха лежат три задачи, которые мы решили, начиная с ускорения цифровизации с помощью генеративного искусственного интеллекта, который предоставит каждому сотруднику, а не только специалистам по данным, доступ к данным и возможностям искусственного интеллекта. Второе — это модернизация стека данных, но по-другому. Благодаря тому, что агенты ИИ могут предоставлять людям доступ к различным наборам их собственных данных, речь уже идет не только о централизованном хранилище данных или озере данных. Третье, особенно на предприятии, — это управление. Ключевое значение имеет то, как вы управляете своей средой и распределяете возможности ИИ. Но речь идет не только о соблюдении нормативных требований, но и о понимании того, кто и к каким возможностям имеет доступ, чтобы ускорить использование ИИ, а не замедлить его.
Вот что такое корпоративный ИИ. Если вы не решили эти три проблемы, не имеет значения, сколько компьютеров вы покупаете. Не имеет значения, сколько LLM вы покупаете. Вы действительно не сможете извлечь выгоду из своих данных, если эти три потока не будут работать вместе.
Похоже, что структуры управления ИИ все еще развиваются, в отличие от таких областей, как разработка программного обеспечения, где у вас есть такие вещи, как спецификация программного обеспечения (SBOM), которая сообщает вам, что входит в программное приложение. В моделях ИИ нет ничего подобного, где бы вы знали, что входит в модель ИИ. Что ты думаешь по этому поводу?
Есть места, где мы продаем данные аналитикам данных и сообществам «повседневного искусственного интеллекта» — именно здесь мы преуспеваем благодаря нашей способности предоставить те же статистические возможности и инструменты человеку, который может не иметь докторской степени в области статистики.
Криш Венкатараман, Датаику
Венкатараман: Если вы посмотрите на управление технологиями, то со временем было разработано огромное количество структур, будь то в области кибербезопасности или управления данными. Мы наблюдаем некоторые изменения в системах управления ИИ, которые вращаются вокруг концепций справедливости, точности и прозрачности. Наше фундаментальное ожидание состоит в том, что для того, чтобы управление работало, оно должно перейти от модели «нет» к модели «да», а это требует от нас создания структуры, а также таких возможностей, как LLM Mesh, где управление является цельным и прозрачным.
Управление также помогает управлять затратами, поскольку оно является частью среды управления и дает пользователям возможность понять управление, не рассматривая управление как фактор «нет». Именно в это мы вкладываем много средств, поскольку считаем, что управление очень сложной средой LLM будет иметь ключевое значение для предприятий. Чтобы это произошло, нам нужно создать фундамент сейчас, а не думать об управлении через год или два, прежде чем оно станет действительно сложным и остановит инновации. Если мы не решим проблему управления, демократизация ИИ будет невозможна.
То, что Dataiku сделал с управлением затратами в LLM Mesh, было интересным. Гипермасштаберы имеют разные цены на интерфейсы прикладного программирования (API) LLM на разных рынках. Как вы ориентировались в экосистеме ИИ, чтобы убедиться, что вы можете отразить фактическую стоимость развертывания ИИ в организации?
Венкатараман: У большинства предприятий нет золотого билета, по которому они могли бы сказать, что их среда настолько хорошо спланирована, что все волшебным образом происходит каждый день. Большинство из них имеют сложную среду данных и структуру вычислений. Многие компании говорят об облаке, но большинство регулируемых компаний по-прежнему живут локально и в гибридных средах. Как в таких условиях мы можем быть централизованным игроком, помогающим организовывать дела так, чтобы это было ценно для всех участников экосистемы? Речь идет не только о стоимости – речь идет также о сочетании правильных компонентов, которые создают максимальную ценность для пользователей данных. Если речь идет только о стоимости и результатах, вы склонны создавать среду, которая не обеспечивает такой же уровень прозрачности для пользователя.
Другое дело, что сейчас большая часть принятия решений обычно происходит на уровне специалиста по данным или инженера по обработке данных. Чтобы данные могли использоваться всеми, нам необходимо предоставить возможность принятия решений остальной части организации. Этого не может произойти без создания единого слоя, такого как сетка. Сегодня у нас есть первая итерация LLM Mesh, но по мере того, как мы создаем ее с учетом отзывов наших клиентов, вы должны увидеть гораздо больше вариантов создания ценности и использования.
Dataiku имеет в своем портфолио широкий набор возможностей. Какова типичная точка входа для большинства ваших клиентов?
Венкатараман: Я задавал тот же вопрос, когда впервые пришел в компанию. Ответ таков: в отличие от других компаний, занимающихся данными или искусственным интеллектом, которые склонны использовать вертикальный подход, у нас всегда был уникальный кросс-функциональный подход. Мы хотим быть платформой для всех, независимо от того, работаете ли вы в области финансов, маркетинга или здравоохранения. Это означает, что нашей отправной точкой, как правило, являются пользователи, которые имеют четкое представление о данных, имеют некоторую способность выполнять базовое кодирование и имеют хорошую статистическую основу для понимания данных. Эта группа людей присутствует в каждой части организации.
Наше фундаментальное ожидание состоит в том, что для того, чтобы управление работало, оно должно перейти от модели «нет» к модели «да», а это требует от нас создания структуры, а также таких возможностей, как LLM Mesh, где управление является цельным и прозрачным.
Криш Венкатараман, Датаику
Итак, мы можем нанести удар по технологической компании, которая создает основу для искусственного интеллекта и использует наш продукт для управления рисками. Это также может быть крупное финансовое учреждение, использующее нас, чтобы помочь своим финансовым консультантам создать индивидуальные портфели для каждого клиента. Или это может быть крупная фармацевтическая компания, которой необходимо понять, как эффективно позиционировать свои лекарства нужной аудитории в нужном месте и в нужное время.
По сути, наши варианты использования не ограничиваются одним небольшим подмножеством, и это ценно для наших клиентов, потому что, когда они покупают инструменты сегодня, они хотят, чтобы они решали не только одну уникальную проблему или учитывали конкретные варианты использования, но также давали возможность использовать его во всех функциональных областях своего бизнеса. Именно здесь, я думаю, мы проделали очень хорошую работу по привлечению бизнес-подразделений с серьезной проблемой, а затем быстрому расширению на основе молвы на другие части бизнеса наших клиентов. Мы практически не тратим денег на широкомасштабный маркетинг – вместо этого мы проводим много времени с нашими клиентами, чтобы они могли продвигать нашу платформу среди других организаций.
Dataiku также сотрудничает с гиперскейлерами. Как развивается динамика этих партнерств, учитывая, что гиперскейлеры предлагают аналогичные инструменты MLOps?
Венкатараман: Я думаю, что у нас феноменальные отношения с AWS, а также со Snowflake и Databricks. Вычислительные ресурсы не находятся в Dataiku, поэтому мы передаем их этим партнерам. Чем больше мы добиваемся успеха с нашими клиентами, тем большую ценность они создают, а в программном обеспечении всегда будет этот серый слой между поставщиками приложений и базовыми уровнями. Я думаю, что мы проделали довольно хорошую работу, чтобы справиться с этим, иначе я не думаю, что AWS, Snowflake и Databricks признали бы нас партнером года в сфере ИИ.
И, кстати, бывают случаи, когда мы не так уж и ценны, а в некоторых случаях и они не ценны. Это зависит от того, кому мы продаем. Мы склонны сотрудничать, если речь идет о специалистах по данным, которым не нужна комбинация инструментов кодирования и инструментов без кодирования. Кроме того, есть места, где мы продаем свою продукцию аналитикам данных и сообществам «повседневного искусственного интеллекта» — именно здесь мы преуспеваем благодаря нашей способности предоставить те же статистические возможности и инструменты человеку, который может не иметь докторской степени в области статистики. Это рынок, на котором у нас больше всего пользователей.
Какие инвестиции компания Dataiku сделала в Азиатско-Тихоокеанском регионе и что будет дальше?
Венкатараман: У нас уже есть большие ботинки в Сингапуре, Японии и Австралии. Для нас это просто удвоение и утроение этих инвестиций. Фактически, в будущем половина нашего бизнеса должна происходить из Азии, потому что это такой огромный рынок, и отсюда будут приходить великие организации по всему миру.
Еще я могу вам сказать, что правительства стран Азии находятся на переднем крае инвестиций в ИИ. Сингапур всегда проделывал феноменальную работу, когда речь шла о том, чтобы правительства поступали правильно и правильно все организовывали, но теперь вы можете видеть это по всей Азии. Фактически, во многих случаях правительства опережают предприятия в инвестициях в ИИ.
На какие отрасли в регионе вы больше всего ориентируетесь?
Пук: Наша платформа довольно горизонтальна, поэтому ее могут использовать разные отрасли и компании разных размеров. Вопрос в том, какие отрасли и компании находятся в авангарде попыток использовать ИИ? Вы видите это в банках, страховых компаниях и правительствах, о которых говорил Криш. Есть также розничная торговля, фармацевтика и производство. Например, был производитель кондиционеров, который установил датчики для сбора данных о температуре в разных частях комнаты и объединил эти данные с данными кондиционеров для оптимизации производительности продукта. Таким образом, мы имеем наибольшую популярность в отраслях, которые имеют много данных и пытаются использовать их для принятия более разумных решений и достижения лучших результатов каждый день.
