Шаг за шагом: новые методы сокращения углеродного следа ИИ

Растет обеспокоенность по поводу быстрого распространения искусственного интеллекта (ИИ) и требований, предъявляемых серверами к электроснабжению и водоснабжению. Новый компьютер Nvidia DGX, золотой стандарт работы искусственного интеллекта, потребляет более 10 кВт энергии. В этом году крупные технологические компании купят миллионы таких систем, потребляя больше энергии, чем весь Нью-Йорк.

Но для работы этих компьютеров требуется не только электричество. Они становятся горячими, очень горячими, поэтому им необходимо охлаждение. Вам нужно избавиться от этого тепла. Обычно это потребляет в два раза больше энергии, чем реальный компьютер. Итак, теперь машина мощностью 10 кВт действительно использует при работе 30 кВт. Эти новые серверы будут потреблять в три раза больше, чем вся электроэнергия, потребляемая в Калифорнии в 2022 году! Чтобы обойти эту проблему, серверные фермы начинают использовать воду, много воды для охлаждения оборудования. Это экономит электроэнергию, но использует нашу драгоценную пресную воду, чтобы помочь сократить расходы.

ИИ жаждет власти, и ситуация будет ухудшаться. Как мы можем решить эту проблему? К счастью, исследователи уже начинают искать более эффективные методы создания и использования ИИ. Четыре многообещающих метода: повторное использование моделей, ReLora, MoE (Mixture of Experts) и квантование.

Повторное использование модели предполагает переобучение уже обученной модели для новой цели, что экономит время и энергию по сравнению с обучением с нуля. Такой подход не только экономит ресурсы, но и часто приводит к созданию более эффективных моделей. И Meta (родитель Facebook), и Mistral хорошо подготовились к выпуску моделей, которые можно использовать повторно.

ReLora и Lora сокращают количество вычислений, необходимых при переобучении моделей для новых целей, что еще больше экономит энергию и позволяет использовать меньшие по размеру и менее энергоемкие компьютеры. Это означает, что вместо того, чтобы полагаться на большие энергоемкие системы, такие как DGX от NVidia, для переобучения часто может быть достаточно скромной видеокарты.

Модели MoE, например недавно выпущенные компанией Mistral, имеют меньше параметров, чем традиционные модели, что приводит к меньшему количеству вычислений и снижению энергопотребления. Более того, модели MoE активируют только необходимые блоки во время использования, подобно выключению света в неиспользуемых комнатах, что приводит к снижению потребления энергии на 65%.

Квантование — это инновационный метод, позволяющий уменьшить размер моделей ИИ. Путем квантования модели количество битов, необходимых для представления каждого параметра, уменьшается. Это уменьшает размер модели, позволяя использовать менее мощное и более энергоэффективное оборудование. Хотя квантование может немного снизить точность модели, для многих практических приложений этот компромисс не заметен.

Объединив эти четыре метода, мы успешно повторно использовали модель MoE с 47 миллиардами параметров и переобучили ее для клиента, использующего сервер, потребляющий менее 1 кВт энергии, завершив процесс всего за 10 часов. Кроме того, клиент может запустить модель на стандартных компьютерах Apple Mac с энергоэффективными кремниевыми чипами M2.

Поскольку ИИ становится все более распространенным, нам нужно задуматься об использовании энергии и воды. Исследования более эффективных методов обучения и использования дают многообещающие результаты. Интегрируя эти новые технологии в наши потоки инструментов, мы не только приносим пользу нашим клиентам, но и вносим вклад в более устойчивое будущее нашей планеты.

Оливер Кинг-Смит — генеральный директор компании smartR AI, которая разрабатывает приложения на основе инфраструктур SCOTi AI и alertR.