Содержание
Прогресс в области развития искусственного интеллекта мотивирует коммерческие и производственные компании интегрировать новые технологии в свой бизнес для получения конкурентных преимуществ. Это рождает устойчивый спрос не только на высокопроизводительное оборудование, но и на рынок услуг в области IT-технологий. Многие сервис-провайдеры в Европе уже предлагают услуги по аренде серверов для задач машинного обучения и логического вывода.
или
Выбор GPU сервера для AI
Какие комплектующие выбрать? Кому доверить сервисное обслуживание?
Задачи искусственного интеллекта решаются в контексте больших объёмов данных и высоких вычислительных мощностей. Обеспечить такие условия может только дорогостоящее серверное оборудование, поэтому оптимизация расходов на стадии запуска проекта актуальна даже для крупного бизнеса.
Как правильно выбрать AI-сервер для аренды? Какое оборудование и технологии предлагают производители для работы с нейросетями? Поможет ли сервис-провайдер сэкономить ресурсы и оптимизировать расходы? Ответы на эти и другие вопросы в нашей статье.
Запуск проекта для работы с искусственным интеллектом – сложная и многогранная задача. Важно не только правильно выбрать оборудование и сервис, но и грамотно спланировать бюджет. Помочь с этим могут специалисты нашего портала. Выбирайте удобное время и записывайтесь на бесплатную консультацию.
Консультант по серверному оборудованию, сетевым и облачным технологиям Бесплатная 30-минутная онлайн-консультация по аренде, настройке и запуску GPU серверов для AI
Виртуальный или локальный GPU сервер?
Сервис-провайдеры предлагают в аренду как виртуальные, так и выделенные серверы для задач машинного обучения и логического вывода. Выбор между виртуальным и локальным сервером чаще всего делают с учетом особенностей конкретного проекта. У обоих вариантов есть свои достоинства и недостатки.
Аренда выделенного сервера с GPU даёт возможность полного контроля над оборудованием и программным обеспечением, что является безусловным плюсом и может быть важным условием для бизнес-проекта. Кроме того, аренда выделенного сервера с высокопроизводительным оборудованием в долгосрочной перспективе обходится дешевле, чем использование виртуальной машины с аналогичной конфигурацией.
Минусы у такого варианта тоже есть. Во-первых, заказчику приходится брать на себя техническое обслуживание сервера: ремонт, обновление ПО, вопросы лицензирования и т.д. Во-вторых, масштабировать вычислительные мощности на физическом оборудовании значительно сложнее.
Аренда виртуального сервера с GPU позволяет сосредоточиться на бизнес-задачах, не отвлекаясь на вопросы технического обслуживания и обеспечения работоспособности ПО. Кроме того, масштабировать производительную мощность виртуального сервера при современном уровне сетевых технологий можно почти бесконечно.
Главный минус аренды виртуального сервера – высокая стоимость. Практический опыт показывает, что именно финансовый аспект часто становится определяющим в пользу выбора заказчиком локального оборудования.
В абсолютном большинстве случаев коммерческие компании арендуют выделенный физический GPU-сервер для работы с искусственным интеллектом и размещают его в дата-центре. При этом, уже на этапе проектирования оборудования можно создать условия для возможного наращивания вычислительной мощности, а техническое обслуживание и вовсе впоследствии доверить техническому персоналу сервис-провайдера. Такой подход позволяет существенно экономить при организации проекта с использованием выделенного сервера AI.
Выбор комплектующих для AI-сервера
Машинное обучение (ML) и глубокое обучение (DL) предполагает использование сложных моделей на большом объёме данных. Для решения этой задачи серверы оснащаются мощными GPU процессорами, способными вести параллельные вычисления.
Поскольку оборудование для работы с искусственным интеллектом становится всё более востребованным, ведущие мировые производители разрабатывают новые продукты под задачи искусственного интеллекта. В частности, появляются новые GPU процессоры, оптимизированные под обучение нейросетей и модели серверов с архитектурой, соответствующей новым задачам.
За счёт этого процесс инженерной сборки сервера под конкретный проект упрощается, однако необходимость оптимизации ресурсов всё равно остаётся актуальной. Уже на этапе проектирования можно определить наиболее подходящие комплектующие и при этом учесть рекомендации производителей.
Процессор
Пока безусловное лидерство в серверных архитектурах для обучения нейросетей удерживают процессоры линейки Intel® Xeon® 5-го поколения и AMD EPYC™ 9004 от AMD. В первом квартале 2024-го года это лучшие решения среди процессоров x86 на базе CISC. Они хорошо подходят, когда нужна отличная производительность в сочетании с надежной проверенной экосистемой.
Если бюджет ограничен, можно рассмотреть более ранние версии процессоров Intel® Xeon® и AMD EPYC™. Для начального уровня хорошим выбором также может стать серия процессоров AMD Ryzen™.
Современные серверные решения могут предполагать один или два процессорных сокета. Двухпроцессорное решение обеспечивает более высокие показатели производительности и доступности, но при этом возрастает энергопотребление и требуются более сложные системы управления температурой, что влечет за собой дополнительные расходы.
GPU
Некоторые современные графические процессоры специально оптимизированы производителями для задач машинного обучения.
Если требуется максимальная вычислительная мощность без оглядки на стоимость, пока наилучшим вариантом является GPU NVIDIA HGX™ H100. Модули высокой плотности для четырёх и восьми процессоров часто интегрируют в корпуса с жидкостным охлаждением, чтобы максимизировать потенциал этих чипов. Восемь GPU-процессоров NVIDIA HGX™ H100 способны обеспечить впечатляющие 32 петафлопс производительности FP8 глубокого обучения.
Мощной альтернативой H100 является GPU Instinct™ MI300X от AMD. Особенность этого чипа – огромный объём памяти и очень высокая пропускная способность, что бывает важно для LLM (large language model AI) – больших языковых моделей ИИ. Такая известная LLM как, например, Falcon-40 с сорока миллиардами параметров способна работать всего на одном ускорителе MI300X.
Если объём данных, с помощью которых придётся обучать ИИ не слишком велик, то и гнаться за максимальной производительностью тоже нет смысла. В этом случае можно немного сэкономить и собрать сервер с использованием графических процессоров NVIDIA L4, NVIDIA L40 или NVIDIA L40S. Эти чипы также рекомендованы производителем для работы с нейросетями.
Все перечисленные GPU одинаково хорошо подходят как для машинного обучения, так и для задач логического вывода. Выбор в пользу того или иного варианта GPU всегда следует делать в соответствии с техническими требованиями проекта и финансовыми возможностями.
Оперативная память и накопители
Самым продвинутым типом оперативной памяти пока остаётся DDR5 SDRAM – пятое поколение ОЗУ с двойной скоростью передачи данных. По сравнению с предыдущими поколениями у DDR5 выше емкость, пропускная способность и скорость передачи данных. Каким бы ни был сервер для работы с искусственным интеллектом, одного модуля оперативной памяти DIMM никогда не будет достаточно. В некоторых серверах предусмотрено до 48 слотов DIMM. Общий объём ОЗУ выбирают, исходя из требований к проекту, но для промышленных решений чаще всего необходимо от 512 до 1024 GB RAM.
В то время, как оперативная память хранит данные для немедленного использования, накопители данных (storage) хранят информацию до тех пор, пока пользователь ее не удалит. При сборке серверов используют твердотельные накопители стандарта NVME с новейшим интерфейсом NVMe Gen5. У них наиболее высокая скорость передачи и наименьшие показатели задержки. Общий объём накопителей данных также будет прямо зависеть от технических требований к проекту.
Форм-фактор GPU сервера
Форм-фактором определяется количество мест в серверной стойке, которое необходимо для размещения оборудования. Размер сервера измеряют в монтажных единицах, называемых Unit, сокращенно U. Поскольку юниты в стойке располагаются друг над другом, ширина сервера всегда будет стандартной (если это не форм-фактор Tower), а вот высота будет прямо зависеть от количества U.
Для работы с искусственным интеллектом чаще всего проектируют серверы с высотой от 1 до 8 U. Как правило, чем больше графических процессоров задействовано в архитектуре, тем сложнее система охлаждения, тем больше места занимает сервер.
Один юнит в большинстве случаев может вместить до 4 GPU. Серверы с высотой 4U – до 10 графических процессоров. В тоже время, эти показатели ориентировочные, многое зависит от типа используемых GPU. Есть серверы с размером 2U, которые поддерживают до 16 однослотовых графических процессоров.
При выборе форм-фактора следует помнить, что стоимость аренды серверной стойки в дата-центре будет прямо зависеть от высоты выбранного сервера (количества U в характеристиках). Чем больше число U, тем дороже обойдется аренда.
Техническое и сервисное обслуживание GPU серверов для AI
Важно понимать, что сборка сервера ещё не равна успешному запуску проекта. Арендуемое оборудование требует технического и сервисного обслуживания. Хостинговые компании часто предлагают услуги, которые помогут оптимизировать ресурсы, существенно сократить расходы на аренду и обслуживание.
- Услуга «Аренда сервера с GPU» в лучшем варианте предполагает полный комплекс услуг от провайдера: бесплатную разработку архитектуры сервера, приобретение оборудования, подключение и настройку.
- Услуги по миграции сервера или переезду в новый дата-центр некоторые сервис-провайдеры тоже оказывают бесплатно, если клиент готов заключить договор аренды или воспользоваться услугой Colocation.
- Договор аренды многие хостинговые компании готовы заключать на условиях лизинга с правом клиента выкупить оборудование, если в этом будет необходимость. Лизинговый договор заключается на срок от 2 лет.
- Дополнительный договор на техническое обслуживание выделенного избавляет бизнес от необходимости самостоятельно решать вопросы ремонта, лицензирования, корректной работы оборудования и программного обеспечения. Все эти вопросы целиком ложатся на провайдера. Последствия вероятных инцидентов при этом минимизируются, а клиент получает регулярную отчетность о работе сервера и ПО.
- Послегарантийное обслуживание на абонентской основе – еще одна услуга, которая может быть востребована при аренде сервера с GPU. Хостер бесплатно заменит любые комплектующие, в том числе самые дорогие, при условии оплаты клиентом ежемесячной абонентской платы. Стоимость этой услуги, как правило, составляет от 30 евро в месяц.
Заключая договор на аренду GPU сервера для работы с искусственным интеллектом, важно уделить внимание вопросам безопасности и качеству работы службы технической поддержки.
Размещение оборудования в ЦОД класса Tier 3 – оптимальный выбор с точки зрения безопасности. В дата-центрах Tier 3 используются продвинутые системы вентиляции и пожаротушения, проводятся регулярные проверки безопасности, а доступ в серверные залы возможен только по биометрическим данным. Сам сервер размещается в закрытом шкафу с индивидуальным счетчиком электропитания.
Качество работы службы поддержки поставщика услуг тоже имеет огромное значение. Если хостер принимает заявки на обслуживание только по электронной почте и обрабатывает их в течение многих часов или даже дней, это серьезный повод отказаться от сотрудничества. Все вопросы, связанные с обслуживанием GPU сервера должны решаться оперативно, от этого прямо зависит работоспособность сервера и успех проекта в целом. Возможность связываться со службой технической поддержки в мессенджерах будет хорошим преимуществом, если хостер готов предоставить сервис такого уровня.
или
Выбор GPU сервера для AI
Какие комплектующие выбрать? Кому доверить сервисное обслуживание?
Проектирование сервера для ИИ – сложная инженерная задача, которая не всегда под силу даже опытным специалистам. Технологии меняются очень быстро, отдельные комплектующие иногда морально устаревают за 6-7 месяцев. Если хотите разобраться, какая именно конфигурация будет оптимальна для вашего бизнес-проекта и какие бонусы можно получить от сервис-провайдера, оставляйте заявку на бесплатную онлайн-консультацию.
Автор статьи Ольга Буянова Консультант по серверному оборудованию, сетевым и облачным технологиям
