Перейти к содержанию
Публикация AiManual

Как собрать открытый AI-риг на четыре видеокарты: PCIe bifurcation, райзеры и питание

Практическая инструкция по сборке открытого AI-рига на четыре видеокарты: как проверить PCIe bifurcation x8/x8, выбрать райзеры, рассчитать питание, синхронизир

Коротко

Что будет в материале

  1. 01

    Можно ли собрать AI-риг на четыре видеокарты через PCIe bifurcation

  2. 02

    Материнская плата и PCIe bifurcation: что проверить в BIOS

  3. 03

    Как подключить четыре GPU: адаптеры бифуркации и райзеры

  4. 04

    Питание 4 видеокарт: как рассчитать нагрузку и распределить кабели

Да, открытый AI-риг на четыре видеокарты собрать можно, но наличие четырех разъемов PCIe x16 само по себе ничего не гарантирует. Материнская плата, процессор и прошивка BIOS/UEFI должны поддерживать нужную топологию PCIe bifurcation, а слоты должны получать подходящее количество линий. Для схемы x8/x8 один набор линий PCIe x16 делится на два независимых подключения по восемь линий.

Практический вариант выглядит так: два источника PCIe-линий работают в режиме x8/x8, к каждому адаптеру бифуркации подключаются две ветки с райзерами, а к каждой ветке подключается отдельная видеокарта. Это пример архитектуры, а не универсальная схема для любой платы. Адаптер и райзер не добавляют PCIe-линии и не исправляют отсутствие поддержки bifurcation.

До покупки компонентов нужно подтвердить четыре группы условий: топологию PCIe, качество сигнала, расчет питания и механическую компоновку. После сборки проверка должна идти поэтапно, начиная с одной видеокарты и заканчивая совместной AI-нагрузкой на все четыре GPU.

Можно ли собрать AI-риг на четыре видеокарты через PCIe bifurcation

Главный критерий, это схема распределения PCIe-линий в конкретной платформе. Если два CPU-подключенных слота действительно поддерживают деление x8/x8, у системы может появиться четыре логических подключения по восемь линий. Если один из слотов работает через чипсет, получает только четыре линии или отключается при установке другого устройства, итоговая конфигурация будет другой.

Для локального AI четыре GPU могут использоваться для параллельного инференса, распределения частей модели, обработки нескольких задач или запуска отдельных процессов. Суммарный объем VRAM при этом не превращается автоматически в единый пул памяти. Поддержка распределения модели зависит от драйвера, фреймворка и конкретного приложения.

Что означает схема PCIe x8/x8

Обозначение x16 часто описывает физический размер разъема. Электрическая конфигурация может быть x16, x8, x4 или другой. Внешне два слота выглядят одинаково, но получают разное число активных линий.

ТерминЧто он означаетЧего он не гарантирует
Физический слот x16Разъем имеет длину, рассчитанную на устройство формата x16.В слот обязательно заведены 16 активных линий.
PCIe x8Устройство использует восемь линий PCIe для одного соединения.Что слот работает на максимальной скорости конкретного поколения PCIe.
PCIe bifurcationОдин набор линий, например x16, делится на несколько независимых групп, например x8/x8.Что деление поддерживается любой материнской платой.
Адаптер бифуркацииПереходная плата разводит физические линии к нескольким разъемам или кабелям.Что адаптер самостоятельно создаст недостающие линии или включит нужный режим в BIOS.
PCIe-райзерКабель или переходная плата выносит видеокарту из исходного слота.Что сигнал останется стабильным при любой длине, изгибе и скорости PCIe.

В схеме x8/x8 каждая видеокарта получает собственное подключение на восемь линий, если адаптер и прошивка корректно видят два отдельных порта. Подключение двух GPU к одному физическому слоту без bifurcation обычно приводит к тому, что система видит только одно устройство или не видит ни одного из них.

Скорость зависит от поколения PCIe. Теоретическая пропускная способность одного соединения x8 в одну сторону составляет примерно 7,88 ГБ/с для PCIe Gen3, 15,75 ГБ/с для Gen4 и 31,5 ГБ/с для Gen5. Это расчетные значения после учета кодирования, а реальный обмен зависит от накладных расходов, платформы, райзера и характера нагрузки.

Какие данные нужны до покупки компонентов

  • точная модель и ревизия материнской платы;
  • модель процессора и количество доступных PCIe-линий;
  • блок-схема платы с указанием CPU-подключенных и чипсетных слотов;
  • версия BIOS/UEFI и список доступных настроек PCIe;
  • модели видеокарт, их разъемы питания, размеры и паспортное потребление;
  • поколение PCIe, тип разъемов и длина каждого райзер-кабеля;
  • модель блока питания, возможности 12V-линии, число отдельных PCIe-кабелей и допустимая нагрузка на разъемы;
  • операционная система, версия драйвера и AI-фреймворк, который должен работать с несколькими GPU.

Фотография платы не показывает полную схему распределения линий. Карточка товара тоже может перечислять физические слоты без описания их электрического режима. Нужны руководство пользователя, техническая схема платы и сведения о конкретной версии прошивки.

Материнская плата и PCIe bifurcation: что проверить в BIOS

Совместимость многокарточной системы начинается с материнской платы и процессора. Плата задает разводку слотов и доступные параметры прошивки, а процессор предоставляет часть PCIe-линий. Чипсетные линии могут иметь другую пропускную способность и делиться с M.2, SATA, сетевым контроллером или дополнительными слотами.

Поддержка bifurcation со стороны платы и процессора

В документации ищут упоминания PCIe bifurcation, режимов x8/x8, x8/x4/x4 или других вариантов деления. Для четырех видеокарт важен не сам факт наличия нескольких режимов, а соответствие конкретной схеме адаптеров.

Проверяйте каждый используемый слот:

  • сколько линий он получает в обычном режиме;
  • к какому источнику они подключены, к процессору или чипсету;
  • какие устройства отключаются при его включении;
  • меняется ли режим другого слота при установке накопителя M.2;
  • какие варианты bifurcation доступны именно для выбранного процессора.

Если документация описывает только один физический слот x16 и не содержит сведений о делении линий, покупать адаптер на две видеокарты рискованно. Отзыв о похожей плате не подтверждает совместимость другой модели, даже если у них одинаковый чипсет.

Настройки BIOS/UEFI для многокарточной конфигурации

Названия пунктов зависят от производителя и версии прошивки. Ищите разделы, связанные с конфигурацией PCIe, CPU PCIe, настройками отдельных слотов и распределением линий. В некоторых прошивках режим выбирается для каждого слота, в других доступен только общий параметр.

Для многокарточной системы могут потребоваться параметры вроде Above 4G Decoding. Это не универсальная гарантия запуска четырех GPU, а настройка, которую нужно проверить в документации платформы и конфигурации драйвера. Пункт Resizable BAR тоже нельзя включать или выключать по шаблону: его влияние зависит от видеокарт, прошивки и программного стека.

Режим поколения PCIe можно использовать для диагностики. Если соединение нестабильно на максимальной скорости, временный выбор более низкого поколения помогает отделить проблему сигнала от ошибки топологии. Такой шаг уменьшает доступную пропускную способность и не заменяет проверку райзеров.

Обновление BIOS выполняйте только после проверки совместимости платы, процессора и остальных компонентов. Перед прошивкой зафиксируйте текущие настройки и проверьте требования производителя. Новая версия может добавить нужный пункт, изменить распределение ресурсов или устранить ошибку, но она не превратит плату без необходимой разводки линий в полноценную многокарточную платформу.

Почему четыре слота PCIe не равны четырем полноценным подключениям

У платы может быть четыре разъема формата x16, но это не означает четыре независимых соединения x16. Возможны разные варианты:

СитуацияПрактическое следствие
Два слота CPU x16 делятся на x8/x8Каждый слот может предоставить две ветки по восемь линий, если режим поддерживает плата.
Слот формата x16 работает электрически как x4GPU подключается через четыре линии, даже если сам разъем длинный.
Несколько слотов используют чипсетные линииУстройства могут делить общий ресурс с накопителями и контроллерами.
Установка M.2 отключает часть PCIeПосле добавления накопителя ранее доступная ветка может исчезнуть или изменить режим.
Плата зависит от конкретного процессораНа разных CPU один и тот же слот может иметь разную конфигурацию.

Блок-схема платы важнее рекламной формулировки про четыре PCIe-слота. В ней должны быть понятны источники линий, условия деления и конфликтующие устройства.

Как подключить четыре GPU: адаптеры бифуркации и райзеры

После подтверждения топологии нужно собрать понятную цепочку: источник PCIe-линий, адаптер бифуркации, райзер-кабель, видеокарта. Для четырех GPU обычно требуется несколько одинаковых сигнальных веток. Каждую ветку полезно промаркировать, чтобы при диагностике знать, к какому порту адаптера, кабелю и GPU она относится.

Райзеры для видеокарт PCIe: критерии выбора

Райзер должен соответствовать поколению PCIe, типу разъемов и электрической схеме платы. Маркировка Gen4 или Gen5 описывает заявленную совместимость конкретного изделия, но не переводит материнскую плату, GPU или адаптер в более быстрый режим.

  • Поколение PCIe. Выбирайте компонент, который поддерживает скорость всей цепочки. Если один элемент рассчитан на Gen3, итоговый линк не станет Gen4 или Gen5.
  • Разъемы. Сверьте механический тип, ориентацию ключа и число контактов. Нельзя считать совместимыми любые похожие разъемы с одинаковой длиной.
  • Длина. Берите минимальную длину, которая позволяет разместить GPU без натяжения. Лишний запас превращается в петлю, которую легко перегнуть или прижать.
  • Фиксация. Коннекторы не должны выпадать при установке тяжелой карты. Защелки, жесткие корпуса и разгрузка кабеля снижают боковое усилие на разъем.
  • Сигнальная часть. Экранирование и качество изготовления важны при высокой скорости PCIe, особенно на длинных линиях и в плотной компоновке.
  • Проверяемость. У каждого кабеля должна быть понятная маркировка, а замену одного элемента нужно выполнять без демонтажа всего стенда.

Райзер не исправляет неправильный режим bifurcation. Если прошивка не создала два логических PCIe-порта, замена одного кабеля не решит проблему. Причины пропажи линий, плохого контакта и влияния натяжения разобраны в материале о том, как разъемы и райзеры влияют на PCIe-линии.

Длина кабеля, изгибы и качество сигнала

Высокоскоростной PCIe-сигнал чувствителен к качеству трассировки, соединителей и механической нагрузке. Резкий изгиб рядом с коннектором меняет положение контактов и может ослабить соединение. Натянутый кабель действует как рычаг и постепенно смещает адаптер или слот.

Прокладывайте кабель с плавным радиусом, без заломов и прижатия к краю рамы. Оставляйте небольшой запас для обслуживания, но не сворачивайте лишнюю длину в плотную бухту рядом с разъемом. Силовые кабели и сигнальные линии можно развести по разным сторонам стенда, если позволяет компоновка.

Проблемы сигнала часто проявляются нестабильно: карта пропадает после перезагрузки, система видит ее только после холодного запуска, ширина линка снижается, а под нагрузкой появляются ошибки PCIe. Такие симптомы нужно проверять заменой одного фактора за раз, а не одновременной заменой BIOS, райзера и видеокарты.

Порядок подключения и первичная проверка райзеров

Не подключайте и не отключайте PCIe-кабели при включенном питании. Начните с одной ветки и одной видеокарты:

  1. Выключите оба блока питания, отключите сетевые кабели и дождитесь полного снятия питания.
  2. Подключите один адаптер бифуркации к проверенному слоту.
  3. Подключите один райзер и одну видеокарту, затем подайте питание только после визуального осмотра.
  4. Проверьте обнаружение GPU в BIOS/UEFI и операционной системе.
  5. Повторите проверку для второй ветки того же адаптера.
  6. Добавляйте следующие адаптеры и видеокарты по одной, фиксируя результат каждого шага.

Если одна карта не определяется, сначала поменяйте местами только райзер и оставьте прежними GPU и порт. Затем проверьте другой порт адаптера, другой кабель и другую видеокарту. Такая последовательность помогает отделить неисправность карты от проблемы ветки PCIe.

Питание 4 видеокарт: как рассчитать нагрузку и распределить кабели

Расчет блока питания начинается с конкретных моделей GPU. Универсальная цифра для четырех видеокарт отсутствует: четыре экономичные карты и четыре производительные карты создают совершенно разную нагрузку на 12V-линию, кабели, разъемы и систему охлаждения.

Что включить в расчет потребления

Используйте паспортные значения видеокарт и процессора как исходные данные, а затем добавьте остальные компоненты:

P_система = P_GPU1 + P_GPU2 + P_GPU3 + P_GPU4 + P_CPU + P_плата + P_накопители + P_вентиляторы + P_контроллеры + P_USB
  • Видеокарты. Сложите потребление четырех конкретных моделей и проверьте требования к каждому разъему питания.
  • Процессор. Учтите его лимиты мощности и нагрузку при подготовке данных, компиляции или запуске нескольких процессов.
  • Материнская плата и память. Плата, модули RAM, сетевой контроллер и дополнительные устройства получают питание независимо от GPU.
  • Накопители. SSD и HDD добавляют небольшую нагрузку по сравнению с GPU, но участвуют в общей оценке и пиковом запуске.
  • Райзеры. Учитывайте способ их питания и ограничения конкретного разъема, особенно если несколько переходников подключены к одному кабелю.
  • Вентиляторы и контроллеры. Четыре GPU на открытом стенде часто требуют дополнительных вентиляторов, хабов и переходников.
  • Пики. Кратковременное потребление может отличаться от среднего значения под длительной нагрузкой. Блок питания должен выдерживать такие изменения без отключения защиты.

Смотрите не только на суммарную мощность на наклейке БП. Проверьте допустимую нагрузку 12V-линии, число независимых кабелей, ограничения отдельных разъемов и условия работы при высокой температуре. Запас нужно выбирать по документации конкретного блока и характеру нагрузки, а не по фиксированному проценту для всех сборок.

Как распределять питание между GPU и системой

Силовую схему нужно составить до монтажа. Для каждой видеокарты запишите все ее разъемы питания, питание соответствующего райзера и источник, к которому они подключаются.

КомпонентПравило организацииЧто проверить
Материнская плата и процессорПодключаются к основному БП через штатные 24-pin и EPS-разъемы.Схему разъемов платы и допустимое подключение дополнительных входов.
ВидеокартаВсе ее силовые разъемы должны получать питание по согласованной схеме от одного источника.Количество кабелей, тип коннекторов и допустимую нагрузку на каждый из них.
РайзерПитание выбирается по разъему и документации самого райзера, с учетом ветки конкретной GPU.Отсутствие перегрузки переходника и надежную фиксацию коннектора.
Вентиляторы и накопителиРаспределяются по свободным линиям с учетом пусковой нагрузки.Чтобы один кабель или переходник не питал слишком много устройств.

Не используйте модульные кабели от другого блока питания, даже если разъем подходит физически. Распиновка на стороне БП может отличаться, а ошибка способна повредить GPU, накопитель или сам блок. Переходники применяйте только после проверки их допустимой нагрузки.

Не полагайтесь на один кабель с несколькими ответвлениями для четырех прожорливых карт без сверки с руководством БП. Отдельные кабели упрощают распределение тока и диагностику нагрева, но конкретная схема зависит от мощности GPU и конструкции источника.

Какие признаки указывают на проблемы с питанием

  • компьютер выключается или перезапускается при запуске общей нагрузки;
  • одна или несколько видеокарт исчезают после старта AI-задачи;
  • драйвер сбрасывается, сообщает об ошибке устройства или теряет GPU;
  • производительность резко падает после начала совместной работы карт;
  • разъем, кабель или переходник заметно нагревается;
  • появляется запах нагретой изоляции или пластика;
  • система проходит короткую проверку, но отключается при длительной нагрузке.

Эти признаки не доказывают неисправность БП. Похожее поведение вызывают плохой PCIe-контакт, нестабильный райзер, перегрев, ошибка драйвера или неправильная настройка BIOS. Диагностику проводите по очереди: сначала одна карта, затем каждая ветка, потом совместная нагрузка.

Два блока питания и Add2PSU: рабочая схема и ее риски

Второй БП нужен, когда рассчитанная нагрузка превышает возможности одного источника или когда его разъемов недостаточно для выбранной конфигурации. Разделение питания снижает нагрузку на отдельный БП, но добавляет еще одну точку отказа и усложняет запуск системы.

Как работает синхронизация двух БП

Add2PSU синхронизирует команду включения второго блока с основным. Адаптер не объединяет выходы БП, не стабилизирует напряжение и не увеличивает допустимую мощность кабелей. Его подключают по схеме конкретной модели, соблюдая назначение управляющего разъема и питающего входа.

Базовая логика выглядит так:

  1. Основной БП получает команду запуска от материнской платы.
  2. Add2PSU передает сигнал включения второму БП.
  3. Второй источник запускается согласованно с первым и питает только назначенные ему компоненты.
  4. При выключении системы оба источника должны отключаться по согласованной схеме.

Перед постоянной эксплуатацией проверьте, что оба БП стартуют одновременно, не отключаются при переходе в нагрузку и не остаются включенными после завершения работы системы. Практические вопросы распределения компонентов и синхронизации двух источников разобраны в статье о конфигурации рабочей станции с двумя БП.

Что нельзя смешивать без проверки совместимости

Главное правило, не делить питание одного связанного узла между двумя источниками без прямого разрешения документации. Для практической сборки это означает следующее:

  • не подключайте разные силовые разъемы одной GPU к разным БП;
  • не запитывайте один райзер от одного источника, а соответствующую видеокарту от другого без подтвержденной схемы;
  • не подключайте два 24-pin-разъема к материнской плате, если плата специально не предусматривает такую конфигурацию;
  • не соединяйте выходы двух БП самодельными перемычками;
  • не смешивайте модульные кабели двух разных БП;
  • не подключайте переходники к разъемам, если неизвестна их допустимая нагрузка.

Обычно основной БП питает материнскую плату и процессор, а второй получает отдельные видеокарты и связанные с ними райзеры. Конкретную схему нужно сверить с руководствами обоих БП, GPU, райзеров и Add2PSU. Разные источники должны работать в одной системе с корректным общим электрическим referencia, а способ подключения нельзя заменять самодельным соединением проводов.

Проверка схемы с двумя БП до полной нагрузки

Вводите систему в работу по этапам:

  1. Проверьте запуск одного основного БП с минимальной конфигурацией.
  2. Подключите Add2PSU и убедитесь, что второй источник включается синхронно.
  3. Подключите одну GPU и ее райзер, затем проверьте обнаружение карты.
  4. Добавляйте остальные видеокарты по одной, контролируя кабели и разъемы.
  5. Проведите короткую нагрузку на одной карте, затем на каждой карте отдельно.
  6. Запустите совместную нагрузку и наблюдайте за отключениями, температурой, потреблением и состоянием кабелей.

При любой ошибке остановите тест и зафиксируйте, на каком шаге она появилась. Длительная AI-нагрузка не должна быть первым испытанием новой схемы питания.

Открытый стенд для четырех GPU: охлаждение, фиксация и кабели

Открытая конструкция облегчает доступ к компонентам, но не решает автоматически проблемы тепла, пыли и механической нагрузки. Четыре видеокарты могут перекрывать воздушный поток друг другу, особенно если у них массивные радиаторы и осевые вентиляторы.

Размещение видеокарт и воздушный поток

Оставьте между картами зазор, который соответствует их толщине и направлению забора воздуха. Универсального расстояния нет: оно зависит от корпуса радиатора, расположения вентиляторов и температуры помещения.

  • Не ставьте GPU вплотную друг к другу, если нижняя карта перекрывает воздухозабор верхней.
  • Направляйте отдельный поток воздуха на зоны забора каждого радиатора.
  • Проверьте, куда выходит нагретый воздух, чтобы одна карта не засасывала поток от другой.
  • Разместите дополнительные вентиляторы так, чтобы они не создавали вибрацию и не попадали в лопасти кабелями.
  • Контролируйте температуру каждой GPU отдельно, поскольку среднее значение по системе скрывает перегрев одной карты.

Открытый стенд не создает организованный воздушный канал сам по себе. Если вентиляторы карт работают рядом, но горячий воздух остается в зоне радиаторов, нагрузка на GPU и шум вырастут.

Как закрепить GPU и райзеры

Материнскую плату устанавливайте на штатные стойки или другую конструкцию, которая исключает контакт пайки и дорожек с металлической рамой. Видеокарты фиксируйте отдельными опорами, а не оставляйте висеть на райзер-кабелях.

  • Поддерживайте тяжелую часть каждой карты снизу или со стороны крепежной планки.
  • Разгружайте райзер от веса GPU и не позволяйте кабелю свисать с резким перегибом.
  • Защищайте коннекторы от бокового усилия при перемещении стенда.
  • Не кладите плату или видеокарту на случайные металлические предметы.
  • Оставляйте доступ к разъемам, чтобы замена одного кабеля не требовала демонтажа всей конструкции.

Прокладка кабелей и доступ к обслуживанию

Разделите сигнальные и силовые кабели настолько, насколько позволяет стенд. Не натягивайте ни один кабель ради аккуратного внешнего вида. Плавный маршрут с небольшим запасом безопаснее короткой линии, которая тянет разъем в сторону.

Промаркируйте каждую ветку по схеме GPU1, GPU2, GPU3 и GPU4. Отдельно подпишите кабели первого и второго БП. Такая маркировка сокращает время диагностики и помогает вернуть конфигурацию после замены карты или райзера.

Оставьте доступ к кнопке питания, индикаторам платы, разъемам вентиляторов и диагностическим светодиодам. Уберите провисающие петли от лопастей вентиляторов и исключите контакт силовых кабелей с нагревающимися элементами.

Проверка AI-рига после сборки: пошаговый чек-лист

Проверку выполняйте от простого к сложному. Цель первого запуска, подтвердить физическое подключение и обнаружение устройств. Цель финального теста, проверить стабильность именно в AI-сценарии.

Что проверить до первого включения

  • Материнская плата закреплена, под ней нет лишних стоек и металлических предметов.
  • Адаптеры bifurcation вставлены полностью и не перекашиваются.
  • Райзеры не натянуты, не заломлены и не удерживают вес видеокарт.
  • 24-pin, EPS, питание GPU и питание райзеров подключены в нужные разъемы.
  • Модульные кабели принадлежат именно тому БП, к которому они подключены.
  • Add2PSU установлен по инструкции, а второй БП не соединен с материнской платой произвольным способом.
  • На контактах нет оголенных проводников, стружки и следов повреждения.
  • Кабели не касаются вентиляторов, горячих радиаторов и острых краев рамы.
  • Для каждой видеокарты записаны ее порт адаптера, райзер и источник питания.

Как проверить обнаружение всех четырех видеокарт

  1. Запустите систему с одной видеокартой и проверьте BIOS/UEFI.
  2. Загрузите операционную систему и проверьте устройство средствами драйвера.
  3. В Linux дополнительно используйте lspci, а для NVIDIA проверьте список карт командой nvidia-smi -L.
  4. Добавьте вторую ветку того же адаптера и сравните результат.
  5. Подключите остальные GPU, каждый раз фиксируя порт, райзер и сообщение системы.
  6. Проверьте ширину и скорость согласованного PCIe-лина, если это показывает BIOS или утилита драйвера.
  7. Изучите системные логи и сообщения драйвера при пропадании карты или сбросе соединения.

Если система не видит одну GPU, меняйте только один элемент за раз. Сначала переставьте ту же карту на заведомо рабочий райзер, затем замените райзер, порт адаптера и силовую ветку. Если после перестановки проблема перемещается вместе с кабелем, подозрение падает на кабель или его разъем. Если проблема остается на конкретном порту, проверяйте адаптер, слот и настройку bifurcation.

Финальная проверка под AI-нагрузкой

Нагрузку увеличивайте поэтапно:

  1. Короткий запуск AI-задачи на одной GPU.
  2. Та же задача на каждой карте отдельно.
  3. Совместная работа двух GPU.
  4. Совместная нагрузка на все четыре GPU.
  5. Повторный запуск после перезагрузки и холодного старта.

Контролируйте температуры каждой карты, потребление, скорость и ширину PCIe-лина, сообщения драйвера, ошибки PCIe и состояние разъемов. При проблеме остановите нагрузку и запишите, какая карта, ветка и БП участвовали в событии.

После коротких проверок нужен длительный сценарий, ради которого собирался риг: инференс, обработка нескольких запросов, загрузка модели с распределением между GPU или другой рабочий процесс. Результат относится к конкретной связке платы, процессора, GPU, драйвера и фреймворка. Он не подтверждает такую же стабильность для другой конфигурации.

Когда четырехкарточный открытый риг оправдан, а когда лучше изменить конфигурацию

Сборка оправдана, когда задача требует нескольких GPU, а владелец готов самостоятельно проверять PCIe-топологию, питание, охлаждение и программную совместимость. Открытый стенд удобен для экспериментов и частой замены компонентов, но требует постоянного контроля кабелей, температуры и механической фиксации.

Минимальные условия готовности к сборке

  1. Документация платы подтверждает нужный режим PCIe bifurcation.
  2. Процессор предоставляет необходимое количество линий для выбранных слотов.
  3. Конфликты с M.2, SATA и чипсетными устройствами учтены.
  4. Для каждого адаптера и райзера подтверждены разъемы, поколение PCIe и длина.
  5. Расчет включает четыре GPU, CPU, плату, память, накопители, вентиляторы и пиковую нагрузку.
  6. Для каждого силового кабеля проверена допустимая нагрузка.
  7. Схема двух БП и Add2PSU сверена с документацией конкретных устройств.
  8. Видеокарты, райзеры и материнская плата закреплены без нагрузки на разъемы.
  9. Операционная система и драйвер видят все четыре GPU.
  10. Система проходит поэтапный тест и длительную нагрузку без отключений, перегрева и ошибок PCIe.

Если хотя бы один пункт не подтвержден, сборку лучше отложить до получения точных данных. Отсутствующую информацию нельзя заменить фотографией платы, отзывом о похожем компьютере или обещанием продавца без технической документации.

Главные ограничения многокарточной AI-системы

Четыре GPU не дают автоматического четырехкратного ускорения. Производительность ограничивают ширина PCIe-линий, обмен данными между картами, распределение задач, загрузка CPU, скорость накопителя и поддержка конкретного фреймворка.

Суммарная VRAM тоже не становится единой памятью. Приложение должно уметь размещать модель по нескольким устройствам, выполнять tensor parallelism, pipeline parallelism или offload. Если такой поддержки нет, каждая карта работает как отдельный ресурс со своим объемом памяти.

Разница между x8 и x16 зависит от поколения PCIe и сценария. Для задач, которые редко передают данные между CPU и GPU, ограничение может быть менее заметным. Для активного обмена тензорами, загрузки данных и распределенного инференса пропускная способность и задержки могут стать узким местом.

Сравнивать четыре GPU нужно с альтернативами по конкретной задаче: одна карта с большим объемом VRAM, две более производительные карты или серверная платформа. В материале о локальном сервере на двух Radeon AI PRO R9700 полезно смотреть на сам подход к оценке VRAM, PCIe и программного стека, а не переносить его показатели на другую конфигурацию.

Итоговый критерий прост: четыре GPU можно считать готовыми к работе только после подтверждения PCIe bifurcation, проверки райзеров, расчета питания, синхронизации двух БП, надежной фиксации и длительного теста под реальной AI-нагрузкой. Любой из этих пунктов способен ограничить систему сильнее, чем количество видеокарт в спецификации.

Подписаться на канал