в дополнение к известному ethernet, существует много других категорий сетевой архитектуры. для сценариев подключения на стороне сервера технология infiniband (ib) оценивается и используется для присущих ей характеристик. он имеет почти доминирующее положение, особенно в высокопроизводительных вычислительных системах (hpc), большом хранилище центров обработки данных и других сценариях. так в чем же разница между ib и ethernet? почему большинство систем hpc используют межсетевое соединение ib?
ib - технология «коммутации кабелей», которая поддерживает несколько параллельных соединений, и это стандарт ввода-вывода серверной аппаратной платформы нового поколения. с быстрым развитием производительности цп производительность системы ввода-вывода стала узким местом, ограничивающим производительность серверов. архитектура шины pci, используемая в прошлом, не соответствует тенденции нового приложения. чтобы преодолеть присущие ему недостатки pci, intel, cisco, compaq, emc, fujitsu и других компаний совместно создали архитектуру ib, суть которой заключается в том, чтобы отделить систему ввода-вывода от хоста сервера. в настоящее время только несколько компаний, таких как mellanox, intel, qlogic, могут предоставлять продукты ib. mellanox занимает лидирующие позиции. недавно они развернули первый суперкомпьютер hdn 200g infiniband в мичиганском университете.
основные протоколы infiniband
на рисунке выше показаны основные протоколы ib. как мы видим, протоколы ib используют иерархическую структуру, включая верхний протокол, транспортный уровень, сетевой уровень, уровень связи и физический уровень. каждый уровень не зависит друг от друга, а нижний уровень предоставляет услуги для верхнего уровня, который аналогичен протоколу tcp / ip. в отличие от ethernet, который используется в высокоуровневой сетевой связи, infiniband в основном используется в низкоуровневых сценариях ввода / вывода. как уже упоминалось в начале этой статьи, архитектура ib имеет задачу улучшения производительности ввода / вывода на стороне сервера, даже если ethernet достигает или превышает скорость сети ib, ib незаменим при условии низкоуровневой сетевой связи. кроме того, режим передачи ib и носители довольно гибкие. он может быть перенесен с помощью медной проволочной фольги печатной платы в оборудование и соединен между цап или aoc между оборудованием.
как сказал билл ли, сопредседатель рабочей группы infiniband industry association, «цель infiniband - улучшить связь между приложениями». технология ib включает в себя не только чипы и аппаратные средства, но и программное обеспечение. чтобы играть должную роль, аппаратное и программное обеспечение должно быть полностью интегрировано в уровень операционной системы, управления и приложения.
аддисон снелл (adison snell), исполнительный директор intersect360 research, отметил, что «infiniband выросла и стала предпочтительным решением для высокопроизводительных межсетевых соединений хранения в системах hpc. в настоящее время приложения с высокой пропускной способностью данных, такие как анализ данных и машинное обучение, и спрос на высокую пропускную способность и соединение с низкой задержкой также расширяется до более широкого рынка ».
очевидно, что нашим основным направлением в настоящее время и в будущем является решение проблем науки и анализа данных, что требует очень высокой пропускной способности между вычислительными узлами, системами хранения и анализа в нашем центре обработки данных, что создает единую системную среду. кроме того, латентность (память и время доступа к диску) является еще одним показателем производительности hpc. таким образом, причина, по которой центры обработки данных hpc предпочитают использовать сеть ib, заключается в том, что она может удовлетворять требованиям высокой пропускной способности и низкой латентности.
в настоящее время ib является предпочтительным соединением между инфраструктурами hpc и ai, а также увеличивается скорость от sdr, ddr, qdr до hdr. известное решение mellanox infiniband соединяет большинство суперкомпьютеров top 500, и они также начнут планировать технологию ndr 400g infiniband для поддержки будущих платформ суперкомпьютера и машинного обучения на уровне e. с точки зрения задержки технология rdma (remote direct memory access) позволяет нам получать доступ к данным напрямую и удаленно по всей сети и может решить проблему задержки обработки данных на стороне сервера при передаче по сети. rdma передает данные непосредственно в область хранения компьютера через сеть, быстро перемещает данные из одной системы в удаленную системную память, реализует zero copy, освобождает загрузку процессора на стороне хоста и уменьшает задержку обработки данных в хосте от сотен микросекунд до наносекунд.
кроме того, у ib есть преимущества простого стека протоколов, высокой эффективности обработки и простого управления. в отличие от иерархической топологии ethernet, infiniband является плоской структурой, что означает, что каждый узел имеет прямое соединение со всеми другими узлами. по сравнению с сетевым протоколом tcp / ip ib использует механизм управления трафиком и потоком для обеспечения целостности соединения, а пакеты данных редко теряются. после передачи данных приемник возвращает сигнал для указания доступности буферного пространства. поэтому протокол ib устраняет задержку повторной передачи из-за потери исходных пакетов данных, тем самым улучшая производительность протокола. улучшаются эффективность и общая производительность. кроме того, учитывая проблему искажения сигнала в сверхскоростной высокоскоростной передаче оптического волокна, ib передает сигналы данных по-разному в оптическое волокно и добавляет фильтр на приемном конце для фильтрации шума сигнала, что полностью гарантирует целостность сигнала сети подключения.
infiniband - это единая структура межсоединений, которая может обрабатывать как ввод-вывод, так и межсетевой обмен данными (ipc). он может связывать дисковые массивы, сети хранения данных, локальные сети, серверы и кластерные серверы, обеспечивать высокую пропускную способность и передачу с низкой задержкой на относительно небольших расстояниях и поддерживать избыточные каналы ввода-вывода в одной или нескольких интернет-сетях, чтобы центры обработки данных могли работать, когда локальные происходят сбои. особенно в будущем, когда внутренний трафик центра обработки данных hpc резко возрастает, infiniband будет иметь более широкое пространство разработки в качестве технологии сетевого соединения, применяемой между серверами.
gigalight - глобальный новатор в области проектирования оптических межсоединений, который разрабатывает, производит и поставляет оптические приемопередатчики, активные оптические кабели и когерентные оптические модули для сети центра обработки данных, беспроводной сети 5g, сети оптической передачи и сети широковещательного видео. компания использует преимущества эксклюзивного дизайна, чтобы предоставить клиентам универсальные рентабельные оптические сетевые устройства.