Что: efb7b138ba42bd19945b3ab1f700c340061524f2
Когда: 2023-09-21 20:14:31+03:00
Темы: bgp hard
Теперь все компьютеры дома на 10GbE В прошлый upgrade (c88a83563caf8a6000f430b69e37aa4766315c93) я соединил только два сервера 10GbE сетью через DAC кабель. А моя основная рабочая машина, Intel NUC, ходила по 1GbE. Сегодня привезли ещё одну сетевую карту и два SFP+ на RJ45. Карта точно такая же с Mellanox ConnectX-3 чипом и двумя портами, что и заказывал прежде. Но её вставил во второй сервер, а из него вынул карту с одним SFP+ портом и Intel чипом на борту. Благо что ко всем карточкам давались низкопрофильные планки, ибо в старый сервер только такие влезают. Вставил всё это дело в NUC. И... ничего не заработало. Карта вообще не видится в списке PCI устройств. Изначально то я именно Mellanox новую купленную попробовал, потом её заменил на Intel, который точно рабочий -- подумал что может быть карта нерабочая? Но я же теперь типа немного поумнее стал после просмотра лекции введения в PCIe (4df90850b243b914bf29f7ee7396c99724af3945) и подумал что может быть в NUC, учитывая что у меня аж два NVMe там уже стоят, банально не хватает каким-то образом PCIe lane-ов или что-нибудь в этом духе? Так то в NUC 4x и 16x gen 3 порта. Поставил в BIOS: force 8x, 4x, 4x в разделе PCIe bifurcation. И всё заработало! Причём 4x gen3 lane-ов достаточно для обоих NVMe, а 8x gen2 достаточно (даже избыток) для NIC. SFP+ заработали без проблем. Проверил iperf3: более 9Gbps, но скорость сильно танцует и плавает на полгигабита. С DAC-ом 9.88 стабильно показывает. Греется, действительно, как и пишут, пипец как сильно, трогать пальцем нельзя. Но хотя бы если кабель не подключён, то вроде перестаёт. Cat7 кабеля у меня нет, только 6e. Но расстояние в полметра -- так что наверное вряд ли на что-то влияет. Так вот главное то: ping на DAC показывал ± стабильно 0.030мс, тогда как на RJ45 0.110мс, которые колбасятся и иногда >0.220, иногда чуть меньше 0.090. Добавил интерфейс в BIRD OSPF конфигурацию, указал меньший cost для 10GbE link-ов и IPv6 трафик автоматом идёт по более быстрому каналу. По умолчанию cost=10 для 1GbE. Я указал cost=5. Это сработало при подключении сервер↔сервер. Но мой NUC подключён 10GbE только к одному серверу, и 1GbE через коммутатор ко второму. Он выбирает для второго сервера маршрут через 1GbE, а не через, пускай и на один hop дальше, 10GbE link-и. Плюс раньше у меня default route шёл просто через -iface wg_gw, а сейчас это уже либо 10GbE, либо wg туннель. Надо как-то динамически менять этот default route будет.
Сгенерирован: SGBlog 0.34.0