企业级计算集群的搭建从来不是简单的硬件堆砌。尤其是当我们面对CAE仿真、气象预测或AI训练这类动辄数百核并行的负载时，网络拓扑的细微缺陷都可能让昂贵的HPC工作站沦为摆设。基于我们西安云略超算科技有限公司在HPC工作站、服务器、图形工作站的生产和销售中积累的实战经验，本文将拆解一套从需求分析到验收交付的完整流程，重点聚焦那些容易被忽视的网络架构细节。

一、前期规划：从业务负载反推硬件选型

第一步不是选机器，而是量化你的计算特征。我们通常要求客户提供近三个月的作业调度日志，统计单任务最大核数、平均内存占用率以及IO密集度。以典型的结构化网格CFD模拟为例，单进程内存往往需要8-16GB，那么每节点（按64核算）建议配置512GB内存；而若以显式动力学分析为主，则对InfiniBand低延迟网络的依赖远大于CPU主频。这一步决定了后续是采购高主频的图形工作站用于前处理，还是部署高核心密度的计算服务器。

网络拓扑的三种典型范式

计算集群计算平台的搭建中，网络是真正的命脉。我们主要推荐以下三种方案，按投资规模和性能递增：

• 万兆以太网（10GbE）：适合100节点以内、以任务并行（粗粒度）为主的场景。关键在于使用L3交换配合ECMP（等价多路径），避免生成树阻塞链路。
• Infiniband HDR100（100Gbps）：这是当前模拟仿真系统平台的主流选择。注意必须采用Fat-Tree（胖树）两级架构，核心层到汇聚层收敛比控制在1:1，否则跨柜通信延迟会飙升。
• RoCEv2（融合以太网）：若预算有限但追求低延迟，可基于无损以太网部署。但务必开启PFC（优先级流控）和ECN（显式拥塞通知），否则丢包重传会拖垮MPI聚合通信。

二、实施阶段：布线、配置与验收的三重验证

物理链路施工时，强烈建议所有光纤跳线采用不同颜色区分管理网、业务网和存储网。我们曾遇过某客户因管理网与业务网VLAN划分错误，导致作业调度器将计算任务下发到存储节点，造成磁盘锁死。除了基础连通性测试（ping/ping -M），还必须进行MPI带宽基准测试（如osu_latency）。一个健康的两级Fat-Tree网络，64节点规模的MPI PingPong延迟应稳定在1.5微秒以内（HDR），若超过3微秒，优先排查交换机端口缓存或光模块收发功率。

另一处常被忽略的是存储网络的隔离。并行文件系统（如Lustre或BeeGFS）的元数据流量与数据流量必须分网段，且元数据网络建议配备独立网卡和交换机，否则当几千个进程同时写入检查点文件时，元数据服务器会成为新的瓶颈，拖垮整个模拟仿真系统平台的效率。

常见问题：为什么我的集群核数越多越慢？

这通常不是计算节点的问题，而是通信拓扑与MPI实现不匹配。例如，OpenMPI默认的共享内存传输（BTL）在跨NUMA节点时会产生额外开销。检查你的作业脚本是否设置了--mca btl ^openib（禁用IB底层）或--mca pml ucx。另外，常见误区还包括：未关闭交换机的STP（生成树协议）、未开启巨帧（MTU 9000）以及BIOS中超线程未针对MPI应用关闭。记住，对于HPC工作站，关闭超线程通常比开启能提升5%-8%的MPI效率。

最后，关于验收标准。我们西安云略超算科技有限公司建议采用“三阶段压测”：先跑单节点Linpack确认浮点峰值，再跑32节点规模的HPL（高性能LINPACK）验证并行效率（应达到理论峰值的75%以上），最后用真实业务算例（如OpenFOAM的motorbike算例）连续运行72小时无宕机。只有通过这三关，才能视为一个合格的集群交付。

总结来说，集群搭建的核心在于将业务特征映射为网络与存储架构，而非单纯堆砌服务器或图形工作站的生产和销售清单。上述流程是基于数百个模拟仿真系统平台和计算集群计算平台的搭建项目提炼出的方法论，希望能为你的规划提供可落地的参考。