メインコンテンツへスキップ

Llamaの図(Marmaid)


    ```mermaid
    graph TD
        User((User / App)) -->|HTTP Request| LB[Load Balancer]
        LB -->|gRPC / REST| API_Server[推論APIサーバー<br>FastAPI / Triton / vLLM]
    
        subgraph Physical_Server [物理サーバー / ノード]
            CPU[<b>CPU & System RAM</b><br>・リクエスト受付<br>・前処理 / Tokenizer<br>・GPUへの命令出し]
            
            API_Server -->|Input Tokens| CPU
            
            subgraph GPU_Cluster [GPU VRAM空間]
                direction LR
                
                subgraph GPU_0 [GPU #0 <br>NVIDIA H100]
                    VRAM_0[<b>VRAM 80GB</b>]
                    Model_Part_A[モデルの重み<br>Part A]
                    KV_Cache_A[KV Cache<br>短期記憶]
                end
                
                subgraph GPU_1 [GPU #1 <br>NVIDIA H100]
                    VRAM_1[<b>VRAM 80GB</b>]
                    Model_Part_B[モデルの重み<br>Part B]
                    KV_Cache_B[KV Cache<br>短期記憶]
                end
                
                %% NVLinkによる高速通信
                GPU_0 <==>|<b>NVLink / Switch</b><br>900GB/sの帯域で同期| GPU_1
            end
    
            CPU -->|PCIe Gen5| GPU_0
        end
    
        GPU_0 & GPU_1 -->|Output Logits| CPU
        CPU -->|Response| User
    
        classDef gpu fill:#e1f5fe,stroke:#01579b,stroke-width:2px;
        classDef vram fill:#fff9c4,stroke:#fbc02d,stroke-width:1px;
        class GPU_0,GPU_1 gpu;
        class VRAM_0,VRAM_1,Model_Part_A,Model_Part_B,KV_Cache_A,KV_Cache_B vram;
    
    ```
    ```mermaid
    graph TB
        subgraph Storage_System [分散ストレージ]
            Lustre[(<b>Lustre / GPFS</b><br>数PBの学習データ)]
        end
    
        subgraph Compute_Cluster [計算クラスター <br>数千ノード]
            Node1[Node 1<br>8x H100]
            Node2[Node 2<br>8x H100]
            Node3[Node 3<br>8x H100]
            NodeN[Node N...]
        end
    
        %% 高速ネットワークファブリック
        Switch_Spine{<b>Spine Switch</b><br>InfiniBand / RoCE}
        Switch_Leaf1{Leaf Switch}
        Switch_Leaf2{Leaf Switch}
    
        Lustre ==>|1TB/s~ Read| Switch_Spine
        
        Switch_Spine ==> Switch_Leaf1
        Switch_Spine ==> Switch_Leaf2
        
        Switch_Leaf1 ==> Node1
        Switch_Leaf1 ==> Node2
        Switch_Leaf2 ==> Node3
        Switch_Leaf2 ==> NodeN
    
        %% パラメータ同期
        Node1 <.->|All-Reduce通信<br>勾配の同期| Node2
        Node2 <.->|All-Reduce通信| Node3
    
        classDef storage fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px;
        classDef net fill:#e0f2f1,stroke:#00695c,stroke-width:2px;
        class Lustre storage;
        class Switch_Spine,Switch_Leaf1,Switch_Leaf2 net;
    
    
    ```

    あなたへのおすすめ