來源：雲原生百寶箱
本文將探討 Kubernetes 中的網路模型，以及對各種網路模型進行分析。
Underlay Network Model
什麽是 Underlay Network
底層網路 Underlay Network 顧名思義是指網路裝置基礎設施，如交換機，路由器 , DWDM 使用網路介質將其連結成的物理網路拓撲，負責網路之間的封包傳輸。
underlay network 可以是二層，也可以是三層 ；二層的典型例子是乙太網路 Ethernet，三層是的典型例子是互聯網 Internet。
而工作於二層的技術是 vlan，工作在三層的技術是由 OSPF, BGP 等協定組成。
k8s 中的 underlay network
在 kubernetes 中，underlay network 中比較典型的例子是透過將宿主機作為路由器裝置，Pod 的網路則透過學習路由條目從而實作跨節點通訊。
這種模型下 典型的有 flannel 的 host-gw 模式與 calico BGP 模式 。
flannel host-gw
flannel host-gw 模式中每個 Node 需要在同一個二層網路中 ，並將 Node 作為一個路由器，跨節點通訊將透過路由表方式進行，這樣方式下將網路模擬成一個underlay network。
Notes： 透過路由方式，集群的 cidr 至少要配置 16 ，因為這樣可以保證，跨節點的 Node 作為一層網路，同節點的 Pod 作為一個網路。如果不是這種用情況，路由表處於相同的網路中，會存在網路不可達
Calico BGP
BGP（Border Gateway Protocol）是去中心化自治路由協定 。它是透過維護 IP 路由表或字首表來實作 AS （Autonomous System）之間的可存取性，屬於向量路由協定。
與 flannel 不同的是， Calico 提供了的 BGP 網路解決方案 ，在網路模型上，Calico 與 Flannel host-gw 是近似的，但在軟體架構的實作上， flannel 使用 flanneld 行程來維護路由資訊 ；而 Calico 是包含多個守護行程的，其中 Brid 行程是一個 BGP 客戶端與路由反射器(Router Reflector)，BGP 客戶端負責從 Felix 中獲取路由並分發到其他 BGP Peer，而反射器在 BGP 中起了最佳化的作用。在同一個 IBGP 中，BGP 客戶端僅需要和一個 RR 相連，這樣減少了AS內部維護的大量的 BGP 連線。通常情況下，RR 是真實的路由裝置，而 Bird 作為 BGP 客戶端工作。
IPVLAN & MACVLAN
IPVLAN 和 MACVLAN 是一種網卡虛擬化技術 ，兩者之間的區別為， IPVLAN 允許一個物理網卡擁有多個 IP 地址 ，並且所有的虛擬介面 用同一個 MAC 地址 ；而 MACVLAN 則是相反的，其允許同一個網卡擁有多個 MAC 地址 ，而虛擬出的網卡可以 沒有 IP 地址 。
因為是網卡虛擬化技術，而不是網路虛擬化技術，本質上來說屬於 Overlay network，這種方式在虛擬化環境中 與 Overlay network 相比最大的特點就是可以將 Pod 的網路拉平到 Node 網路同級 ，從而提供更高的效能、低延遲的網路介面。本質上來說其網路模型屬於下圖中第二個。
• 虛擬網橋 ：建立一個虛擬網卡對(veth pair)，一頭在容器內，一頭在宿主機的 root namespaces 內。這樣一來容器內發出的封包可以透過網橋直接進入宿主機網路棧，而發往容器的封包也可以經過網橋進入容器。
• 多路復用 ：使用一個中間網路裝置，暴露多個虛擬網卡介面，容器網卡都可以介入這個中間裝置，並透過 MAC/IP 地址來區分 packet 應該發往哪個容器裝置。
• 硬體交換 ，為每個 Pod 分配一個虛擬網卡，這樣一來，Pod 與 Pod 之間的連線關系就會變得非常清晰，因為近乎物理機之間的通訊基礎。如今大多數網卡都支持 SR-IOV 功能，該功能將單一的物理網卡虛擬成多個 VF 介面，每個 VF 介面都有單獨的虛擬 PCIe 通道，這些虛擬的 PCIe 通道共用物理網卡的 PCIe 通道。
在 kubernetes 中 IPVLAN 這種網路模型下典型的 CNI 有，multus 與 danm 。
multus
multus 是 intel 開源的 CNI 方案，是由傳統的 cni 與 multus，並且提供了 SR-IOV CNI 外掛程式使 K8s pod 能夠連線到 SR-IOV VF 。這是使用了 IPVLAN/MACVLAN 的功能。
當建立新的 Pod 後，SR-IOV 外掛程式開始工作。配置 VF 將被移動到新的 CNI 名稱空間。該外掛程式根據 CNI 配置檔中的 「name」 選項設定介面名稱。最後將 VF 狀態設定為 UP。
下圖是一個 Multus 和 SR-IOV CNI 外掛程式的網路環境，具有三個介面的 pod。
• eth0 是 flannel 網路外掛程式，也是作為 Pod 的預設網路
• VF 是主機的物理埠 ens2f0 的例項化。這是英特爾 X710-DA4 上的一個埠。在 Pod 端的 VF 介面名稱為 south0 。
• 這個 VF 使用了 DPDK 驅動程式，此 VF 是從主機的物理埠 ens2f1 例項化出的。這個是英特爾 ® X710-DA4 上另外一個埠。Pod 內的 VF 介面名稱為 north0。該介面繫結到 DPDK 驅動程式 vfio-pci 。
Notes：術語
• NIC ：network interface card，網卡
• SR-IOV ：single root I/O virtualization，硬體實作的功能，允許各虛擬機器間共享 PCIe 裝置。
• VF ：Virtual Function，基於 PF，與 PF 或者其他 VF 共享一個物理資源。
• PF ：PCIe Physical Function，擁有完全控制 PCIe 資源的能力
• DPDK ：Data Plane Development Kit
與此同時，也可以將主機介面直接移動到 Pod 的網路名稱空間，當然這個介面是必須存在，並且不能是與預設網路使用同一個介面。這種情況下，在普通網卡的環境中，就直接將 Pod 網路與 Node 網路處於同一個平面內了。
danm
DANM 是諾基亞開源的 CNI 計畫，目的是將電信級網路引入 kubernetes 中，與 multus 相同的是，也提供了 SR-IOV/DPDK 的硬體技術，並且支持 IPVLAN.
Overlay Network Model
什麽是 Overlay
覆蓋網路是使用網路虛擬化技術，在 underlay 網路上構建出的虛擬邏輯網路，而無需對物理網路架構進行更改。本質上來說， overlay network 使用的是一種或多種隧道協定 (tunneling)，透過將封包封裝，實作一個網路到另一個網路中的傳輸，具體來說隧道協定關註的是封包（幀）。
常見的網路隧道技術
• 通用路由封裝 ( Generic Routing Encapsulation ) 用於將來自 IPv4/IPv6 的封包封裝為另一個協定的封包中，通常工作與 L3 網路層中。
• **VxLAN (Virtual Extensible LAN)**，是一個簡單的隧道協定，本質上是將 L2 的乙太網路幀封裝為 L4 中 UDP 封包的方法，使用 4789 作為預設埠。VxLAN 也是 VLAN 的擴充套件，對於 4096（ 位 VLAN ID） 擴充套件為 1600 萬（ 位 VN·ID ）個邏輯網路。
這種工作在 overlay 模型下典型的有 flannel 與 calico 中的的 VxLAN, IPIP 模式 。
IPIP
IP in IP 也是一種隧道協定，與 VxLAN 類似的是，IPIP 的實作也是透過 Linux 內核功能進行的封裝。IPIP 需要內核模組 ipip.ko 使用命令檢視內核是否載入 IPIP 模組lsmod | grep ipip ；使用命令modprobe ipip 載入。
Kubernetes 中 IPIP 與 VxLAN 類似，也是透過網路隧道技術實作的。 與 VxLAN 差別就是，VxLAN 本質上是一個 UDP 包，而 IPIP 則是將包封裝在本身的報文包上。
Notes：公有雲可能不允許 IPIP 流量，例如 Azure
VxLAN
Linux 對 vxlan 協定的支持時間並不久，2012 年 Stephen Hemminger 才把相關的工作合並到 kernel 中，並最終出現在 kernel 3.7.0 版本。為了穩定性和很多的功能，你可以會看到某些軟體推薦在 3.9.0 或者 3.10.0 以後版本的 kernel 上使用 VxLAN。
在 kubernetes 中 vxlan 網路，例如 flannel，守護行程會根據 kubernetes 的 Node 而維護 VxLAN，名稱為 flannel.1 這是 VNID，並維護這個網路的路由，當發生跨節點的流量時，本地會維護對端 VxLAN 裝置的 MAC 地址，透過這個地址可以知道發送的目的端，這樣就可以封包發送到對端，收到包的對端 VxLAN 裝置 flannel.1 解包後得到真實的目的地址。
檢視 Forwarding database 列表
$ bridge fdb
26:5e:87:90:91:fc dev flannel.1 dst 10.0.0.3 self permanent
Notes：VxLAN 使用的 4789 埠，wireshark 應該是根據埠進行分析協定的，而 flannel 在 linux 中預設埠是 8472，此時抓包僅能看到是一個 UDP 包。
透過上述的架構可以看出，隧道實際上是一個抽象的概念，並不是建立的真實的兩端的隧道，而是透過將封包封裝成另一個封包，透過物理裝置傳輸後，經由相同的裝置（網路隧道）進行解包實作網路的疊加。
weave vxlan
**weave 也是使用了 VxLAN 技術完成的包的封裝，這個技術在 weave 中稱之為 fastdp (fast data path)**，與 calico 和 flannel 中用到的技術不同的，這裏使用的是 Linux 內核中的 openvswitch datapath module，並且 weave 對網路流量進行了加密 。
Notes：fastdp 工作在 Linux 內核版本 3.12 及更高版本，如果低於此版本的例如 CentOS7，weave 將工作在使用者空間，weave 中稱之為 sleeve mode。
參考
1. https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md#host-gw
2. https://projectcalico.docs.tigera.io/networking/bgp
3. https://www.weave.works/docs/net/latest/concepts/router-encapsulation/
4. https://github.com/k8snetworkplumbingwg/sriov-network-device-plugin
5. https://github.com/nokia/danm
