mirror of
https://github.com/KusakabeShi/EtherGuard-VPN.git
synced 2024-12-03 20:53:20 +01:00
428 lines
19 KiB
Markdown
428 lines
19 KiB
Markdown
# Etherguard
|
||
[English](README.md) | [中文](#)
|
||
|
||
## Super Mode
|
||
|
||
此模式是受到[n2n](https://github.com/ntop/n2n)的啟發，分為SuperNode和EdgeNode兩種節點
|
||
EdgeNode首先和SuperNode建立連線，藉由SuperNode交換其他EdgeNode的資訊
|
||
由SuperNode執行[Floyd-Warshall演算法](https://zh.wikipedia.org/zh-tw/Floyd-Warshall算法)，並把計算結果分發給EdgeNode
|
||
|
||
|
||
## Quick start
|
||
|
||
首先按需求修改`gensuper.yaml`
|
||
|
||
```yaml
|
||
Config output dir: /tmp/eg_gen
|
||
ConfigTemplate for super node: ""
|
||
ConfigTemplate for edge node: ""
|
||
Network name: eg_net
|
||
Super Node:
|
||
Listen port: 3456
|
||
EdgeAPI prefix: /eg_net/eg_api
|
||
Endpoint(IPv4)(optional): example.com
|
||
Endpoint(IPv6)(optional): example.com
|
||
Endpoint(EdgeAPI): http://example.com:3456/eg_net/eg_api
|
||
Edge Node:
|
||
Node IDs: "[1~10,11,19,23,29,31,55~66,88~99]"
|
||
MacAddress prefix: "" # 留空隨機產生
|
||
IPv4 range: 192.168.76.0/24 # IP的部分可以直接省略沒關係
|
||
IPv6 range: fd95:71cb:a3df:e586::/64 # 這個欄位唯一的目的只是在啟動以後，調用ip命令，幫tap接口加個ip
|
||
IPv6 LL range: fe80::a3df:0/112 # 和VPN本身運作完全無關
|
||
```
|
||
接著執行這個，就會生成所需設定檔了。
|
||
```
|
||
$ ./etherguard-go -mode gencfg -cfgmode super -config example_config/super_mode/gensuper.yaml
|
||
```
|
||
|
||
把一個super，2個edge分別搬去三台機器
|
||
或是2台機器，super和edge可以是同一台
|
||
|
||
在Supernode執行
|
||
```
|
||
./etherguard-go -config [設定檔位置] -mode super
|
||
```
|
||
在EdgeNode執行
|
||
```
|
||
./etherguard-go -config [設定檔位置] -mode edge
|
||
```
|
||
|
||
## Documentation
|
||
|
||
在了解Super Mode的運作之前，建議您先閱讀[Static Mode的運作](../static_mode/README_zh.md)方法，再閱讀本篇會比較好
|
||
|
||
|
||
在EdgeNode的SuperMode下，設定檔裡面的`NextHopTable`以及`Peers`是無效的。
|
||
這些資訊都是從SuperNode上面下載
|
||
同時，SuperNode會幫每個連線生成pre-shared key，分發給edge使用(如果啟用`UsePSKForInterEdge`的話)。
|
||
|
||
### SuperMsg
|
||
但是比起StaticMode，SuperMode引入了一種新的 `終點ID` 叫做 `NodeID_SuperNode`。
|
||
所有送往SuperNode的封包都會是這種類型。
|
||
這種封包不會在EdgeNode之間傳播，收到也會不會轉給任何人，如同`終點ID == 自己`一般
|
||
|
||
## Control Message
|
||
從SuperMode開始，我們有了StaticMode不存在的Control Message。他會控制EtherGuard一些行為
|
||
在SuperMode下，我們不會轉發任何控制消息。 我們只會直接接收或發送給目標。
|
||
下面列出Super Mode會出現的Control message
|
||
|
||
### Register
|
||
具體運作方式類似這張圖
|
||
|
||
1. EdgeNode發送`Register`給sSuperNode
|
||
2. SuperNode收到以後就知道這個EdgeNode的Endpoint IP和Port number。
|
||
3. 更新進資料庫以後發布`UpdatePeerMsg`。
|
||
4. 其他edge node收到以後就用HTTP EdgeAPI去下載完整的peer list。並且把自己沒有的peer通通加到本地
|
||
|
||
### Ping/Pong
|
||
有了peer list以後，接下來的運作方式類似這張圖
|
||
|
||
Edge node 會嘗試向其他所有peer發送`Ping`，裡面會攜帶節點自己的時間
|
||
`Ping` 封包的TTL=0 所以不會被轉發，只會抵達可以直連的節點
|
||
收到`Ping`，就會產生一個`Pong`，並攜帶時間差。這個時間就是單向延遲
|
||
但是他不會把`Pong`送回給原節點，而是送給Super node
|
||
|
||
### <a name="AdditionalCost"></a>AdditionalCost
|
||
有了各個節點的延遲以後，還不會立刻計算`Floyd-Warshall`，而是要先加上`AdditionalCost`
|
||
|
||
以這張圖片的情境為例:
|
||
|
||
Path | Latency |Cost|Win
|
||
--------|:--------|:---|:--
|
||
A->B->C | 3ms | 3 |
|
||
A->C | 4ms | 4 | O
|
||
|
||
但是這個情境，3ms 4ms 只相差1ms
|
||
為了這1ms而多繞一趟實在浪費，而且轉發本身也要時間
|
||
|
||
每個節點有了`AdditionalCost`參數，就能設定經過這個節點轉發，所需額外增加的成本
|
||
|
||
假如ABC全部設定了`AdditionalCost=10`
|
||
Path | Latency |AdditionalCost|Cost|Win
|
||
--------|:--------|:-------------|:---|:--
|
||
A->B->C | 3ms | 20 | 23 |
|
||
A->C | 4ms | 10 | 14 | O
|
||
|
||
A->C 就換選擇直連，不會為了省下1ms而繞路
|
||
這邊`AdditionalCost=10`可以解釋為: 必須能省下10ms，才會繞這條路
|
||
|
||
這個參數也有別的用途
|
||
針對流量比較貴的節點，可以設定`AdditionalCost=10000`
|
||
別人就不會走他中轉了，而是盡量繞別的路，或是直連
|
||
除非別條路線全掛，只剩這挑Cost 10000的路線
|
||
|
||
還有一個用法，全部節點都設定`AdditionalCost=10000`
|
||
無視延遲，全節點都盡量直連，打動失敗才繞路
|
||
|
||
### UpdateNhTable
|
||
Super node收到節點們傳來的Pong以後，就知道他們的單向延遲了。接下來的運作方式類似這張圖
|
||
|
||
Super node收到Pong以後，就會更新它裡面的`Distance matrix`，並且重新計算轉發表
|
||
如果有變動，就發布`UpdateNhTableMsg`
|
||
其他edge node收到以後就用HTTP EdgeAPI去下載完整的轉發表
|
||
|
||
### ServerUpdate
|
||
通知EdgeNode有事情發生
|
||
1. 關閉EdgeNode程式
|
||
* 版本號不匹配
|
||
* 該edge的NodeID配置錯誤
|
||
* 該Edge被刪除
|
||
2. 通知EdgeNode有更新
|
||
* UpdateNhTable
|
||
* UpdatePeer
|
||
* UpdateSuperParams
|
||
|
||
|
||
## HTTP EdgeAPI
|
||
為什麼要用HTTP額外下載呢?直接`UpdateXXX`夾帶資訊不好嗎?
|
||
因為udp是不可靠協議，能攜帶的內容量也有上限。
|
||
但是peer list包含了全部的peer資訊，長度不是固定的，可能超過
|
||
所以這樣設計，`UpdateXXX`單純只是告訴edge node有資訊更新，請速速用HTTP下載
|
||
|
||
而且`UpdateXXX`本身不可靠，說不定根本就沒抵達edge node。
|
||
所以`UpdateXXX`這類資訊都帶了`state hash`。用HTTP API的時候要帶上
|
||
這樣super node收到HTTP API看到`state hash`就知道這個edge node確實有收到`UpdateXXX`了。
|
||
不然每隔一段時間就會重新發送`UpdateXXX`給該節點
|
||
|
||
預設配置是走HTTP。但為**了你的安全著想，建議使用nginx反代理成https**
|
||
有想過SuperNode開發成直接支援https，但是證書動態更新太麻煩就沒有做了
|
||
|
||
## HTTP Manage API
|
||
HTTP還有5個Manage API，給前端使用，幫助管理整個網路
|
||
|
||
### super/state
|
||
```bash
|
||
curl "http://127.0.0.1:3456/eg_net/eg_api/manage/super/state?Password=passwd_showstate"
|
||
```
|
||
可以給前端看的，用來顯示現在各節點之間的單向延遲狀況
|
||
之後可以用來畫力導向圖。
|
||
|
||
這個json下載下來有一個叫做`infinity`的欄位，值應該永遠是9999
|
||
因為json沒辦法表達無限大。所以大於這個數值的就是無限大，不可達的意思
|
||
這個數值是編譯時決定的，一般不會動。但保留變更的彈性
|
||
所以有這個欄位，前端顯示時看到數值大於這個，就視為不可達，不用畫線了
|
||
|
||
返回值範例:
|
||
```json
|
||
{
|
||
"PeerInfo": {
|
||
"1": {
|
||
"Name": "Node_01",
|
||
"LastSeen": "2021-12-05 21:21:56.039750832 +0000 UTC m=+23.401193649"
|
||
},
|
||
"2": {
|
||
"Name": "Node_02",
|
||
"LastSeen": "2021-12-05 21:21:57.711616169 +0000 UTC m=+25.073058986"
|
||
}
|
||
},
|
||
"Infinity": 99999,
|
||
"Edges": {
|
||
"1": {
|
||
"2": 0.002179297
|
||
},
|
||
"2": {
|
||
"1": -0.00030252
|
||
}
|
||
},
|
||
"Edges_Nh": {
|
||
"1": {
|
||
"2": 0.012179297
|
||
},
|
||
"2": {
|
||
"1": 0.00969748
|
||
}
|
||
},
|
||
"NhTable": {
|
||
"1": {
|
||
"2": 2
|
||
},
|
||
"2": {
|
||
"1": 1
|
||
}
|
||
},
|
||
"Dist": {
|
||
"1": {
|
||
"1": 0,
|
||
"2": 0.012179297
|
||
},
|
||
"2": {
|
||
"1": 0.00969748,
|
||
"2": 0
|
||
}
|
||
}
|
||
}
|
||
```
|
||
|
||
欄位意義:
|
||
1. PeerInfo: 節點id，名稱，上次上線時間
|
||
2. Edges: 節點**直連的延遲**，99999或是缺失代表不可達(打洞失敗)
|
||
3. Edges_Nh: 加上AdditionalCost之後的結果，也就是餵給 FloydWarshall(g) 的真正參數
|
||
3. NhTable: 計算結果
|
||
4. Dist: 節點走**Etherguard之後的延遲**
|
||
|
||
### peer/add
|
||
再來是新增peer，可以不用重啟Supernode就新增Peer
|
||
|
||
範例:
|
||
```bash
|
||
curl -X POST "http://127.0.0.1:3456/eg_net/eg_api/manage/peer/add?Password=passwd_addpeer" \
|
||
-H "Content-Type: application/x-www-form-urlencoded" \
|
||
-d "NodeID=100&Name=Node_100&PubKey=DG%2FLq1bFpE%2F6109emAoO3iaC%2BshgWtdRaGBhW3soiSI%3D&AdditionalCost=1000&PSKey=w5t64vFEoyNk%2FiKJP3oeSi9eiGEiPteZmf2o0oI2q2U%3D&SkipLocalIP=false"
|
||
```
|
||
參數:
|
||
1. URL query: Password: 新增peer用的密碼，在設定檔配置
|
||
1. Post body:
|
||
1. NodeID: Node ID
|
||
1. Name: 節點名稱
|
||
1. PubKey: Public Key
|
||
1. PSKey: Pre shared Key
|
||
1. AdditionalCost: 此節點進行封包轉發的額外成本。單位: 毫秒
|
||
1. SkipLocalIP: 是否使該節點不使用Local IP
|
||
1. nexthoptable: 如果你的super node的`graphrecalculatesetting`是static mode，那麼你需要在這提供一張新的`NextHopTable`，json格式
|
||
|
||
返回值:
|
||
1. http code != 200: 出錯原因
|
||
2. http code == 200，一份edge的參考設定檔
|
||
* 會根據 `edgetemplate` 裡面的內容，再填入使用者的資訊(nodeid/name/pubkey)
|
||
* 方便使用者複製貼上
|
||
|
||
### peer/del
|
||
有兩種刪除模式，分別是使用Password刪除，以及使用privkey刪除。
|
||
設計上分別是給管理員使用，或是給加入網路的人，想離開網路使用
|
||
|
||
使用Password刪除可以刪除任意節點，以上面新增的節點為例，使用這個API即可刪除剛剛新增的節點
|
||
```bash
|
||
curl "http://127.0.0.1:3456/eg_net/eg_api/manage/peer/del?Password=passwd_delpeer&NodeID=100"
|
||
```
|
||
|
||
也可以使用privkey刪除，同上，但是只要附上privkey參數就好
|
||
```bash
|
||
curl "http://127.0.0.1:3456/eg_net/eg_api/manage/peer/del?PrivKey=iquaLyD%2BYLzW3zvI0JGSed9GfDqHYMh%2FvUaU0PYVAbQ%3D"
|
||
```
|
||
|
||
參數:
|
||
1. URL query:
|
||
1. Password: 刪除peer用的密碼，在設定檔配置
|
||
1. nodeid: 你想刪除的Node ID
|
||
1. privkey: 該節點的私鑰
|
||
|
||
返回值:
|
||
1. http code != 200: 錯誤訊息
|
||
2. http code == 200: 被刪除的nodeID
|
||
|
||
### peer/update
|
||
更新節點的一些參數
|
||
```bash
|
||
curl -X POST "http://127.0.0.1:3456/eg_net/eg_api/manage/peer/update?Password=passwd_updatepeer&NodeID=1" \
|
||
-H "Content-Type: application/x-www-form-urlencoded" \
|
||
-d "AdditionalCost=10&SkipLocalIP=false"
|
||
```
|
||
|
||
### super/update
|
||
更新SuperNode的一些參數
|
||
```bash
|
||
curl -X POST "http://127.0.0.1:3456/eg_net/eg_api/manage/super/update?Password=passwd_updatesuper" \
|
||
-H "Content-Type: application/x-www-form-urlencoded" \
|
||
-d "SendPingInterval=15&HttpPostInterval=60&PeerAliveTimeout=70&DampingResistance=0.9"
|
||
```
|
||
|
||
### SuperNode Config Parameter
|
||
|
||
Key | Description
|
||
--------------------|:-----
|
||
NodeName | 節點名稱
|
||
PostScript | 初始化完畢之後要跑的腳本
|
||
PrivKeyV4 | IPv4通訊使用的私鑰
|
||
PrivKeyV6 | IPv6通訊使用的私鑰
|
||
ListenPort | udp監聽埠
|
||
ListenPort_EdgeAPI | HTTP EdgeAPI 的監聽埠
|
||
ListenPort_ManageAPI| HTTP ManageAPI 的監聽埠
|
||
API_Prefix | HTTP API prefix
|
||
RePushConfigInterval| 重新push`UpdateXXX`的間格
|
||
HttpPostInterval | EdgeNode 使用EdgeAPI回報狀態的頻率
|
||
PeerAliveTimeout | 判定斷線Timeout
|
||
SendPingInterval | EdgeNode 之間使用Ping/Pong測量延遲的間格
|
||
[LogLevel](../static_mode/README_zh.md#LogLevel)| 紀錄log
|
||
[Passwords](#Passwords) | HTTP ManageAPI 的密碼，5個API密碼是獨立的
|
||
[GraphRecalculateSetting](#GraphRecalculateSetting) | 一些和[Floyd-Warshall演算法](https://zh.wikipedia.org/zh-tw/Floyd-Warshall算法)相關的參數
|
||
[NextHopTable](../static_mode/README_zh.md#NextHopTable) | StaticMode 模式下使用的轉發表
|
||
EdgeTemplate | HTTP ManageAPI `peer/add` 返回的edge的參考設定檔
|
||
UsePSKForInterEdge | 幫Edge生成PreSharedKey，供edge之間直接連線使用
|
||
[Peers](#EdgeNodes) | EdgeNode資訊
|
||
|
||
<a name="Passwords"></a>Passwords | Description
|
||
--------------------|:-----
|
||
ShowState | HTTP ManageAPI `super/state` 的密碼
|
||
AddPeer | HTTP ManageAPI `peer/add` 的密碼
|
||
DelPeer | HTTP ManageAPI `peer/del` 的密碼
|
||
UpdatePeer | HTTP ManageAPI `peer/update` 的密碼
|
||
UpdateSuper | HTTP ManageAPI `super/update` 的密碼
|
||
|
||
<a name="GraphRecalculateSetting"></a>GraphRecalculateSetting | Description
|
||
--------------------|:-----
|
||
StaticMode | 關閉`Floyd-Warshall`演算法，只使用設定檔提供的NextHopTable`。SuperNode單純用來輔助打洞
|
||
ManualLatency | 手動設定延遲，不採用EdgeNode回報的延遲(單位: 毫秒)
|
||
JitterTolerance | 抖動容許誤差，收到Pong以後，一個37ms，一個39ms，不會觸發重新計算<br>比較對象是上次更新使用的值。如果37 37 41 43 .. 100 ，每次變動一點點，總變動量超過域值還是會更新
|
||
JitterToleranceMultiplier | 抖動容許誤差的放大係數，高ping的話允許更多誤差<br>https://www.desmos.com/calculator/raoti16r5n
|
||
DampingResistance | 防抖阻尼系數<br>`latency = latency_old * resistance + latency_in * (1-resistance)`
|
||
TimeoutCheckInterval | 週期性檢查節點的連線狀況，是否斷線需要重新規劃線路
|
||
RecalculateCoolDown | Floyd-Warshal是O(n^3)時間複雜度，不能太常算。<br>設個冷卻時間<br>有節點加入/斷線觸發的重新計算，無視這個CoolDown
|
||
|
||
<a name="EdgeNodes"></a>Peers | Description
|
||
--------------------|:-----
|
||
NodeID | 節點ID
|
||
PubKey | 公鑰
|
||
PSKey | 預共享金鑰
|
||
[AdditionalCost](#AdditionalCost) | 繞路成本(單位: 毫秒)<br>設定-1代表使用EdgeNode自身設定
|
||
SkipLocalIP | 打洞時，不使用EdgeNode回報的本地IP，僅使用SuperNode蒐集到的外部IP
|
||
EndPoint | SuperNode啟動時，主動向Edge連線的Endpoint
|
||
ExternalIP | 針對沒開Nat Reflection，又要把SuperNode和EdgeNode跑在同一内網的情境使用<br>沒有Nat Reflection，SuperNode無法讀取內網EdgeNode的外部IP，只能手動指定了
|
||
|
||
### EdgeNode Config Parameter
|
||
|
||
#### [EdgeConfig Root](../static_mode/README_zh.md#EdgeConfig)
|
||
|
||
<a name="DynamicRoute"></a>DynamicRoute | Description
|
||
--------------------|:-----
|
||
SendPingInterval | 發送Ping訊息的間隔(秒)
|
||
PeerAliveTimeout | 被標記為離線所需的無反應時間(秒)
|
||
TimeoutCheckInterval | 檢查間格(秒)，檢查是否有任何peer超時，若有就標記
|
||
ConnNextTry | 被標記以後，嘗試下一個endpoint的間隔(秒)
|
||
DupCheckTimeout | 重複封包檢查的timeout(秒)<br>完全相同的封包收第二次會被丟棄
|
||
[AdditionalCost](#AdditionalCost) | 繞路成本(毫秒)。僅限SuperNode設定-1時生效
|
||
SaveNewPeers | 是否把下載來的鄰居資訊存到本地設定檔裡面
|
||
[SuperNode](#SuperNode) | SuperNode相關設定
|
||
[P2P](../p2p_mode/README_zh.md#P2P) | P2P相關設定，SuperMode用不到
|
||
[NTPConfig](#NTPConfig) | NTP時間同步相關設定
|
||
|
||
<a name="SuperNode"></a>SuperNode | Description
|
||
---------------------|:-----
|
||
UseSuperNode | 是否啟用SuperNode
|
||
PSKey | 和SuperNode通訊用的PreShared Key
|
||
EndpointV4 | SuperNode的IPv4 Endpoint
|
||
PubKeyV4 | SuperNode的IPv4公鑰
|
||
EndpointV6 | SuperNode的IPv6 Endpoint
|
||
PubKeyV6 | SuperNode的IPv6公鑰
|
||
EndpointEdgeAPIUrl | SuperNode的EdgeAPI存取路徑
|
||
SkipLocalIP | 不回報本地IP，避免和其他Edge內網直連
|
||
SuperNodeInfoTimeout | 實驗性選項，SuperNode離線超時，切換成P2P模式<br>需先打開P2P模式<br>`UseP2P=false`本選項無效<br>P2P模式尚未測試，穩定性未知，不推薦使用
|
||
|
||
|
||
<a name="NTPConfig"></a>NTPConfig | Description
|
||
--------------------|:-----
|
||
UseNTP | 是否使用NTP同步時間
|
||
MaxServerUse | 向多少NTP伺服器發送請求
|
||
SyncTimeInterval | 多久同步一次時間
|
||
NTPTimeout | NTP伺服器連線Timeout
|
||
Servers | NTP伺服器列表
|
||
|
||
## V4 V6 兩個公鑰
|
||
為什麼要分開IPv4和IPv6呢?
|
||
因為有這種情況:
|
||
|
||
|
||
|
||
這樣的話SuperNode就不知道Node02的ipv4地址，就不能幫助Node1和Node2打洞了
|
||
|
||
|
||
|
||
所以要像這樣，V4和V6都建立一條通道，才能讓V4和V6同時都被處理到
|
||
|
||
## 打洞可行性
|
||
對於不同的NAT type，打洞的可行性可以參考這張圖([出處](https://dh2i.com/kbs/kbs-2961448-understanding-different-nat-types-and-hole-punching/))
|
||
|
||
|
||
|
||
還有，就算雙方都是ConeNAT，也不保證100%成功。
|
||
還得看NAT設備的支援情況，詳見[此文](https://bford.info/pub/net/p2pnat/#SECTION00035000000000000000)，裡面3.5章節描述的情況，也無法打洞成功
|
||
|
||
## Relay node
|
||
因為Etherguard的Supernode單純只負責幫忙打洞+計算[Floyd-Warshall](https://zh.wikipedia.org/zh-tw/Floyd-Warshall算法)，並分發運算結果
|
||
而他本身並不參與資料轉發。因此如上章節描述打洞失敗，且沒有任何可達路徑的話，就需要搭建relay node
|
||
基本上任意一個節點有公網ip，就不用擔心沒有路徑可達了。但是還是說明一下
|
||
|
||
Relay node其實也是一個edge node，只不過被設定成為interface=dummy，不串接任何真實接口
|
||
|
||
只是在設定時要注意，Supernode地只要設定成Supernode的**外網ip**。
|
||
因為如果用127.0.0.1連接supernode，supernode看到封包的src IP就是127.0.0.1，就會把127.0.0.1分發給`Node_1`和`Node_2`
|
||
`Node_1`和`Node_2`看到`Node_R`的連線地址是`127.0.0.1`，就連不上了
|
||
|
||
#### Run example config
|
||
|
||
在**不同terminal**分別執行以下命令
|
||
|
||
```bash
|
||
./etherguard-go -config example_config/super_mode/Node_super.yaml -mode super
|
||
./etherguard-go -config example_config/super_mode/Node_edge001.yaml -mode edge
|
||
./etherguard-go -config example_config/super_mode/Node_edge002.yaml -mode edge
|
||
```
|
||
因為是stdio模式，stdin會讀入VPN網路
|
||
請在其中一個edge視窗中鍵入
|
||
```
|
||
b1aaaaaaaaaa
|
||
```
|
||
b1會被轉換成 12byte 的layer 2 header，b是廣播地址`FF:FF:FF:FF:FF:FF`，1是普通地址`AA:BB:CC:DD:EE:01`，aaaaaaaaaa是後面的payload，然後再丟入VPN
|
||
此時應該要能夠在另一個視窗上看見字串b1aaaaaaaaaa。前12byte被轉換回來了
|
||
|
||
看完本章捷，接下來你就能了解一下[P2P Mode的運作](../p2p_mode/README_zh.md)
|