3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Symbol のノードを複数公開したくて、heika で PROXY protocol 対応までしたのに catapult だけはどうにもならなかった話

3
Posted at

1 台のマシンで、Symbol のメインネットとテストネットのノードを両方動かしたい。それぞれのポートは分けたくなくて、同じ 7900 番で受けたい。だってかっこいいじゃん✨

ウェブなら簡単な話だ。HTTPS のサーバーは、1 つの 443 番でいくつものサイトを受けている。TLS の最初のあいさつ(ClientHello)に、クライアントが「どのホストにつなぎたいか」を書いてくる。これが SNI(Server Name Indication)で、前に置いた中継は、それを見て振り分ければいい。なんなら TLS を終えてしまえば、Host ヘッダまで見放題だ。もはや万能の器である✨

Symbol のノード同士も、TLS 1.3 でつながっている。だったら同じことができるはず……と思って調べ始めたら、できそうになかった。この記事は、その「できなかった」話と、せめて自作のノード heika の側だけでも……と、なんとかした話だ。

heika は SNI を送っている

heika は Rust で書いている Symbol のノードで、TLS には rustls を使っている。rustls は、つなぎ先をホスト名で渡すと、何もしなくても SNI を送る。さすがに IP アドレスでつなぐときは送らない(SNI には IP アドレスを書けない決まりだ)。

つまり heika から heika へなら、相手をホスト名で書いておくだけで、SNI はもう届いている。中継が読めば振り分けられる。ここまでは順調だった😊

catapult は SNI を送ってこない

問題は、Symbol のノードのほとんどを占める、公式の catapult だ。catapult は SNI を送らないし、受け取っても読まない。ノード同士はアドレスと公開鍵で相手を確かめるので、ホスト名をやりとりする必要がもともとないのだ。作りとしては筋が通っている。ぐうのねもでない……。

じゃあ、SNI の代わりになる手がかりはほかにあるだろうか。

TLS では、サーバーのほうが先に名乗る。TLS 1.3 の流れはこうだ。

  1. クライアントが ClientHello を送る
  2. サーバーが ServerHello を返し、自分の証明書を出す
  3. そのあとで、クライアントが自分の証明書を出す

中継が振り分けるなら、2 の時点で、どちらのノードに渡すかを決めていなければならない。決めるのに使えるのは 1 の ClientHello だけだ。そこに SNI も ALPN(使うプロトコルの名前を伝える欄)もなければ、残る手がかりは送信元の IP アドレスしかない。そもそも Symbol のノードの証明書にはネットワークが書いていないので、3 まで待っても見分けられないのだけど。

送信元の IP で頑張る案

それでも諦めきれなくて、送信元の IP から相手のネットワークを当てる案をいくつか考えた。

逆にこちらから聞く

catapult がつないできたら、その場で TLS のあいさつを保留しておいて、相手の IP の 7900 番に、こちらから「あなたはどのネットワーク?」と聞きに行く。Symbol の P2P には、ノードの情報を聞く問い合わせ(Node Discovery の ping)がある。返ってきたネットワークで振り分ければいい。

待てる時間はある。メインネットの catapult の設定では、接続から TLS のあいさつと鍵の確認までを 15 秒待ってくれる(connectTimeout)。

ただ、ネットワークの種類(NetworkType)だけでは足りない。テストネットと自分で立てたプライベートネットは、同じ番号を使えるからだ。見分けるなら、ネットワークの生成ハッシュ(generation hash seed)で比べることになる。

知っているピアの一覧で調べる

聞きに行かなくても、後ろのノードたちはもう、自分のネットワークのピアの一覧を持っている。中継がそれを集めて名前を引いておけば、「この IP はメインネットのノード」と表が作れる。表にない IP は、既定のほうに回す。

でも、中継を挟むと全員一緒に見える

ここで大きな壁に当たった。中継が普通に TCP をつなぎ直すと、後ろの catapult からは、どの接続も中継の IP から来たように見える。

メインネットとテストネットの catapult は、ノードを IP アドレスで見分ける設定になっている(nodeEqualityStrategy = host)。1 つの IP は 1 つのノード、という扱いだ。全員が中継の IP から来たら、全員が同じノードに見えてしまう。

送信元を残すには、透過的な中継にする必要がある。Linux なら、届いた SYN をそのまま後ろのポートに向け直す(DNAT)手がある。送信元の IP は変わらず、戻りのパケットは conntrack が正しく戻してくれる。表を nftables の map に入れておけば、送信元ごとに向け先を変えられる。

作れなくはない。……でも、ここまで来て気づいた。

ポートを分ければいい

catapult を動かしている人にとっては、メインネットを 7900、テストネットを 7901 で受け、それぞれがそのポートを名乗るだけで、もう全部動く。わざわざ nftables の map を書き換え続ける中継を足す理由がない。

しかも、shoestring のような公式の道具は compose のファイルを作り直すので、横に何かを差し込むのも大変だ。nftables を触る中継を docker のルールの隣に置くのも、正直こわい。私はいつも nftables でうっかりやらかすので、なおさらだ😇 オペミスこゎぃ……😱

というわけで、catapult のための中継は作らないことにした。

結局 heika の側だけなんとかした

catapult のための中継はもう諦めた。でも、heika 同士なら話は別だ。SNI が届いているので、HAProxy や nginx のような普通の中継が、ホスト名で振り分けられる。

残る問題は、さっきの「全員が中継の IP から来たように見える」だ。heika も、同じ IP から受ける接続を 4 本までに絞っている。中継が外のアドレスなら、外のノードがみんな中継の IP に見えて、すぐ上限に当たってしまう。中継が同じマシン(ループバック)なら数えないけれど、それはそれで、誰のことも数えられなくなる。

そこで、PROXY protocol を読めるようにした。

PROXY protocol

PROXY protocol は、HAProxy が始めた決まりごとだ。中継は、後ろにつないだら、TLS より先に「本当の送信元はこのアドレス」というヘッダーを書く。後ろのサーバーは、それを読んでから TLS を始める。HAProxy も nginx も対応している。

形は 2 つある。

  • v1: 1 行のテキスト。PROXY TCP4 送信元 宛先 送信元のポート 宛先のポート\r\n の形で、長くても 107 バイト
  • v2: バイナリ。最初の 12 バイトが決まった印で、そのあとにアドレスが入る

heika は、最初の 12 バイトでどちらかを見分けて、両方読む。v1 は 1 バイトずつ読む。改行のあとにはすぐ TLS が続くので、読みすぎると TLS の頭を食べてしまうからだ。

誰からのヘッダーでも素直に信じるわけにはいかない

このヘッダーは、送る側が書いた内容をそのまま信じるものだ。誰からでも受け付けたら、誰でも好きな送信元を名乗れてしまう。

そこで、ヘッダーを読むのは、設定で信じると書いた中継から来た接続だけにした。

  listen:
    address: 0.0.0.0:7900
    proxyProtocol:
      trustedFrom: [127.0.0.1, 10.0.0.0/8]
  • trustedFrom から来た接続にはヘッダーを求め、ヘッダーがなければ切る
  • ほかから来た接続ではヘッダーを読まない。だから、中継を通らずに直接来た接続も同じポートで受けられる
  • 書かなければ、ヘッダーは一切読まない。今までどおりだ

名乗るポートも分ける

もう 1 つ困ったのが、ほかのノードに名乗るポートだ。heika は、待ち受けているポートを自分のポートとして名乗っていた。中継が外の 7900 で受けて、heika が中で 17900 で待ち受けていると、外のノードには「17900 につないで」と、つなげない場所を教えてしまう。困っちゃうよねぇ😱

そこで listen.publicPort を足した。名乗るホスト名のほうは、もともと publicHost で書けた。

実は、SNI で振り分けられるかどうかも、この publicHost にかかっている。ほかの heika は、ピアの一覧で知った名前でつないでくるので、名乗った名前がそのまま SNI に載る。だから、ネットワークごとに別の名前を名乗っておく。IP アドレスを名乗ると、SNI は来ない。

  listen:
    address: 127.0.0.1:17900
    publicHost: mainnet.example.com
    publicPort: 7900
    proxyProtocol:
      trustedFrom: [127.0.0.1]

中継の設定

HAProxy なら、TLS は素通しにして(mode tcp)、後ろの server に send-proxy-v2 を付ける。ClientHello の SNI を見て、ホスト名で振り分けられる。これをやりたかったんだー✨

frontend symbol
    mode tcp
    bind :7900
    tcp-request inspect-delay 5s
    tcp-request content accept if { req.ssl_hello_type 1 }
    use_backend testnet if { req.ssl_sni -i testnet.example.com }
    default_backend mainnet

backend mainnet
    mode tcp
    server heika 127.0.0.1:17900 send-proxy-v2

backend testnet
    mode tcp
    server heika 127.0.0.1:17901 send-proxy-v2

こうすれば SNI のない catapult からの接続は、default_backend のメインネットに流れる。ノード運営の実益として、どう考えても大事なのはメインネットのノードなので、現実的にはたぶんこれで困らない。「結局は金」これでこそ人情である💴 至って世知辛い……。

そのかわり、テストネットの catapult からの接続も、メインネットのほうに流れて、つながらずに終わる。テストネットのノードは、自分からつなぎに行く接続と、heika からの接続だけで暮らすことになる。そこは割り切りだ。

nginx なら、stream の中に書く。ssl_preread で ClientHello を覗いて、SNI の名前で行き先を選ぶ。

stream {
    map $ssl_preread_server_name $upstream {
        testnet.example.com 127.0.0.1:17901;
        default             127.0.0.1:17900;
    }
    server {
        listen 7900;
        ssl_preread on;
        proxy_pass $upstream;
        proxy_protocol on;
    }
}

どちらも、手元で SNI を付けてつなぎ、名前ごとに後ろへ分かれることを確かめた。SNI がないときと、知らない名前のときは、メインネットのほうに流れた。

本当に v1 が来ているのか、覗いてみた

手元のサーバーに HAProxy と nginx をそれぞれ置いて、外からつないで試した。heika のログに出た送信元のアドレスとポートは、中継のログと一致した。

ところで、nginx はどちらの形で送ってくるのだろう。ドキュメントにはっきり書いてあるところを見つけられなかったので、nginx の後ろに heika の代わりに小さなスクリプトを置いて、届いた最初のバイトをそのまま出してみた。

PROXY TCP4 …

「あー、はい。ですよね……。」

テキストだった。少なくとも試した nginx(1.30 系)は v1 を送ってくる。両方読めるようにしておいてよかった。セーーーフ!推測でドキュメントに書かずに、ちゃんと覗いて確かめるのが大事だね✨

おわりに

1 つのポートで、メインネットとテストネットのノードを受けたかった。heika は最初から SNI を送っていたのに、相手の大多数が SNI を送ってこないので、肝心のところで振り分けられなかった。TLS 1.3 では、相手の証明書を見る前に自分の証明書を出さなければならないので、SNI のない相手は IP アドレスくらいでしか見分けられない。

結局、catapult にはポートを分けてもらうのがいちばん素直、という当たり前のところに落ち着いた。それでも、heika 同士なら SNI で振り分けられるし、PROXY protocol と publicPort で中継の後ろにも置けるようになった。

そもそも catapult が SNI を送ってくれるようになれば、すべて丸く収まるんだけど……。いつか、そんな日が来るといいよねー🍵

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?