そんなことか・・・

先日実家に帰った際にリモートデスクトップで寮のパソコンにつながらないなぁ、とか思っていたのですが、原因が分りました。

寮は２つのプロバイダに繋いでおり、片方がIPアドレス固定、片方が動的割り当てになっています。
で、通常のネット接続は動的割り当ての方を使ってます。(固定の方は鯖専用)

そういう構成にもかかわらず、固定アドレスのルータからポートを飛ばして接続しようとしていました。
以下、つなぎに行った方をクライアント、繋がれる方をサーバ側と表記します。

何が起こるかというと、クライアント側は固定のアドレスに対してパケットを投げているにもかかわらず、
サーバー側は通常のゲートウェイ(動的アドレスの方)から応答を返します。

その結果、クライアント側で「コレは違うんじゃね？」という判断でパケットを捨てているのではないかと。
リモートデスクトップの詳しい仕組みはよく分りませんが、何となくそんな挙動っぽいです。
今までずっとOpenVPNを介してリモートデスクトップを繋いでいたので気づきませんでした。