tailscale 组网

[Bpazy]

官网: https://tailscale.com/，威联通踩坑

[Bpazy]

优势：

• 支持根据主机名访问网内其他设备（通过 DNS 解析实现）
• 支持 子网路由

劣势：

• 免费版最多支持 20 个设备
• 免费版子网路由最多支持 1 个

[Bpazy]

创建 Tailscale derper

详情: #219

[Bpazy]

关于近期遇到了 subnets 不生效问题

近期遇到了 subnets 不生效的问题，导致服务挂了一堆，重新研读了官方文档: Subnet routers and traffic relay nodes
，发现其中有几个要点：

1. 提供 subnet 服务的主机，需要携带 advertise-routes 参数启动，形如: sudo tailscale up --advertise-routes=192.168.31.0/24
2. 需要使用 subnet 服务的主机，即外部机器需要通过 subnet 节点访问内网机器，需要携带 accept-routes 参数启动，形如: sudo tailscale up --accept-routes

2024.02.29 再次遇到问题

尝试上述方案无过后，在中转节点上执行 journalctl -fu tailscaled 命令查看 tailscaled 日志，发现正常接收到了远程的请求，但是转发不对，于是通过下面这个命令解决：

iptables -t nat -A POSTROUTING -j MASQUERADE

但这又导致机器无法直接访问外部网络了，推测是 iptables 被搞乱了，最近安装过 microk8s，可能有相关性，于是导出所有规则:

sudo iptables-save > myrule

编辑文件，删除其中所有含有 k8s, kube, cali 关键词的行，这些都和 k8s 有关。然后写会规则:

sudo iptables-restore < myrule

现在一切都 ok 了。

[Bpazy]

Please restart system service

今日在 Win11 系统上，遇到了 Tailscale 不能正常启动的情况，提示 please restart system service, 但是实际操作又会发现重启 Tailscale 服务也不行，后来使用该方法解决了问题: tailscale/tailscale#2031 (comment)

[Bpazy]

Tailscale 导致威联通根目录被占满

威联通根目录是 RAMdisk，并且只有 400M，根目录满了之后就无法正常运行了，必须重启机器才行。

Tailscale 会不断写日志到 /var/lib/tailscale 目录下导致了这个问题，给官方提了 issue 反馈: tailscale/tailscale-qpkg#57

[Bpazy]

Clash 全局模式与 Tailscale 不兼容问题

参考我的解决方案: https://github.com/Dreamacro/clash/issues/2251#issuecomment-1289386440

今天抽空对 tailscaled, tailscale 的源码进行了调试，发现当开启 Clash Tun 的时候，tailscaled 因为连接不上这两个域名导致始终无法成功启动：

controlplane.tailscale.com
log.tailscale.io
所以我通过将这两个域名添加到 fake-ip-filter 列表中解决了问题:

  dns:
    enable: true
    enhanced-mode: fake-ip
    nameserver:
      - 114.114.114.114
    fallback: []
    fake-ip-filter:
      # 省略了部分配置
      - controlplane.tailscale.com
      - log.tailscale.io

同时注意，Clash for Windows 不会读取 user profile 中的 dns 模块，所以上面的这段代码要写在 Clash for Windows 的 Mixin 配置中：

我的完整 Mixin：

mixin: # object
  dns:
    enable: true
    enhanced-mode: fake-ip
    nameserver:
      - 114.114.114.114
      - 223.5.5.5
      - 8.8.8.8
    fallback: []
    fake-ip-filter:
      - +.stun.*.*
      - +.stun.*.*.*
      - +.stun.*.*.*.*
      - +.stun.*.*.*.*.*
      - "*.n.n.srv.nintendo.net"
      - +.stun.playstation.net
      - xbox.*.*.microsoft.com
      - "*.*.xboxlive.com"
      - "*.msftncsi.com"
      - "*.msftconnecttest.com"
      - WORKGROUP
      - controlplane.tailscale.com
      - log.tailscale.io
  tun:
    enable: true
    stack: gvisor
    auto-route: true
    auto-detect-interface: true
    dns-hijack:
      - any:53
另外如果使用了 Tailscale derper，记得将 Access Controls 中配置的 HostName 也增加到 fake-ip-filter 中。

以上测试基于：

Clash for Windows v0.20.6
Clash Core 2022.08.26 Premium (56523)
Tailscale 1.24.2
Tailscale 1.32.1
Tailscale a6b77bcb008f14c8356b6618904b11b209c5e156

[Bpazy]

局域网内有多个 subnet 时局域网无法互联

比如 A, B 都在 LAN1 下，两者都开启了 subnet，并且 B 启动时指定了 --accept-routes 参数，那么此时局域网的其他机器是无法 ping 通 B 机器的。注意，这里可能 A 也存在问题，最好 A B 都进行以下设置。

究其原因，参考官方文档: How to prioritize LAN traffic with overlapping subnet routes (如何优先考虑具有重叠子网路由的 LAN 流量)

解决方案也很简单，让子网的优先级比 tailscale 更高即可:

ip rule add to 192.168.31.0/24 priority 2500 lookup main

不过上面的命令只能临时生效，想要机器重启也能生效则需要更改 netplan 的设置，比如我的配置：

ziyuan@nhan-ubuntu:/etc/netplan$ pwd
/etc/netplan
ziyuan@nhan-ubuntu:/etc/netplan$ cat 50-cloud-init.yaml
# This file is generated from information provided by the datasource.  Changes
# to it will not persist across an instance reboot.  To disable cloud-init's
# network configuration capabilities, write a file
# /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following:
# network: {config: disabled}
network:
    ethernets:
        ens3:
            dhcp4: true
            routing-policy:
                - from: 0.0.0.0/0
                  to: 192.168.31.0/24
                  priority: 2500
    version: 2

改完记得应用下：

$ sudo netplan try
# 或者使用 sudo netplan apply，这里用 try 是因为即使有问题也会在 120 秒后回滚

如果是 Debian 没有 netplan，那更简单 vim /etc/network/interfaces:

auto lo
iface lo inet loopback

iface enp8s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.31.30/24
        gateway 192.168.31.1
        bridge_ports enp8s0
        bridge_stp off
        bridge_fd 0
        post-up ip rule add to 192.168.31.0/24 priority 2500 lookup main

iface wlp15s0 inet manual

主要是其中的 post-up ip rule add to 192.168.31.0/24 priority 2500 lookup main，其他配置不要抄我作业。

[Bpazy]

tailscaled CPU 单核 100%

今日出现了 tailscaled 单核使用率 100% 的问题，如图：

利用 tailscale 自身的 debug 能力可生成 Go pprof 文件:

$ sudo tailscale debug -cpu-profile tailscaled-debug.pprof
2024/10/14 22:34:23 Capturing CPU profile for 15 seconds ...

$ sudo go tool pprof tailscaled-debug.pprof
sudo /usr/local/go/bin/go tool pprof tailscaled-debug.gz
File: tailscaled
Type: cpu
Time: Oct 14, 2024 at 9:59pm (CST)
Duration: 15.12s, Total samples = 15.42s (102.00%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top --cum 40
Showing nodes accounting for 10.72s, 69.52% of 15.42s total
Dropped 197 nodes (cum <= 0.08s)
Showing top 40 nodes out of 94
      flat  flat%   sum%        cum   cum%
     0.09s  0.58%  0.58%     15.02s 97.41%  tailscale.com/ipn/ipnlocal.(*localListener).Run
     0.13s  0.84%  1.43%     12.23s 79.31%  net.(*ListenConfig).Listen
         0     0%  1.43%     10.24s 66.41%  net.(*sysListener).listenTCP (inline)
     0.06s  0.39%  1.82%     10.24s 66.41%  net.(*sysListener).listenTCPProto
     0.06s  0.39%  2.20%     10.16s 65.89%  net.internetSocket
     0.05s  0.32%  2.53%     10.08s 65.37%  net.socket
     0.04s  0.26%  2.79%      7.82s 50.71%  syscall.RawSyscall6
     7.78s 50.45% 53.24%      7.78s 50.45%  runtime/internal/syscall.Syscall6

看到 ipnlocal 感觉是存在本地回环，检查 route 没发现什么问题：

$ route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         _gateway        0.0.0.0         UG    100    0        0 eth0
10.0.16.0       0.0.0.0         255.255.252.0   U     0      0        0 eth0
10.42.1.0       0.0.0.0         255.255.255.0   U     0      0        0 cni0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.18.0.0      0.0.0.0         255.255.0.0     U     0      0        0 br-dafb5ecd2892
172.23.0.0      0.0.0.0         255.255.0.0     U     0      0        0 br-d5ef82cd3797
192.168.96.0    0.0.0.0         255.255.240.0   U     0      0        0 br-56cb71f0db59
192.168.194.0   0.0.0.0         255.255.255.0   U     0      0        0 ztmjfp22zm

• 推测是 zerotier 但是关闭 zerotier 后没解决问题。
• 再推测是自建 derper 开启 STUN 导致问题，关闭 derper 未解决问题。
• 再猜测是 k3s-agent 覆盖了 tailscale 配置导致问题，重启 k3s-agent 未解决问题。
• 尝试重启 tailscale：
  • 利用 tailscale 命令重启，问题未解决：sudo tailscale down && sudo tailscale up
  • 利用 systemctl 命令重启，问题解决：sudo systemctl stop tailscale && sudo systemctl start tailscale

虽然问题解决了，但是原因未知，这里作个记录。