一个服务连不上,要回答的其实是六个不同的问题,每条命令只回答其中一个:

问题命令
进程还在不在ps、pidof
端口有没有在监听netstat -lntp、ss -lntp
监听在哪个地址上上面两条的 Local Address 列
端口被哪个进程占着lsof -i :端口
外面的包能不能进来ping、tcpdump
域名解析成什么nslookup、ping 的第一行

少问一个,结论就会张冠李戴:进程活着不代表端口开着,端口开着不代表监听在 0.0.0.0,监听在 0.0.0.0 也不代表防火墙放行。

pidof:从进程名拿 PID

$ ps axj | head -1; ps axj | grep tcp_server
PPID    PID     PGID    SID     TTY     TPGID  STAT  UID   TIME COMMAND
2958169 2958285 2958285 2958169 pts/2   2958285 S+   1002  0:00 ./tcp_server 8888
$ pidof tcp_server
2958285

ps axj 的 j 让输出带 PPID、PGID、SID,能看出进程挂在哪个会话下;head -1 只是为了留住表头。pidof 直接按进程名查 PID,脚本里比 grep 干净。同一个程序起了多个实例时 pidof 会印出多个 PID,-s 只取第一个。

netstat 的六列,重点是 Local Address

$ watch -n 1 netstat -nltp
Proto Recv-Q Send-Q Local Address      Foreign Address    State    PID/Program name
tcp        0      0 0.0.0.0:8888       0.0.0.0:*          LISTEN   2958285/./tcp_server
tcp        0      0 127.0.0.1:9000     0.0.0.0:*          LISTEN   3012340/./local_only
tcp        0      0 192.168.1.20:8888  10.0.0.7:51234     ESTABLISHED 2958285/./tcp_server

选项按首字母记:

  • -n 不解析别名,IP 和端口直接显示数字,避免 DNS 拖慢输出;
  • -l 只看监听中的套接字;
  • -t / -u 限定 TCP 或 UDP;
  • -p 显示占用它的进程名和 PID,看别人的进程需要 root;
  • -a 同时列出监听和已建立的连接——不加 -a 时默认只显示已建立的连接,所以查服务有没有起来必须带 -l。

Local Address 那一列是排查的关键。写 0.0.0.0:8888 表示这块网卡上的任何地址都能收;写 127.0.0.1:8888 就只有本机回环能连,外面一律连不上。代码里 bind 传了什么,这里就显示什么。

Recv-Q 与 Send-Q 在已建立的连接上是"堆着没被读走"和"堆着没发出去"的字节数。这两个值长期不为 0,说明程序读得太慢或者网络堵住了,比看 CPU 更直接。

netstat 属于 net-tools,不少发行版已经默认不装。ss 从内核直接取同样信息,选项几乎一一对应:

$ ss -lntp
State   Recv-Q  Send-Q  Local Address:Port  Peer Address:Port  Process
LISTEN  0       128     0.0.0.0:8888        0.0.0.0:*          users:(("tcp_server",pid=2958285,fd=3))

监听状态下的 Recv-Q 是"已完成握手但还没被 accept 取走"的连接数,Send-Q 是 backlog 上限。Recv-Q 贴着上限,就说明 accept 跟不上了。ss 还能直接过滤:

$ ss -tnp dst 10.0.0.7           # 只看发往这个地址的连接
$ ss -tnp dport = :51234         # 只看目标端口
$ ss -tn state established       # 只看已建立状态
$ ss -s                          # 各类连接的数量汇总

lsof:端口被谁占着

$ lsof -i :8888
$ lsof -i udp
$ lsof -p 2958285

-i 后面跟 :端口 只查这个端口,跟协议名查整类,跟 -p 换成按进程查它打开的所有文件。输出里的 NAME 列写的是 协议 地址:端口,状态带 (LISTEN) 的就是监听。lsof 不加 -n -P 会做名字解析,服务器上往往卡住好几秒。

ip 与 ifconfig:地址到底有几个

$ ip addr show
$ ip -4 addr show eth0
$ ip route
$ ifconfig eth0          # net-tools,逐渐被 ip 取代

ip addr 会列出每块网卡的 MAC、IPv4、IPv6 和状态。inet 192.168.1.20/24 是 IPv4 地址和掩码,ether 08:00:27:03:fb:19 是 MAC,lo 是只在本机有效的回环;ifconfig 把同样两项写成 inet addr:192.168.1.20 和 HWaddr 08:00:27:03:fb:19。这里没有公网 IP、只有内网 IP,而服务又部署在云上,就基本能确定公网地址是 NAT 映射的——这也解释了为什么 bind 公网 IP 会失败。

ip route 给出默认网关和各条路由。客户端不写 bind 时,内核就是按这张表选源地址的。

ping 证明的和不证明的

$ ping -c 5 www.qq.com
PING ins-r23tsuuf.ias.tencent-cloud.net (121.14.77.221) 56(84) bytes of data.
64 bytes from 121.14.77.221: icmp_seq=1 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=2 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=3 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=4 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=5 ttl=48 time=35.1 ms
--- ins-r23tsuuf.ias.tencent-cloud.net ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4005ms

第一行先给出了域名解析的结果,所以 ping 顺带验证了 DNS。56(84) 是 ICMP 载荷 56 字节、加上 ICMP 头 8 和 IP 头 20 共 84 字节;后面的 64 bytes 是 ICMP 报文总长(8 + 56),不含 IP 头。icmp_seq 连续说明没丢,ttl 每过一跳减 1(常见初值 64 或 128,据此只能粗略估计跳数),time 是往返时延。

统计行的 0% packet loss 才是结论。-c 5 发五个就停,不加参数会一直跑。

ping 通只说明 ICMP 到了对端,不说明 TCP 8888 在听;ping 不通也不能断定主机死了,ICMP 经常被防火墙或云安全组整体禁掉。它适合验证"路通不通",不适合验证"服务活没活"。

tcpdump:包到底有没有到

$ tcpdump -i any -n -c 5 port 8888
$ tcpdump -i eth0 -n -A port 8888      # 按 ASCII 显示内容
$ tcpdump -i eth0 -n -X port 8888      # 十六进制 + ASCII

-i any 在所有网卡上抓,-n 不解析主机名和端口名,-c 抓够几个就退出。没有过滤条件的 tcpdump 在忙的机器上会刷屏,port、host、net 这些过滤表达式必须写。

抓包需要 root 或 CAP_NET_RAW。它看到的是网卡上进出的报文,内核防火墙在哪一层丢弃会影响你看到的内容;所以"抓不到"只能说明这条路径上没有包,不能单独证明客户端没发。

nslookup:名字到地址的一次转换

nslookup 只解决名字到地址的转换:

$ nslookup www.qq.com
Server:  192.168.1.1
Address: 192.168.1.1
Name:    www.qq.com
Address: 121.14.77.221

它输出的是本机用的 DNS 服务器和解析结果。解析不出来时,先分清是 DNS 的事还是网络的事——ping 一个已知 IP 就能把这两件事分开。