一个服务连不上,要回答的其实是六个不同的问题,每条命令只回答其中一个:
| 问题 | 命令 |
|---|---|
| 进程还在不在 | ps、pidof |
| 端口有没有在监听 | netstat -lntp、ss -lntp |
| 监听在哪个地址上 | 上面两条的 Local Address 列 |
| 端口被哪个进程占着 | lsof -i :端口 |
| 外面的包能不能进来 | ping、tcpdump |
| 域名解析成什么 | nslookup、ping 的第一行 |
少问一个,结论就会张冠李戴:进程活着不代表端口开着,端口开着不代表监听在 0.0.0.0,监听在 0.0.0.0 也不代表防火墙放行。
pidof:从进程名拿 PID
$ ps axj | head -1; ps axj | grep tcp_server
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND
2958169 2958285 2958285 2958169 pts/2 2958285 S+ 1002 0:00 ./tcp_server 8888
$ pidof tcp_server
2958285ps axj 的 j 让输出带 PPID、PGID、SID,能看出进程挂在哪个会话下;head -1 只是为了留住表头。pidof 直接按进程名查 PID,脚本里比 grep 干净。同一个程序起了多个实例时 pidof 会印出多个 PID,-s 只取第一个。
netstat 的六列,重点是 Local Address
$ watch -n 1 netstat -nltp
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 2958285/./tcp_server
tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 3012340/./local_only
tcp 0 0 192.168.1.20:8888 10.0.0.7:51234 ESTABLISHED 2958285/./tcp_server选项按首字母记:
-n不解析别名,IP 和端口直接显示数字,避免 DNS 拖慢输出;-l只看监听中的套接字;-t/-u限定 TCP 或 UDP;-p显示占用它的进程名和 PID,看别人的进程需要 root;-a同时列出监听和已建立的连接——不加-a时默认只显示已建立的连接,所以查服务有没有起来必须带-l。
Local Address 那一列是排查的关键。写 0.0.0.0:8888 表示这块网卡上的任何地址都能收;写 127.0.0.1:8888 就只有本机回环能连,外面一律连不上。代码里 bind 传了什么,这里就显示什么。
Recv-Q 与 Send-Q 在已建立的连接上是"堆着没被读走"和"堆着没发出去"的字节数。这两个值长期不为 0,说明程序读得太慢或者网络堵住了,比看 CPU 更直接。
netstat 属于 net-tools,不少发行版已经默认不装。ss 从内核直接取同样信息,选项几乎一一对应:
$ ss -lntp
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:8888 0.0.0.0:* users:(("tcp_server",pid=2958285,fd=3))监听状态下的 Recv-Q 是"已完成握手但还没被 accept 取走"的连接数,Send-Q 是 backlog 上限。Recv-Q 贴着上限,就说明 accept 跟不上了。ss 还能直接过滤:
$ ss -tnp dst 10.0.0.7 # 只看发往这个地址的连接
$ ss -tnp dport = :51234 # 只看目标端口
$ ss -tn state established # 只看已建立状态
$ ss -s # 各类连接的数量汇总lsof:端口被谁占着
$ lsof -i :8888
$ lsof -i udp
$ lsof -p 2958285-i 后面跟 :端口 只查这个端口,跟协议名查整类,跟 -p 换成按进程查它打开的所有文件。输出里的 NAME 列写的是 协议 地址:端口,状态带 (LISTEN) 的就是监听。lsof 不加 -n -P 会做名字解析,服务器上往往卡住好几秒。
ip 与 ifconfig:地址到底有几个
$ ip addr show
$ ip -4 addr show eth0
$ ip route
$ ifconfig eth0 # net-tools,逐渐被 ip 取代ip addr 会列出每块网卡的 MAC、IPv4、IPv6 和状态。inet 192.168.1.20/24 是 IPv4 地址和掩码,ether 08:00:27:03:fb:19 是 MAC,lo 是只在本机有效的回环;ifconfig 把同样两项写成 inet addr:192.168.1.20 和 HWaddr 08:00:27:03:fb:19。这里没有公网 IP、只有内网 IP,而服务又部署在云上,就基本能确定公网地址是 NAT 映射的——这也解释了为什么 bind 公网 IP 会失败。
ip route 给出默认网关和各条路由。客户端不写 bind 时,内核就是按这张表选源地址的。
ping 证明的和不证明的
$ ping -c 5 www.qq.com
PING ins-r23tsuuf.ias.tencent-cloud.net (121.14.77.221) 56(84) bytes of data.
64 bytes from 121.14.77.221: icmp_seq=1 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=2 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=3 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=4 ttl=48 time=35.1 ms
64 bytes from 121.14.77.221: icmp_seq=5 ttl=48 time=35.1 ms
--- ins-r23tsuuf.ias.tencent-cloud.net ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4005ms第一行先给出了域名解析的结果,所以 ping 顺带验证了 DNS。56(84) 是 ICMP 载荷 56 字节、加上 ICMP 头 8 和 IP 头 20 共 84 字节;后面的 64 bytes 是 ICMP 报文总长(8 + 56),不含 IP 头。icmp_seq 连续说明没丢,ttl 每过一跳减 1(常见初值 64 或 128,据此只能粗略估计跳数),time 是往返时延。
统计行的 0% packet loss 才是结论。-c 5 发五个就停,不加参数会一直跑。
ping 通只说明 ICMP 到了对端,不说明 TCP 8888 在听;ping 不通也不能断定主机死了,ICMP 经常被防火墙或云安全组整体禁掉。它适合验证"路通不通",不适合验证"服务活没活"。
tcpdump:包到底有没有到
$ tcpdump -i any -n -c 5 port 8888
$ tcpdump -i eth0 -n -A port 8888 # 按 ASCII 显示内容
$ tcpdump -i eth0 -n -X port 8888 # 十六进制 + ASCII-i any 在所有网卡上抓,-n 不解析主机名和端口名,-c 抓够几个就退出。没有过滤条件的 tcpdump 在忙的机器上会刷屏,port、host、net 这些过滤表达式必须写。
抓包需要 root 或 CAP_NET_RAW。它看到的是网卡上进出的报文,内核防火墙在哪一层丢弃会影响你看到的内容;所以"抓不到"只能说明这条路径上没有包,不能单独证明客户端没发。
nslookup:名字到地址的一次转换
nslookup 只解决名字到地址的转换:
$ nslookup www.qq.com
Server: 192.168.1.1
Address: 192.168.1.1
Name: www.qq.com
Address: 121.14.77.221它输出的是本机用的 DNS 服务器和解析结果。解析不出来时,先分清是 DNS 的事还是网络的事——ping 一个已知 IP 就能把这两件事分开。
还没有评论 — 第一条由你来留。