记一次服务"表面健康但用户无法连接"的深度排查实战

# 检查Gateway进程
ps aux | grep openclaw-gateway | grep -v grep

# 检查进程启动时间和运行状态
systemctl status openclaw-gateway

# 检查端口监听状态
ss -tlnp | grep 18789

# 检查进程监听的地址
netstat -tlnp | grep 18789

# 本地测试
curl -v http://localhost:18789/health

# 或者
telnet localhost 18789

# 测试远程连接
curl -v http://<服务器IP>:18789/health

# 测试端口连通性
telnet <服务器IP> 18789

# 使用nc测试
nc -zv <服务器IP> 18789

# 检查路由
traceroute <服务器IP>

# 或者使用mtr（更详细）
mtr <服务器IP>

# 检查是否有丢包
ping -c 100 <服务器IP>

# 检查iptables规则
iptables -L -n

# 检查ufw状态
ufw status

# 检查云平台安全组配置（如果适用）
# 需要登录云控制台检查

# 检查当前连接数
netstat -an | grep 18789 | wc -l

# 检查连接状态分布
netstat -an | grep 18789 | awk '{print $6}' | sort | uniq -c

# 检查系统级连接限制
cat /proc/sys/net/core/somaxconn
cat /proc/sys/net/ipv4/tcp_max_syn_backlog

# 检查应用级连接限制（根据应用配置）

# 检查nginx/apache配置（如果有）
cat /etc/nginx/nginx.conf
cat /etc/nginx/conf.d/*.conf

# 检查HAProxy配置（如果有）
cat /etc/haproxy/haproxy.cfg

# 检查代理服务配置
cat /etc/proxy/proxy.conf

# 登录到代理服务器
ssh root@<代理服务器IP>

# 找到代理配置文件
find /etc -name "*.conf" -exec grep -l "timeout" {} \;

# 修改超时配置（以常见代理为例）
# 修改空闲超时时间
sed -i 's/timeout.*=.*[0-9]*/timeout = 3600/g' /etc/proxy/proxy.conf

# 或者修改nginx配置
sed -i 's/proxy_read_timeout [0-9]*s/proxy_read_timeout 3600s/g' /etc/nginx/nginx.conf

# 重启代理服务
systemctl restart proxy
# 或者
nginx -t && nginx -s reload

# 服务器端nginx配置
proxy_http_version 1.1;
proxy_set_header Connection "";

# 或者在代码中确保使用长连接

# 1. 测试长连接稳定性
# 在客户端执行
for i in {1..100}; do
  curl -s -o /dev/null -w "%{time_total}s\n" \
    -H "Connection: keep-alive" \
    http://<服务器IP>:18789/health
  sleep 1
done

# 2. 观察监控数据
# 查看Gateway连接数趋势
curl http://localhost:18789/metrics | grep connections

# 3. 检查代理服务日志
tail -f /var/log/proxy/access.log | grep -v "200"

# 4. 用户反馈确认
# 联系受影响用户确认是否恢复正常

#!/bin/bash

# 服务表面正常但连接不稳定 - 快速排查脚本

echo "=== 服务连接问题快速排查 ==="
echo ""

TARGET_HOST="$1"
TARGET_PORT="${2:-18789}"

if [ -z "$TARGET_HOST" ]; then
    echo "用法: $0 <目标主机> [端口]"
    echo "示例: $0 192.168.1.100 18789"
    exit 1
fi

# 1. 检查Gateway进程
echo "1. 检查Gateway进程："
ps aux | grep openclaw-gateway | grep -v grep | head -3
echo ""

# 2. 检查端口监听
echo "2. 检查端口监听状态："
ss -tlnp | grep ":${TARGET_PORT} "
echo ""

# 3. 测试本地连接
echo "3. 测试本地连接："
curl -s -m 5 http://localhost:${TARGET_PORT}/health || echo "本地连接失败"
echo ""

# 4. 测试远程连接（多次）
echo "4. 测试远程连接（5次）："
for i in {1..5}; do
    result=$(curl -s -m 5 -w "%{http_code}" -o /dev/null http://${TARGET_HOST}:${TARGET_PORT}/health 2>&1)
    echo "  第${i}次: ${result}"
    sleep 2
done
echo ""

# 5. 检查连接数
echo "5. 检查当前连接数："
netstat -an | grep ":${TARGET_PORT} " | wc -l
echo ""

# 6. 检查网络路径
echo "6. 检查网络延迟："
ping -c 5 ${TARGET_HOST} | tail -1
echo ""

# 7. 检查代理配置（如果可访问）
echo "7. 检查代理配置（如果有）："
if [ -f /etc/proxy/proxy.conf ]; then
    grep -E "timeout|keepalive" /etc/proxy/proxy.conf
elif [ -f /etc/nginx/nginx.conf ]; then
    grep -E "timeout|keepalive" /etc/nginx/nginx.conf
else
    echo "  未找到代理配置文件"
fi

echo ""
echo "=== 排查完成 ==="