记一次 Portainer 连接超时的完整排查：从网络层到应用层的系统性诊断

# SSH 登录到 Portainer Server 所在服务器
ssh root@某IP141

# 检查 Portainer 容器状态
docker ps -a | grep -i portainer

# 检查端口监听
ss -tlnp | grep -E '9000|9001'

# 检查容器日志
docker logs portainer --tail 100

# SSH 登录到 Docker Host A
ssh root@某IP142

# 检查 Agent 容器
docker ps -a | grep -i portainer

# 检查 Agent 日志
docker logs portainer-agent --tail 50

# 检查 Agent 端口
ss -tlnp | grep 9001

# 在 Portainer Server 上执行
# 测试到 Host A
ping -c 5 某IP142

# 测试到 Host A 的 Agent 端口
nc -zv -w 5 某IP142 9001

# 测试到 Host A 的 HTTP 端点
curl -v --connect-timeout 5 http://某IP142:9001/api/status

# 使用 curl 测量详细时间
curl -v -w "\n
time_namelookup: %{time_namelookup}\n
time_connect: %{time_connect}\n
time_starttransfer: %{time_starttransfer}\n
time_total: %{time_total}\n
" http://某IP142:9001/api/status

# 使用 httping 进行连续测试
httping -c 10 -g http://某IP142:9001/api/status

# 检查 Agent 容器资源限制
docker inspect portainer-agent --format '{{json .HostConfig.Memory}}'

# 检查 Agent 容器实际内存使用
docker stats portainer-agent --no-stream

# 检查 Docker 主机整体资源
docker system df

# 检查 Agent 容器进程状态
docker exec portainer-agent ps aux

# 在 Docker Host A 上执行
# 测试本地 Docker Socket
time curl -s --unix-socket /var/run/docker.sock http://localhost:9001/api/status

# 测试 Agent 的 Docker API
curl -s http://localhost:9001/api/system/info

# 在 Portainer Server 上执行
# 抓取到 Host A 的 9001 端口的包
tcpdump -i any -n -c 100 host 某IP142 and port 9001 -w /tmp/portainer-capture.pcap

# 在另一终端触发请求
curl http://某IP142:9001/api/status

# 分析抓包结果
tcpdump -r /tmp/portainer-capture.pcap | tail -50

# 检查 Docker 网络的 MTU 设置
docker network inspect bridge --format '{{json .Options}}'

# 检查 Docker Bridge MTU
ip link show docker0 | grep mtu

# 检查沿途路由的 MTU
traceroute -M 某IP142

# 使用 websocat 测试 WebSocket 连接
websocat ws://某IP142:9001/api/websocket

# 或者使用 curl 测试
curl -i -N \
  -H "Connection: Upgrade" \
  -H "Upgrade: websocket" \
  -H "Sec-WebSocket-Version: 13" \
  -H "Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ==" \
  http://某IP142:9001/api/websocket

# 停止 Agent 容器
docker stop portainer-agent

# 删除旧容器
docker rm portainer-agent

# 使用优化后的参数重新启动
docker run -d \
  --name portainer-agent \
  --restart=always \
  --network=host \
  -e AGENT_PORT=9001 \
  -e AGENT_QUEUE_SIZE=1000 \
  -e AGENT_TIMEOUT=30 \
  portainer/agent:latest

# 进入 Portainer Web 界面
# Settings -> Agent -> 调整 "Concurrent agent requests" 参数
# 建议值：5（默认可能为 10）

# 或者通过 API 修改
curl -X PUT \
  -H "Content-Type: application/json" \
  -d '{"ConcurrentAgentSync": 5}' \
  http://localhost:9001/api/settings

# 在 Docker Host A 上编辑 Docker 配置
vim /etc/docker/daemon.json

# 添加 MTU 配置
{
  "mtu": 1400
}

# 重启 Docker 服务
systemctl restart docker

# 验证 MTU 设置
ip link show docker0 | grep mtu

# 初始化 Swarm（如果是 Manager 节点）
docker swarm init --advertise-addr 某IP142

# 或者加入已有 Swarm
docker swarm join --token SWMTKN-xxxx 某IP141:2377

# 使用 Portainer 管理 Swarm 环境

#!/bin/bash

echo "========== Portainer 连接问题排查 =========="
echo "时间：$(date '+%Y-%m-%d %H:%M:%S')"
echo ""

# 参数
SERVER_IP="${1:-某IP141}"
AGENT_IP="${2:-某IP142}"
AGENT_PORT="${3:-9001}"

echo "Server: $SERVER_IP"
echo "Agent: $AGENT_IP:$AGENT_PORT"
echo ""

# 1. 检查 Server 状态
echo "[1/8] 检查 Portainer Server 状态..."
SERVER_RUNNING=$(docker ps --format '{{.Names}}' | grep -i portainer)
if [ -n "$SERVER_RUNNING" ]; then
    echo "  ✅ Server 容器运行正常: $SERVER_RUNNING"
else
    echo "  ❌ Server 容器未运行"
fi

# 2. 检查 Server 端口
echo ""
echo "[2/8] 检查 Server 端口..."
ss -tlnp | grep 9000 | head -3

# 3. 检查 Agent 状态
echo ""
echo "[3/8] 检查 Portainer Agent 状态..."
ssh -o ConnectTimeout=5 root@$AGENT_IP "docker ps --format '{{.Names}}\t{{.Status}}' | grep -i portainer" 2>/dev/null || echo "  无法连接到 Agent 主机"

# 4. 测试网络连通性
echo ""
echo "[4/8] 测试网络连通性..."
ping -c 3 -W 2 $AGENT_IP 2>/dev/null && echo "  ✅ Ping 成功" || echo "  ❌ Ping 失败"

# 5. 测试端口连通性
echo ""
echo "[5/8] 测试 Agent 端口..."
nc -zv -w 5 $AGENT_IP $AGENT_PORT 2>&1 | head -3

# 6. 测试 API 响应时间
echo ""
echo "[6/8] 测试 API 响应时间..."
HTTP_CODE=$(curl -s -o /dev/null -w "%{http_code}" --connect-timeout 5 http://$AGENT_IP:$AGENT_PORT/api/status 2>/dev/null)
echo "  HTTP 状态码: $HTTP_CODE"

# 7. 检查 MTU 设置
echo ""
echo "[7/8] 检查 Docker Bridge MTU..."
ssh -o ConnectTimeout=5 root@$AGENT_IP "ip link show docker0 2>/dev/null | grep mtu" || echo "  无法获取 MTU 信息"

# 8. 检查 Agent 日志
echo ""
echo "[8/8] 检查 Agent 日志（最近10行）..."
ssh -o ConnectTimeout=5 root@$AGENT_IP "docker logs portainer-agent --tail 10 2>/dev/null" | tail -10 || echo "  无日志"

echo ""
echo "========== 排查完成 =========="