记一次虚拟机内部网络卡死的完整排查：连续第五次复发的根因分析

# 查看虚拟机状态
qm list

# 应该看到虚拟机进程还在，但状态异常

# 查看虚拟机的网络接口
tapCtx show

# 查看宿主机上的虚拟网卡状态
ip link show

# 从另一台正常机器ping宿主机
ping <宿主机IP>

# 如果宿主机正常，说明问题范围在虚拟机内部

# 查看QEMU进程状态
ps aux | grep qemu | grep <vmid>

# 查看虚拟机的配置文件
qm config <vmid>

# 查看虚拟机的控制台日志
qm log <vmid>

# 关闭虚拟机网络接口（示例）
ip link set tap<id> down
ip link set tap<id> up

# 或者在PVE web界面中重置网络

# 关闭虚拟机
qm stop <vmid>

# 等待几秒
sleep 5

# 启动虚拟机
qm start <vmid>

# 或者使用组合命令
qm shutdown <vmid> && qm start <vmid>

# 查看网络相关的系统日志
journalctl -u networking --since "1 hour ago"
# 或者
tail -n 100 /var/log/syslog | grep -i network

# 查看内核日志中与网络相关的错误
dmesg | grep -i network
dmesg | grep -i eth0
dmesg | grep -i virtio

# 查看NetworkManager日志（如果使用NM）
journalctl -u NetworkManager --since "1 hour ago"

# 查看网络接口配置
cat /etc/network/interfaces

# 查看NetworkManager配置（如果使用NM）
nmcli device show

# 查看当前网络接口状态
ip addr show
ip link show

# 查看路由表
ip route show

# 测试DNS解析
nslookup example.com

# 查看CPU和内存使用
top
free -h

# 查看磁盘IO
iostat -x 1 5

# 查看网络接口统计
ip -s link show
cat /proc/net/dev

# 查看宿主机资源
top
free -h
df -h

# 查看宿主机网络桥接状态
bridge link show
brctl show

# 查看KVM虚拟机网络
ls -la /etc/pve/qemu/

# 查看宿主机日志
journalctl --since "1 hour ago" | grep -i qemu
journalctl --since "1 hour ago" | grep -i kvm

# 检查宿主机内核版本
uname -r

# 检查QEMU/KVM版本
qemu-img --version
kvm --version

# 检查宿主机网络桥接配置
cat /etc/network/interfaces
cat /etc/pve/qemu/<vmid>.conf | grep net

# 检查内核网络参数
sysctl -a | grep net.ipv4
sysctl -a | grep net.core

# 检查网络接口驱动
ethtool -i eth0

# 检查网络接口统计是否有错误
ip -s link show eth0
cat /proc/net/dev

# 检查是否有大量丢包或错误
netstat -i

# 检查虚拟机配置文件中的网络部分
qm config <vmid> | grep -i net

# 检查VirtIO配置
# 确保使用了正确的驱动模型

# 查看网络连接数
ss -s
netstat -an | wc -l

# 查看当前网络连接
ss -tan state established | head -20

# 查看是否有异常大量连接
netstat -an | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head -10

#!/bin/bash
# auto-restart-vm.sh

VMID="<vmid>"
MONITOR_IP="8.8.8.8"  # 监控用的目标IP
LOG_FILE="/var/log/vm-monitor.log"

# 检测网络是否正常
if ! ping -c 3 -W 2 $MONITOR_IP > /dev/null 2>&1; then
    echo "[$(date)] Network DOWN, attempting restart of VM $VMID" >> $LOG_FILE
    
    # 执行重启
    qm stop $VMID
    sleep 5
    qm start $VMID
    
    echo "[$(date)] VM $VMID restarted" >> $LOG_FILE
else
    echo "[$(date)] Network OK" >> $LOG_FILE
fi

crontab -e
# 添加以下行
*/5 * * * * /path/to/auto-restart-vm.sh

# 安装watchdog
apt install watchdog

# 配置watchdog检测网络
cat >> /etc/watchdog.conf << EOF
# Network interface to monitor
interface = eth0

# Test remote host (ping this)
ping = 8.8.8.8

# Failure threshold
ping-count = 3

# Restart interval
interval = 10
EOF

# 启动watchdog
systemctl enable watchdog
systemctl start watchdog

# 在PVE集群中启用HA
pvesr add <vmid> --restart 1 --state ignored

# 检查当前版本
pveversion -v

# 升级PVE
apt update && apt upgrade -y

# 编辑虚拟机配置，尝试使用不同的网络模型
# e.g., 将 virtio 改为 e1000 或相反
qm set <vmid> -net0 virtio,bridge=vmbr0
# 或
qm set <vmid> -net0 e1000,bridge=vmbr0

# 使用 Prometheus Node Exporter 监控网络指标
# 关键指标：
# - node_network_receive_bytes_total
# - node_network_transmit_bytes_total
# - node_network_receive_errs_total
# - node_network_receive_drop_total

# 在线迁移（需要共享存储）
qm migrate <vmid> <target-node> --online

# 离线迁移
qm migrate <vmid> <target-node>