Docker容器排查以及常见故障
Docker是一种相对使用较简单的容器，我们可以通过以下几种方式获取信息：
1、通过docker run执行命令，或许返回信息
2、通过docker logs 去获取日志，做有针对性的筛选
3、通过systemctl status docker查看docker服务状态
4、通过journalctl -u docker.service 查看日志
启动故障
1、
docker: Cannot connect to the Docker daemon at
unix:///var/run/docker.sock. Is the docker daemon running?
原因：Docker未正常启动
解决方式：
systemctl start docker
2、
can't create unix socket /var/run/docker.sock: is a directory
原因：docker.sock不能创建
解决方式：
rm -rf /var/run/docker.sock
然后重新启动docker
3、
Job for docker.service failed. Failed to start Docker Application
原因：Selinux引起
解决方式：
/etc/sysconfifig/selinux , 把 selinux 值改为disabled
重启docker解决
4、
docker: Error response from daemon:
/var/lib/docker/overlay/XXXXXXXXXXXXXXXXXXXXXXX: no such file or
directory
原因：docker没有指定目录或文件
解决方式：
systemctl stop docker
rm -rf /var/lib/docker/*
systemctl start docker
重启run镜像启动容器
5、
docker: Error response from daemon: Conflict. The container name
"XXX" is already in use by container "XXX". You have to remove (or
rename) that container to be able to reuse that name.
原因：docker name重名
解决方式：
改名容器或者删除重建容器
6、
Error: Connection activation failed: No suitable device found for this connection
原因：网卡配置问题
解决方式：
重启网卡
7、
系统重启后docker无法启动
报错为：docker0: iptables: No chain/target/match by that name
原因：docker服务iptables问题
解决方式：
重启docker服务
8、
Error starting daemon: error initializing graphdriver: driver not
supported
使用overlay2存储驱动启动docker daemon报错
原因：daemon缺少配置
解决方式：
#添加配置：
vim /etc/docker/daemon.json
{"storage-driver": "overlay2",
"storage-opts": ["overlay2.override_kernel_check=true"]}
9、
Failed to start docker.service: Unit docker.service is masked
未知原因：docker 被mask
解决方式：
systemctl unmask docker.service
systemctl unmask docker.socket
systemctl start docker.service
10、
未知原因：docker服务无法正常load
解决方式：
卸载docker， 删除docker.service ，重新安装docker
11、
docker-compose启动容器时报错：
/usr/lib/python2.7/site-packages/requests/init.py:80: RequestsDependencyWarning: urllib3 (1.22)
or chardet (2.2.1) doesn't match a supported version! RequestsDependencyWarning)
未知原因：pip相应组件版本不支持
解决方式：
pip uninstall urllib3
pip uninstall chardet
pip install requests
12 、
docker容器重启故障，强杀docker进程后，重启docker。docker中的容器无法启动并报错
docker restart XXXXXXX Error response from daemon: Cannot restart container XXXXXXX: container
"XXXXXXXXXXXXXXXX": already exists
原因： 旧容器未安全退出
解决方式：
docker-containerd-ctr --address /run/docker/containerd/docker-containerd.sock --namespace c
rm <容器hash_id>
docker start 容器
13、
docker重启错误-重启命令一直卡住 systemctl restart docker 卡住
未知原因：可能是启动的容器数量过多，或者磁盘IO问题
解决方式：
systemctl start docker-cleanup.service
systemctl start docker
权限问题报错
14、
Got permission denied while trying to connect to the Docker daemon
socket at unix:///var/run/docker.sock
解决方式：
查看 /var/run/docker.sock所在用户组 ,将用户重新加入docker组中，usermod -aG docker ${USER}
15、
原因：docker无法找到Group组信息，docker组有可能被误删除，
解决方式：
groupadd docker
16、
Post http:///var/run/docker.sock/v1.XXX /auth: dial unix
/var/run/docker.sock: permission denied. Are you trying to connect to
a TLS-enabled daemon without TLS?
原因：非Root用户管理Docker时，权限不足
解决方式：
groupadd docker
usermod -a -G docker user
17、
docker commit镜像时报错
Error processing tar file(exit status 1): unexpected EOF
原因：可能是权限问题引起
解决方式：
chmod +x 加一个执行权限
镜像和仓库问题报错
18、
Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-
1.docker.io
原因：Docker仓库无法访问
解决方式：
修改Docker仓库源为国内或者自建的仓库源
修改/etc/docker/daemon.json
19、
推送本地镜像报错
The push refers to a repository [XXXX] Get https://xxx/v1/_ping: http:
server gave HTTP response to HTTPS client
原因：docker registry未采用https服务所致
解决方式：
/etc/docker/daemon.json 文件写入：
{ "insecure-registries":[""] }
20 、
/usr/bin/docker-current: Error response from daemon: oci runtime error: container_linux.go: starting
container process caused "exec: \"/bin/bash\": executable file not found in $PATH".
原因：Docker镜像自身问题或者Docker引擎版本比较低导致
解决方式：
可以升级Docker版本服务
21、
构建镜像，执行chown -R非常慢
原因：Docker使用写时复制策略，所以chown命令执行时，会将上层镜像文件全部复制到当前层，然后
再修改权限，再写入文件系统。
解决方式：
不应该使用chown -R 这类大批量修改文件的命令
22、
docker build构建镜像的时候报错：
Message from syslogd kernel:unregister_netdevice: waiting for lo to become free. Usage count = 1
原因：docker engine版本过高
解决方式：
docker engine版本需要和docker内部镜像的内核版本匹配
23、
docker: Error response from daemon: containerd: container did not start before the specified timeout.ERRO[0133] error getting events from daemon: context canceled
原因：修改完docker root dir，重启后，下载镜像报错
解决方式：
重启docker服务
或者重启
资源问题报错
24、
Docker no space left on device
原因：空间不足
解决方式：清理空间,删除未被使用的容器，镜像等资源
docker system prune -a
25 、
/var/lib/docker/containers 占用过大
原因：日志文件占用过大
解决方式：
cat /dev/null > *-json.log
或者
增加dockerd启动参数，/etc/docker/daemon.json
{"log-driver":"json-fifile",
"log-opts": {"max-size":"2G", "max-fifile":"10"}
26 、
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
原因：系统参数默认配置过小
解决方式：
修改/etc/sysctl.conf里面的vm.max_map_count 调大
27、
Got starting container process caused "process_linux.go:301:
running exec setns process for init caused \"exit status 40\"": unknown.
from time to time
原因：可能是cache问题引起
解决方式：
echo 1 > /proc/sys/vm/drop_caches
28、
docker本机启动多台容器导致出现后续容器启动失败
原因：查看硬盘空间是否满，如果不是硬盘空间问题引起
解决方式：
vim /etc/sysctl.conf
添加参数 fs.aio-max-nr = 1048576
sysctl -p
29、
Docker启动异常，状态反复restarting
Docker logs 容器名，查看异常日志
查看/var/log/messages
原因：内存跑满，引起OOM
解决方式：
释放内存后，再启动容器
版本不兼容
30、
overlayfs: Can't delete file moved from base layer to newly created
dir even on ext4
原因：Centos 提供的文件系统 XFS 和 Overlay 兼容问题导致,
解决方式：
这个问题的修复在内核 4.4.6以上
31、
docker: Error response from daemon: OCI runtime create failed:
container_linux.go:344: starting container process caused
"process_linux.go:297: getting the final child's pid from pipe caused
\"read init-p: connection reset by peer\"": unknown.
原因：Docker版本和操作系统版本不匹配
解决方式：
重新安装和操作系统内核支持的docker 版本
网络或者端口问题
33、
WARNING: IPv4 forwarding is disabled. Networking will not work
原因：ipv4网络无法转发
解决方式:
/usr/lib/sysctl.d/00-system.conf
在最后一行添加net.ipv4.ip_forward=1
重启network服务。删除错误的容器，再次创建新容器
34、
Creating network "xxxxxxx" with the default driver
原因：docker网关冲突
启动容器、docker-compose启动容器后，断网问题
解决方式：
配置 docker-compose.yml内给启动的容器配置参数network_mode: "bridge"
35、
Unable to find a node that satisfies the following conditions [port xxxx
原因：当容器使用端口映射(docker run -p xxxx:xxxx或 compose模板中的 ports)之后 系统会在宿主机上创建一个port，通过NAT来访问容器的指定port。如果宿主机上的端口被 容器或者系统进程占用，就会导致端口分配失败。
解决方式：
清除占用端口的容器或者进程，或调整容器端口映射的宿主机端口避免冲突
36、
Error response from daemon: service endpoint with name xxx already
原因：端口已经被占用
解决方式：
重启docker容器
37、
docker: Error response from daemon: driver failed programming external
connectivity on endpoint XXXXX: Bind for 0.0.0.0:80 failed: port is
already allocated
原因：容器端口冲突
解决方式：
更换宿主机绑定端口
安装报错
38、
安装docker-compose时报错
“ImportError: 'module' object has no attribute 'check_specifier'”
原因：setuptools版本问题
解决方式：
升级setuptools到30.1.0版本以上版本
pip install --upgrade setuptools
删除报错
39、
Error response from daemon:Driver overlay failed to remove root fifilesystem xxxxx: remove
/var/lib/docker/overlay2/xxxxx/merged: device or resource busy
原因：容器挂载数据卷，无法直接删除
解决方式：
grep docker /proc/*/mountinfo | grep xxxxx
kill进程后 再重新删除容器
40、
状态dead的容器删除报错
Error response from daemon: Driver aufs failed to remove root filesystem XXXXXXXXXXXXXXXX:
aufs: unmount error after retries: /var/lib/docker/aufs/mnt/xxxxxxxx: device or resource busy
原因：dead状态容器无法删除，还在占用资源
解决方式：
docker rm -fv 容器id 过几分钟后会自动删除
41、
docker删除镜像报错
Error response from daemon: conflict: unable to remove repository reference "XXXX" (mustforce) - container XXXX is using its referenced image YYYY
原因：镜像正在被某容器使用
解决方式：
需要删除相关ID容器后，才能删除镜像
42、
docker删除镜像报错
Error response from daemon: conflict: unable to delete XXXXXXXXXX (must be forced) - image
is referenced in multiple repositories
原因：镜像login push 了远端其他仓库
解决方式：
如果不需要此镜像， docker rmi -f 强删
43、
Error response from daemon: conflict: unable to delete XXX (cannot be forced) - image has
dependent child images
原因：存在依赖于父镜像的子镜像
解决方式：
强制删除镜像或者批量删除容器，再删除镜像
其他报错
44、
docker: Error response from daemon: driver failed programming external connectivity on endpoint XXXXXXX: (iptables failed: iptables --wait -t filter -A DOCKER ! -i docker0 -o docker0 -p tcp -d
172.17.0.2 --dport 8080 -j ACCEPT: iptables: No chain/target/match by that name.
原因：防火墙问题引起
解决方式：
关闭防火墙，重启docker
45、
执行docker info出现如下警告
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
原因：配置问题引起，需要启用bridge-nf-call-iptables
解决方式：
vi /etc/sysctl.conf
添加以下内容
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
48、
docker数据库相关报错 ，使用Docker创建mysql容器闪退
Database is uninitialized and password option is not specified
解决方式：
docker run -d -e MYSQL_ROOT_PASSWORD=[密码] -p 3306:3306 mysql镜像
Docker使用规范建议
- 1、尽量使用最近1-2年的新的稳定的docker版本
不要去安装今年前很老的版本，大量的bug已经被新版本更新解决掉了
- 2、尽量不要去创建非常大的镜像，比如5G10G以上的
镜像要尽量轻量化，去除不必要的软件，数据等
- 3、容器内挂载宿主机配置，使用只读
容器需要-v 宿主机的配置文件，尽量使用ro只读
- 4、数据要挂载宿主机物理硬盘或存储节点上
不要直接在容器里run，避免容器宕机引起数据丢失
- 5、应用日志一定要挂到宿主机上
不要直接打印到容器内，避免只能docker logs方式查看，避免去vulume目录里查看日志
- 6、不要只使用latest标签
Tag要有个管理标准，可以根据tag查找对应版本
- 7、不要使用容器ip，配置里更不能写死（默认172.17.0.x）
容器重启后，ip很可能会变
- 8、尽量不要在单容器内跑多进程
容器不是虚拟机，尽量做到1个容器，1个进程
- 9、跨环境镜像保持一致
不论是测试，UAT，生产环境，尽量保持同一个镜像，不要变更，环境变更只需要变更环境变量参数做 区分
- 10、一定监控docker容器，即使发现问题
建议使用prometheus监控容器
- 11、一定要限制docker容器的资源
尤其是CPU，内存，硬盘空间，甚至是网络等，避免侵占宿主机的硬件资源
