运行节点环境

8C 64G的节点是个虚拟机,CentOS7.9的系统里面装了k8s的节点。

k8s中启动服务时异常

unable to ensure pod container exists: failed to create container for [kubepods burstable pod482364c3-d6e0-40ab-b594-15d6a806ac74] :
mkdir /sys/fs/cgroup/memory/kubepods/burstable/pod482364c3-d6e0-40ab-b594-15d6a806ac74:
cannot allocate memory

从该节点上看可分配内存只用到了一半,这种异常在资源比较紧时经常出现,其实与节点或宿主机硬件资源有关,比如CPU和内存条比较老,因为同等核数和内存的新服务器即使用90%大概率不会出现这种情况。

但还是查了下资料提示是节点内存限制这块的Limit 耗尽 (97%),服务启动需要2G空间,所以不够。

内存限制: 61600 / 63544 MiB (97%)
内存请求: 47070 / 63544 MiB (74%)
实际内存: 30.53 / 62.06 GiB (49%)

原因链:

  1. 节点上 Pod 的 memory limits 总和已接近节点 Allocatable 内存上限 (97%)
  2. Kubelet 在创建 sandbox 容器时,需要为容器创建 cgroup 目录并设置内存限制
  3. cgroup 限制无法分配更多内存 → mkdir ... cannot allocate memory
  4. 容器创建失败 → Pod 无法启动

为什么实际内存只用 49%,但 limit 97%?

K8s 的 Limit 是预留配额,不是实时使用量;大量 Pod 设置了高 memory limit 但实际未完全使用,一旦这些 Pod 突然增长使用内存,节点可能 OOM。

解决方案

释放 Limit 配额:调低部分 Pod 的 memory limit,或驱逐不需要的 Pod。

或者重启节点,如果是测试环境。

Logo

CANN开发者社区旨在汇聚广大开发者,围绕CANN架构重构、算子开发、部署应用优化等核心方向,展开深度交流与思想碰撞,携手共同促进CANN开放生态突破!

更多推荐