How to fix memory leak from big nfs_inode_cache
ได้รับแจ้งว่า Linux server เครื่องหนึ่งมีการใช้งาน memory เกินกว่า 90% ซึ่งทางผู้ดูแลตรวจสอบแล้วไม่พบว่ามี process ใดใช้งาน memory มาก ซึ่งผมได้เข้าไปตรวจสอบเบื้ยงต้นด้วยคำสั่ง free ก็ไม่พบอะไรผิดปรกติ
|
1 2 3 4 5 6 7 |
[root@ezylinux ~]# free -m total used free shared buffers cached Mem: 7982 7885 97 0 137 366 -/+ buffers/cache: 7380 601 Swap: 4285 0 4285 |
จากนั้นจึงได้ตรวจสอบ process ต่างๆอีกครั้ง ว่ามี process ไหนบ้างที่ใช้งาน memory สูง ซึ่งก็ไม่พบ ดังนั้นจึงได้ทำการตรวจสอบ /proc/meminfo ด้วยคำสั่งด้านล่าง
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
[root@ezylinux ~]# cat /proc/meminfo MemTotal: 8174308 kB MemFree: 96112 kB Buffers: 143332 kB Cached: 378332 kB SwapCached: 0 kB Active: 233340 kB Inactive: 335120 kB ... Slab: 7480856 kB ... VmallocTotal: 34359738367 kB VmallocUsed: 265956 kB VmallocChunk: 34359470659 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 Hugepagesize: 2048 kB |
พบว่า Slab มีการใช้งานที่มากถึง 7306 MB หรือประมาณ 90% (แรมของระบบ 8GB) แล้ว Slab คืออะไร?
Slab คือ Cache ของ memory pool allocator บน kernel object
จากข้อมูลข้างบนให้รันคำสั่ง slaptop เพื่อหา object ที่มีการใช้งาน memory มากที่สุด
|
1 2 3 4 5 6 7 |
OBJS ACTIVE USE OBJ SIZE SLABS OBJ/SLAB CACHE SIZE NAME 8603424 8603424 100% 1.01K 2867808 3 7476347K nfs_inode_cache 3080826 3080737 99% 0.21K 171157 18 684628K dentry_cache 24717 12515 50% 0.52K 3531 7 14124K radix_tree_node 11365 11108 97% 0.74K 2273 5 9092K ext3_inode_cache |
จากตัวอย่างพบว่า nfs_inode_cache มีการใช้งาน memory มากถึง 7GB
แนวทางการแก้ไขปัญหา
- รันคำสั่ง sync เพื่อทำการ flush file system buffers
- รันคำสั่ง ด้านล่างเพื่อ clear dentries และ inodes
123echo 2 > /proc/sys/vm/drop_caches
หรือ รันคำสั่งด้านล่าง
|
1 2 3 |
sync && echo 2 > /proc/sys/vm/drop_caches |