SSD盘符漂移导致OSD down场景模拟与恢复

关注

VIP免费原创最新推荐文章于 2026-03-23 15:29:03 发布 933 阅读 AI 写同款· GEO 优化 ›

ceph osd down 分析处理当 Ceph OSD 出现down状态时，可能由多种原因引起，包括硬件故障、网络问题、配置错误等。通过系统化的排查流程，结合日志分析和硬件检查，可以准确定位问题并采取合适的处理措施。处理完问题后，建议通过 Ceph 的监控工具持续监控 OSD 状态，确保集群的稳定性和高可用性。阅读详情

前言

运维团队反馈一个问题，现象是：

某个OSD对应的cache分区发生了变化，比如原来cache使用的分区是/dev/sde,后来还是这块盘，但分区信息不知何故，变成了/dev/sdf（产品OSD设备并不是根据分区名称来map，而是根据partlabel），最终的现象是这个OSD down了，没法启动.
接到这个现象的反馈后，记录一下这个问题在lab的复现方法。

准备工作

Step1. OSD data盘做RAID5

Step2. 重新将SSD make as JBOD

在Step1结束后，将在RAID卡上的SSD设置为JBOD

/opt/MegaRAID/MegaCli/MegaCli64 -AdpSetProp -EnableJBOD -1 -aALL

Step3. 创建集群，正常启用OSD，对应osd要选择SSD作为cache

如下为node245上的data与cache 大致的map关系：

shell

root@node245:~# lsblk
NAME                      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                         8:0    0 447.1G  0 disk 
├─sda1                      8:1    0     8G  0 part 
├─sda2                      8:2    0 439.1G  0 part 
│ ├─g-osd1-0-cache (dm-0) 252:0    0 380.4G  0 dm   /data/cache/g-osd1-0
│ ├─g-osd1-0-ext4m (dm-1) 252:1    0  58.5G  0 dm   
│ │ └─g-osd1-0 (dm-2)     252:2    0  14.6T  0 dm   /data/osd.0
│ └─g-osd1-0-ext4j (dm-3) 252:3    0   256M  0 dm   
└─sda3                      8:3    0  1007K  0 part 
sdb                         8:16   0 447.1G  0 disk 
├─sdb1                      8:17   0     8G  0 part 
├─sdb2                      8:18   0 439.1G  0 part 
│ ├─g-osd2-0-cache (dm-4) 252:4    0   395G  0 dm   /data/cache/g-osd2-0
│ ├─g-osd2-0-ext4m (dm-5) 252:5    0  43.9G  0 dm   
│ │ └─g-osd2-0 (dm-6)     252:6    0    11T  0 dm   /data/osd.1
│ └─g-osd2-0-ext4j (dm-7) 252:7    0   256M  0 dm   
└─sdb3                      8:19   0  1007K  0 part 
sdc                         8:32   0  14.6T  0 disk 
└─sdc1                      8:33   0  14.6T  0 part 
  └─g-osd1-0 (dm-2)       252:2    0  14.6T  0 dm   /data/osd.0
sdd                         8:48   0  10.9T  0 disk 
└─sdd1                      8:49   0  10.9T  0 part 
  └─g-osd2-0 (dm-6)       252:6    0    11T  0 dm   /data/osd.1
sde                         8:64   0 278.9G  0 disk 
├─sde1                      8:65   0   7.6M  0 part 
├─sde2                      8:66   0  95.4G  0 part /
├─sde3                      8:67   0  26.7G  0 part [SWAP]
└─sde4                      8:68   0 156.8G  0 part 
root@node245:~#