平时做技术实践时,很多问题不是概念不会,而是细节没串起来。拿“MongoDB磁盘空间占满导致数据库被锁定的解决做法”来说,它看着像小点,放到项目里常会牵出环境、配置、兼容性和维护成本。下面按实际采用顺序,把思路、关键写法和容易踩坑的地方讲清楚,便于大家直接对照操作。
一、问题
1、我在实际项目中,遇到一个问题,随着数据每天的不断增加,导致mongodb的磁盘空间站满了,数据库被锁了,无法采用。
2、故障表现
- 部署的应用程序突然无法将数据写入数据库,但是能够正常读取数据。
- 结合项目来看,管理人员借助客户端连接数据库进行排查时,能够写入一条数据,得到错误信息:
not authorized on xxxx to execute command
3、检查磁盘空间是否被耗尽
从实现思路看,登录mongodb管理控制台,查看实例的状态,会发现已被锁定,同时且磁盘空间占用已经100%


优化之前数据和磁盘情况:

二、解决方案
1、两种方案:
(1)借助变更设置方案,扩充磁盘空间,来提升实例的磁盘空间
(2)结合项目来看,删除数据库中的数据,回收磁盘碎片以提升磁盘借助率,来减少数据存储空间,降低磁盘占用空间
理解这一步时,我选择了第二种方案,因为我的数据库中,有很多非必要的数据能够删除,能够腾出不少磁盘空间。
2、注意问题
这里一定需留意,理解这一步时,同时不是在MongoDB实例数据库中删除数据,就能够释放MongoDB实例的磁盘空间从实现思路看,。在删除云数据库MongoDB实例的数据后,这些被删除数据采用的存储空间会被标记为空闲,随后写入的新数据可能会被直接存储到这部分空闲的存储空间中,也可能会先扩展文件的存储空间再存储到文件末尾。上述情况将导致一部分空闲的存储空间不会被采用,这些未被采用的空闲存储空间被称之为磁盘碎片,磁盘碎片越多,磁盘借助率就越低。
3、背景信息
(1)执行db.runCommand({collStats: 命令访问节点时,得到结果有两个关键字:size和storageSize。其中,size表示集合的逻辑存储大小,storageSize表示集合的物理存储大小。在执行remove命令删除文档后,size的值会减少,但是,storageSize的值不一定会减少。当storageSize大于size时,表示已产生磁盘碎片。
(2)compact是云数据库MongoDB的压缩命令,执行compact命令能够回收删除数据后产生的磁盘碎片,实现压缩磁盘空间的目的,从而提升磁盘借助率。
4、删除数据库数据
这里以表valueOpenData实际处理时,为例子,针对主节点,进行演示操作,之前已经清理了一部分表的磁盘空间,现已经不是100%。
删除数据,是不会减少磁盘空间的,这个一定需留意。
执行删除方案,删除某一段时间之前的数据:
db.valveOpenData.deleteMany({
"dataReadTime": {
"$lte": ISODate("2022-12-30T23:59:59Z")
}
})5、查看集合需回收的磁盘碎片空间
删除数据 清理磁盘之前的总磁盘占用情况

删除数据清理磁盘之前的磁盘占用空间

删除数据清理磁盘之前的数据库情况

执行查看集合需回收的磁盘碎片空间语句
db.valveOpenData.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
结果:可清理磁盘碎片 9161187328 byte

6、回收单节点或副本集实例的磁盘碎片
实际处理时,单节点实例只有一个StandAlone节点,您只需连接主节点(Primary节点),执行compact命令回收主节点(Primary节点)的磁盘碎片。
落到代码里,副本集实例具有多个节点,您需分别连接主节点(Primary节点)和从节点(Secondary节点),在不同节点上执行compact命令回收相应节点的磁盘碎片,执行的回收命令相同。
我这里回收的是主节点(Primary节点)磁盘碎片。
执行语句
db.runCommand({compact:"valveOpenData"})强制执行语句
db.runCommand({compact:"valveOpenData",force:true})执行成功的得到结果如下所示:{ "ok" : 1 },清理磁盘空间完成,你也能够多执行几次清理。
执行查看集合需回收的磁盘碎片空间语句
db.valveOpenData.stats().wiredTiger["block-manager"]["file bytes available for reuse"]
结果:清理过后磁盘碎片 1072041984 byte
删除数据清理磁盘之后的总磁盘占用情况

删除数据清理磁盘之后的磁盘占用空间

删除数据清理磁盘之后的数据库情况

最后结果:一个表删除数据、清理磁盘,清理出来差不多10G的磁盘空间
三、总结
理解这一步时,对于不重要的数据,为了防止数据量过大,占满磁盘空间,需定时清理过期或者不需的数据。
理解这一步时,最好写个定时器定时删除数据比较合适,但是要记得执行回收磁盘碎片空间,只有执行了回收后,才是真正回收了磁盘空间。
结合项目来看,以上就是MongoDB磁盘空间占满导致数据库被锁定的解决方法的详细内容,更多关于MongoDB磁盘空间占满的资料请关注脚本之家其它相关文章!
- Mongodb 删除集合数据后释放磁盘空间的操作步骤
- MongoDB释放空闲空间的几种常用方法
- 巧妙的借助Mongodb做地理空间查询
- OpenStack Ceilometer用MongoDB解决占用磁盘空间过大问题
- mongodb 集群重构和释放磁盘空间实例详解
- 详解清除MongoDB所占用的多余的磁盘空间的方法

