欢迎光临
我们一直在努力

Linux文件很大,磁盘占用为何很小

在 Linux 服务器上检查文件时,你可能遇到过这样的情况:ls -lh 显示一个镜像文件有几十 GB,使用 du -h 查看,却发现它只占用了几百 MB。

文件大小为什么对不上?复制到另一块磁盘后,占用空间又为什么突然变大?

这类现象可能与 Linux 稀疏文件(Sparse File) 有关。理解文件的逻辑大小和磁盘占用之间的区别,有助于判断存储是否异常,也能避免迁移文件时低估目标磁盘需要的空间。

1. 什么是 Linux 稀疏文件?

普通程序读取文件时,看到的是一段连续的数据。但在文件系统中,文件的某些区域可以没有对应的数据块,这些区域通常称为“空洞”。

读取空洞时,程序得到的是零字节。文件系统不必为这些零逐个分配数据块,因此文件可以拥有较大的逻辑长度,同时只占用较少的磁盘空间。

理解稀疏文件,首先要区分两个概念:

概念表示什么
逻辑大小程序看到的文件长度
分配空间文件系统记录的、为该文件分配的存储空间

例如,一个逻辑大小为 20 GB 的文件,如果其中大部分区域都是空洞,当前分配的空间可能远小于 20 GB。

这并不意味着文件内容丢失,也不能简单理解为“文件被压缩了”。稀疏存储和压缩是不同机制。

文件逻辑大小与文件系统记录的占用空间,是两个不同的数值。

Linux稀疏文件的数据块与空洞示意

2. 如何检查文件大小和磁盘占用?

以下命令适用于使用 GNU 工具的 Linux 系统。请把 /data/example.img 替换为需要检查的实际文件路径。

首先查看逻辑大小:

ls -lh /data/example.img

再查看文件系统报告的空间占用:

du -h /data/example.img

也可以让 du 按逻辑大小统计:

du -h --apparent-size /data/example.img

三个命令的观察重点如下:

命令观察重点
ls -lh文件的逻辑大小
du -h文件系统报告的空间占用
du -h --apparent-size文件的逻辑大小

这里比较的是同一个普通文件,不要拿目录在 ls 中显示的大小,与 du 递归统计的目录内容直接比较。

另外,GNU du -b 显示的是以字节为单位的逻辑大小,并不是实际分配空间。需要以字节单位查看分配空间时,可以使用 du -B1。

如果需要进一步确认,可以执行:

stat -c 'size=%s blocks=%b block_unit=%B' /data/example.img

其中:

  • size:文件逻辑大小,单位为字节。
  • blocks:已分配块的数量。
  • block_unit:这里每个块对应的字节数。

将 blocks 与 block_unit 相乘,即可得到 stat 所报告的分配空间。不要直接把块数当成字节数。

3. 一个 64 MiB 文件的验证结果

为了直观看到区别,本次在独立测试目录中创建了一个逻辑大小为 64 MiB 的纯空洞文件,然后分别制作两份副本:

一份保留稀疏结构,另一份明确禁止创建稀疏文件。测试复制时还禁用了 reflink 克隆,以免共享数据块影响观察。

本次测试结果如下:

文件逻辑大小du 统计的占用
原始稀疏文件64 MiB0
保留稀疏结构的副本64 MiB0
展开写入的副本64 MiB64 MiB

两份副本均通过了与原文件的内容比较。

也就是说,文件内容可以完全一致,存储时占用的空间却明显不同。

这个演示文件通过 truncate 扩展新文件创建。该工具扩展文件时可以产生空洞;如果用它缩小已有文件,则会丢弃超出新长度的内容,因此不要对业务文件随意尝试修改大小。

表中的占用为 0,是本次文件系统环境下对纯空洞文件的统计结果,不代表文件名、inode 等所有元数据都没有存储成本。不同文件系统上的结果也可能不同。

4. 为什么复制后磁盘占用会变大?

程序读取稀疏文件的空洞时,会读到零。如果复制工具把这些零全部实际写入目标文件,原先没有分配数据块的区域就可能占用磁盘空间。

因此,复制前只看源文件的 du 数值,可能低估目标端的空间需求。

不过,也不能认为“普通复制一定会把稀疏文件展开”。GNU cp 默认采用 --sparse=auto,会尝试识别并保留稀疏特征。

对于已经停止变化的普通文件,可以明确要求复制时将符合条件的连续零区域保存为空洞:

cp --sparse=always -- /data/example.img /backup/example-copy.img

执行前,请确认:

  • 源文件路径正确。
  • /backup 目录已经存在。
  • 目标文件名没有与需要保留的现有文件重名。
  • 目标文件系统支持稀疏文件。

--sparse=always 并不是把任意数据压缩成小文件,而是尽可能将足够长的连续零区域保存为空洞。

如果使用 rsync,可以通过 -S 启用稀疏处理。例如,以下命令是在本机两个路径之间复制:

rsync -aS -- /data/example.img /backup/example-copy.img

这里的 -a 不包含 -S;-z 主要用于传输压缩,也不能代替稀疏文件处理。

如果还需要处理传输中断,可以参考本站的 rsync传输中断怎么办?断点续传教程。

对仍在写入的数据库或虚拟机镜像,应先按应用的备份流程取得一致副本,再进行迁移。复制命令本身不能保证动态业务数据的一致性。

对于已经停止变化的普通文件,复制后可以比较内容:

cmp -- /data/example.img /backup/example-copy.img

cmp 没有输出且退出状态为 0,表示比较的文件内容一致。大文件比较可能需要较长时间。

随后检查两边的空间占用:

du -h -- /data/example.img /backup/example-copy.img

不同文件系统的分配方式可能不同,不必要求两边占用字节数完全一致。

复制完成后,既要校验文件内容,也要重新检查目标文件的空间占用。

稀疏文件复制与目标磁盘占用检查示意

5. 当前占用小,不代表以后不会写满

稀疏文件的逻辑大小,并不等于已经为它预留了同样多的磁盘空间。

当程序向原先的空洞区域写入数据时,文件系统通常需要分配新的数据块。如果可用空间不足,后续写入仍然可能失败。

因此,规划容量时应同时考虑:

  • 文件当前已经占用多少空间。
  • 后续数据可能增长到多大。
  • 复制或备份工具是否保留稀疏结构。
  • 目标文件系统还有多少可用空间。

例如,一个逻辑大小为 100 GB、当前只分配了少量空间的文件,不能据此判断它未来也只需要少量空间。

删除文件时同样不能直接按逻辑大小估算可释放容量。删除一个显示为 100 GB 的稀疏文件,并不意味着一定能释放 100 GB。

如果遇到删除后空间仍未释放的情况,可以继续参考本站的 Linux删除文件后磁盘空间不释放怎么办?df、du与lsof排查教程。

6. 几个容易混淆的问题

文件里有很多零,就一定是稀疏文件吗?

不一定。零可以被实际写入数据块,也可以由未分配的空洞表示。读取结果相同,不代表存储方式相同。

ls 与 du 的结果不同,就能确定存在空洞吗?

不能仅凭这一点下结论。文件系统压缩等机制也可能造成差异。对于存在共享数据块、快照等机制的存储环境,文件报告的占用也不一定等于删除后能够立即回收的独占空间。

虚拟机设置了 100 GB 磁盘,为什么镜像文件没有 100 GB?

还需要区分虚拟磁盘容量与镜像文件本身的大小。

以 QCOW2 为例,虚拟机看到的磁盘容量、宿主机上镜像文件的逻辑大小,以及镜像当前占用的存储空间,是不同概念。QEMU 文档也分别定义了镜像的 virtual size 和 disk size,不能把这些数值直接当成同一个指标。

7. 结语

Linux 文件显示很大、磁盘占用却很小,并不一定是异常。对于稀疏文件,逻辑大小描述文件长度,分配空间反映文件系统为它分配的存储。

排查时,可以先使用 ls、du 和 stat 对照检查;迁移时确认工具是否保留稀疏结构;规划容量时,还要考虑后续写入和备份过程中的空间增长。

在莱卡云 Linux 云服务器上管理镜像、备份和其他大文件时,理解这些区别,有助于更准确地判断磁盘使用情况。

查看官网购买链接: https://www.lcayun.com

9折优惠码:bloglcayun

赞(0)
未经允许不得转载:莱卡云 » Linux文件很大,磁盘占用为何很小