正文前的释义
Q1:磁盘标称容量和实际可用大小的换算关系
1、数据的最小单位是B(byte比特),再大是KiB、MiB、GiB、TiB、PiB等等,在计算机中,从B到KB 是二进制2¹⁰(1024)的关系,也即KB=1024B(M、G依此类推)
2、厂商的标称容量通常采用十进制计算容量,单位换算倍数为1000
3、因此,我们购买的磁盘实际可用空间是<厂商标称容量的。实际可用容量(TB)≈ 标称容量(TB)× 1000⁴ ÷ 1024⁴ ≈ 标称容量(TB)× 0.91
以8TB标称容量磁盘举例,8TB=8*0.91=7.28TB(实际可用空间)
Q2:磁盘冗余RAID
在服务器使用中,为了保证数据的安全性(磁盘损坏不会造成数据的丢失),一般会采用RAID(磁盘阵列)或者minio(分布式存储)技术。
常用的RAID有RAID0、RAID1、RAID5、RAID10、RAID50等不同的方案
RAID核心技术:条带化、镜像、校验;
条带化可以简单理解为一份数据按固定大小切成多个数据块依次写入多个磁盘(提高写入性能);
镜像可以简单理解为一份数据完整的写入两个或倍数的磁盘中,其中一个盘损坏时不会造成数据的丢失;
校验可以简单理解为对两个或多个盘写入的数据进行XOR运算,其中一个盘损坏时 可以基于算法进行数据的重构;
在我们的录播存储使用场景中,最多见的是RAID5和RAID6;其中RAID5最少要3个磁盘,磁盘可用率为(n-1)/n;RAID6最小要4块盘,磁盘可用率为(n-2)/n
在传统RAID中,一般是要用同样规格的磁盘做RAID(类型、大小、转速等都相同)且一般不超过12块磁盘(RAID2.0+ 技术可以支持上百块盘);
举例:12块16TB磁盘,做RAID5后的实际可用空间为 12*16*[(12-1)/12]*0.91 ≈ 160TB
Q3:minio分布式存储
场景:物理服务器直接部署龙蜥系统,并部署录播存储应用组,此时无需做RAID,系统采用了更优的minio分布式存储。
MinIO 是一款基于对象存储的分布式存储系统,兼容 S3 API,专为云原生、大数据和 AI 场景设计,优势主要体现在
分布式架构与高扩展性
MinIO 采用分布式部署模式,支持横向扩展(Scale-Out),可通过添加服务器节点轻松扩展存储容量和性能,理论上可支持 EB 级数据存储。
对象存储特性,适配非结构化数据(如图片、视频等)
数据冗余与高可用性
采用纠删码(Erasure Code)技术实现数据冗余,默认支持 N+M 冗余(如 4+2,即 4 份数据 + 2 份校验,允许 2 个节点故障),比传统 RAID 更节省存储空间(同等冗余能力下,纠删码存储效率高于 RAID 5/6)。
支持跨区域复制(Site Replication),可实现异地容灾,保障数据在极端故障下的可恢复性。
云原生与容器化友好
强安全性与合规性
Minio时的磁盘可用如何计算?
1、磁盘数≤9时,磁盘利用率为 (n-1)/n *100%;坏一块盘后可上传下载 (特殊:8块盘时可用率是80%)
2、磁盘数>9时,磁盘利用率为 (n-2)/n *100%;坏两块盘后可上传下载
3、磁盘数>20时,磁盘利用率为 (n-3)/n *100%;坏三块盘后可上传下载
Q3:磁盘的分类
机械硬盘分类:
常见的有SATA、SAS、NL-SAS
其中SATA是我们常见的大容量盘(如20TB),主打低成本,性能属于磁盘里比较差的;转速一般为7200转;
SAS一般10000转或15000转,容量一般为2T以内,价格相比SATA要高,但性能和可靠性要优于SATA
NL-SAS为性能&可靠性近SAS,但支持大容量(如12TB的),价格接近SATA,是大容量磁盘性价比选择
固态硬盘分类:
按协议分Nvme(速度快) 和 SATA(速度慢)
按芯片类型分SLC(成本高 容量小 寿命长 速度最快)、TLC(消费级 性价比)、QLC (成本最低,大容量冷存储 读写频率低的场景)
按使用场景分消费级、企业级(高可靠性、高写入量、成本高)等
参考价格(有一定偏差±50 请以实际为准):超聚变硬盘
960G SSD企业级固态 2.5英寸 ¥1389
1.2TB SAS 10K转 企业级硬盘 2.5英寸 ¥1189
8TB NL-SAS 7.2K转 企业级硬盘 3.5英寸 ¥1879
8TB SATA 7.2K 企业级硬盘 3.5英寸 ¥1589
20TB SATA 7.2K 企业级硬盘 3.5英寸 ¥3200
以下为各种场景下的磁盘考虑
场景1:选择PS22服务器部署教学质量管理平台
PS22的配置为
I7-12700,12核20线程,2.1GHz,96GB
内存:(32GB*2 +16GB*2) DDR4 3200 MHz 288-pin DIMM
硬盘:512GB 消费级SSD+3.5寸机械硬盘8TB(7200rpm) x2 _企业级_CMR
显卡:独显16GB_RTX A4000显卡
从硬盘配置看,结合正文前的内容,我们可得到如下的信息
因为是服务器直接安装龙蜥系统并部署应用组,此时服务器本身是不需要做RAID的,而是直接使用minio技术实现数据的冗余
2个8T磁盘minio冗余后可用空间为8TB(标称)*0.91*0.5=7.28TB
结论:PS22磁盘可用空间为512GB(系统盘)+7.28GB(数据盘实际可用空间)
场景2:一台高配服务器 部署 VMware Esxi虚拟机软件(非商用免费)后再划分虚拟机,部署教学质量平台、存储等服务器
举例:超聚变FusionServer 2288H V7 (2颗金牌5420+ 56核 256GB 8块1.92T固态+2.5英寸NL-SAS或3.5英寸SATA HDD硬盘16T*20;)
此时,部署的流程为:
服务器配置RAID5或RAID6(按需)
部署底层操作系统(如linux或winserver系统)
安装Esxi虚拟化平台
按需分配虚拟机(如系统服务器为512GB SSD(系统盘)+ 1TB(数据盘)+1TB(数据盘))
虚拟机部署龙蜥8.9系统并部署相应的应用组
平台的相应配置
基于此,服务器实际可用空间为
SSD:1.92TB为实际容量(标称2TB的盘),RAID5后 容量为(8-1)*1.92TB=13.44TB
HDD:16TB为标称容量,实际可用空间为16TB*0.91=14.56TB,RAID5后容量为 (20-1)*14.56TB=276.6TB
场景3:多台高配服务器,通过VM虚拟化(VM vsphere进行统一管理)
类似场景2,在步骤3时,通过vmvspere软件进行多台服务器的统一绑定;其他步骤基本一致;
小结
1、物理机服务器(低配)直接部署教学质量管理平台时,不需要作RAID,平台会按照minio分部署存储进行磁盘的冗余
2、物理服务器(高配)部署虚拟化再分配虚拟机部署平台时,先作RAID,此时平台本身不会再做冗余
3、无论是RAID还是minio,都要考虑磁盘的换算和磁盘的冗余造成的实际可用容量的缩减,不能简单的拿磁盘标称容量*磁盘数量 作为存储大小的匹配。