项目挑战:
建设总部中心和各分工厂图片存储系统,总部中心建设满足2年内数据在线存储,2年—5年数据近线存储,5年后数据离线存储的存储系统,各分工厂建设满足2年内数据在线存储 ,2年后数据归档至总中心保存的存储系统。
解决方案:
针对这种需求,我们采用了IBM公司的GPFS分布式共享文件系统。GPFS是一种高性能 、可扩展的文件系统,专为大规模数据处理而设计。它采用了先进的条带化技术,将数据分成条带并行写入到该GPFS下的所有NSD(Network Shared Disk)中。这种设计确保了存储设备之间的负载均衡,使得I/O读写性能得到大幅提升。
通过GPFS的这种技术手段,我们实现了存储设备的高性能读写,保障了文档系统数据的一致性和安全性。GPFS的分布式架构提供了出色的扩展性,可以根据业务需求增加或减少存储资源,提高了系统的灵活性和可维护性。同时结合条带化技术和负载均衡机制,可以满足大规模数据处理和高性能存储的需求,同时保障文档系统数据的一致性和安全性。
同时结合CTDB(Cluster Trivial Database)集群数据库和集群Samba组件,实现系统可以在GPFS集群中的所有节点上进行共享,使得数据可以在整个集群中进行无缝的访问和操作。
项目价值:
降低成本,提升数据安全性,增强数据可用性,优化数据性能,同时具备灵活的扩展性。