首页 要闻 > 正文

Tacranch技术升级改进了宝贵的数据存储

高级计算的用户可能与此有关。数据的指数级增长给it部门可靠地存储数据带来了严峻的挑战。12年多来,德克萨斯高级计算中心(TACC)的Ranch系统为从天体物理学到气候科学到粒子物理学的研究数据提供了长期存档。硬件和软件的全新升级为Tacranch长期海量数据存储系统的52000多名用户带来了福音。

这些档案对于希望利用这些数据帮助重现测量结果和以往研究结果的科学家来说非常有用。计算再现性是更大的科学再现性概念的一部分,它构成了科学方法的基石。

TACC致力于全力支持科学家的数据需求。Stampede2和Lonestar等本地计算系统提供专用于临时存储数据的暂存空间。下一个阶梯是堆料场和畜栏的正向数据采集系统,可以通过高速网络连接或iRODS数据网格直接访问50 PB的组合存储。另一方面,Ranch允许将数据长期存档数月。

截至2019年4月,Ranch已经存储了超过70PB,即7000万千兆字节的科学数据。超过52,000名用户在正在升级的旧牧场图书馆上传了近17亿份计算机文件。假设Ranch的新升级可以将其存储空间扩展到不可思议的exabyte,即1,000 PB。

“对于用户来说,更多的数据将更容易获得,其磁盘缓存是以前Ranch系统的15倍,”TACC高级计算系统主管Tommy Minyard说。TACC超级计算机(如Stampede2、Lonestar或Maverick)产生的新数据首先在Ranch的旋转磁盘和闪存驱动器上进行,然后转移到磁带上。

Ranch已经升级到DataDirect Networks提供的块存储系统,DDN SFA14K DCR,提供30 PB旋转磁盘缓存,硬件上只需要更换两个。“这意味着我们将能够在磁盘上保存更多的数据,以便更快地检索,而且你不必从磁带上调用它,”Minyard补充说。

Ranch的另一个受欢迎的变化来自Quantum公司,该公司提供Scalar i6000磁带库和Quantum StorNext归档文件系统,可以协调磁盘和磁带存储。“我们选择Quantum系统是基于它的功能和灵活性,”高级系统管理员兼TACC高级计算系统集团大系统经理Junseong Heo说。

“具体来说,昆顿提供了配额控制机制,使TACC能够为用户提供基于分配的项目领域,”Heo补充说。这意味着用户可以更容易地访问数据和监督资源的使用。“基于项目的配额曾经是用户的愿望清单,”Heo说。

“TACC专注于持续创新,并创造了一个给存储带来巨大压力的环境,而昆腾长期以来一直处于管理解决方案的前沿,这些解决方案满足可靠性、可访问性和大规模可扩展性的最极端要求,”产品高级总监Eric Bassier说。营销,量子。将标量磁带与StorNext数据管理功能相结合,创建了HSM(分层存储管理)解决方案,可在TACC环境的恶劣条件下使用

“新系统为我们提供了一些额外的功能,使我们能够比旧系统更好地处理项目数据和存储层,”Minyard补充说。这对于大量牧场用户来说尤其是个好消息,他们的分布可能会经常变化。当前归档系统中最大的100个用户加起来超过20 PB。

用户会注意到的一个主要变化是采用了社区企业操作系统(CentOS)环境,它取代了以前的Solaris环境。当用户浏览CentOS将他们的文件迁移到新的Ranch图书馆时,TACC将在12个月内提供对旧图书馆数据的只读访问,直到2020年3月31日。用户应该使用适当的数据大小来检查和迁移数据。磁带存档,单个文件大小优于100千兆字节。

“存档数据并不吸引人,但却是必要的,”明亚德说。“我不知道有多少次人们因为意外删除文件而恐慌,而TACC却能够从牧场召回文件。从他们的角度来看,牧场是救命稻草,”明亚德说。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。