对于传统HPC来说,云和AI的普及需要更长的时间。考虑到严格的性能要求和超级计算机生成的机器的核心通常有几十年历史的代码这一事实,这并不奇怪。但是,寻找HPC、云和AI平衡的方式来寻求线索,还是有一些令人惊讶的地方。
地理上最艰难的挑战似乎是结合HPC和AI的所有方面,但在业务流程层面,这是相当低的。这是因为有些部分可以很容易地并行化和大量分布,但增值层依赖于需要集成的丰富而复杂的数据。整合HPC和AI的两个世界是其自身的挑战,但也有一些亮点,即容器和云形式的基础设施的灵活性。
基于位置的数据正在进入几乎每个领域,快速、大规模和尽可能深入地提供数据所涉及的风险是少数以此为使命的公司的差异。对于像Enview首席执行官San Guanwardana这样有HPC背景并需要推动业务的人来说,集成AI而不处理本地基础设施的麻烦和缺乏灵活性是一件令人大开眼界的事情。
“当我们考虑如何使我们的计算易于处理时,唯一的方法就是尽可能地并行化,这是大多数HPC的目标。问题是我们有一些独特的需求和特点,这意味着我们的框架必须不同。”古纳瓦德纳告诉我们。在最高层,他们如此困难的部分原因是,一方面,他们在一部分工作流程中有令人尴尬的并行工作,但这些工作必须结合多维元素(天气、时间、不断变化的条件等。).他们需要与并行部分进行接合,但这并不那么简单,尤其是当机器学习进入整个过程时。
这大大简化了Enview的地理空间工作流,但关键是他们必须拥有能够无缝处理传统HPC、机器学习、近实时工作负载和非常大的模型(包括长距离)的基础设施和软件框架。到每公里更高的分辨率分析。出于这里的目的,我们将重点关注它们的构建、运行和原因,因为它比大规模多维HPC有更多的共同点,而不是它的第一次出现,并且可以显示HPC中心如何做一些工作,并有正确的动机使其基础架构更加灵活。