NHR-NORD@Göttingen

„Grete“, benannt nach Grete Hermann (1901-1984), die als Doktorandin Emmy Noethers an der Universität Göttingen grundlegende Arbeiten für die Computeralgebra leistete, ist ein auf Grafikprozessoren (GPU) basiertes High-Performance-Computing-Cluster und erweitert das HPC-System „Emmy“ um eine besonders leistungsstarke und energieeffiziente Komponente, insbesondere im Bereich der Künstlichen Intelligenz (KI).

Am Standort Göttingen wird für den Betrieb aller HPC-Systeme eine Strategie maximaler Energieeffizienz verfolgt. Beim Design des Gesamtsystems leistet hierzu das Konzept einer Direktwasserkühlung (DLC), das sich bereits für das NHR-System „Emmy” bewährt hat, einen entscheidenden Beitrag, um den Overhead durch den Energiebedarf der Kühltechnik zu minimieren.

Im Quickstart Guide finden Sie alle notwendigen Informationen, um einen Nutzerzugang zu beantragen und auf dem System zu rechnen. Bitte beachten Sie auch unsere Richtlinie zur Nutzung unserer Systeme für Ihre Forschung.

Systemüberblick

21 Racks

Die Knoten der Phase 1 sind in 10 Racks in einem luftgekühlten Bereich aufgestellt und die 11 Racks der Phase 2 werden mit einer Warmwasserdirektkühlung betrieben.

1.423 Rechenknoten

449 Rechenknoten gehören zur Phase 1 und sind mit Intel Xeon Gold 6148 SKL-SP CPU’s bestückt. Die weiteren 974 Rechenknoten der Phase 2 sind mit Xeon Platinum 9242 CLX-AP CPU’s bestückt.

111.464 CPU Kerne

Diese sind verteilt über die Phase 1 mit 17.960 Kernen und der Phase zwei mit 93.504 Kernen.

100 Gbit/s Interconnect

Ein 100 Gbit/s Intel Omni-Path Netzwerk bietet mit einer Fat-Tree Topologie niedrige Latenzen sowie hohe Bandbreiten und vereint die zwei Phasen von Emmy mit zwei 896 Port Director Switches in einer einzigen Fabric.

5,95 PetaFlop/s

Dieses Ergebnis wurde während des LINPACK Benchmarks erzielt, womit Emmy auf Platz 133 der Top 500 Liste (Stand: November 2023) und auf Platz 242 der GREEN500 Liste (Stand: November 2023) liegt.

478 TB RAM

Verteilt über alle 1.423 Knoten stehen 478 TB an Arbeitsspeicher zur Verfügung

8,4 PiB Speicher

Insgesamt stehen 8,4 PiB an Speicherkapazität auf globalen parallelen Dateisystemen zur Verfügung, wobei sich dies in 340TiB für das GPFS-basierte Home und 8,1 PiB für das Lustre-basierte Work Dateisystem aufteilt.

6,4 PiB Bandspeicher

Zur Archivierung ihrer Ergebnisse stehen den Nutzern insgesamt 6,4 PiB an Bandspeicher mit einem 120 TiB großen Festplattencache zur Verfügung.

Icons made by Freepik and phatplus

Knotenarchitekturen

NameAnzahl KnotenCPU & GPUAnzahl CPU-CoresArbeitsspeicher [GB]Partition
gcn14322 x Xeon Gold 6148
Architektur
Skylake
Sockel
2
Kerne
20
Threads
2
Frequenz
2.4 GHZ
HTT
true
20187[medium40:test]
gfn1162 x Xeon Gold 6148
Architektur
Skylake
Sockel
2
Kerne
20
Threads
2
Frequenz
2.4 GHZ
HTT
true
20754[large40]
ggpu0112 x Xeon Gold 6148
Architektur
Skylake
Sockel
2
Kerne
20
Threads
2
Frequenz
2.4 GHZ
HTT
true
4 x Tesla V100-PCIE-32GB
CUDA cores
5120
Tensor cores
640
RAM
32 GB
20754[gpu]
ggpu0x22 x Xeon Gold 6248
Architektur
Skylake
Sockel
2
Kerne
20
Threads
2
Frequenz
2.5 GHZ
HTT
true
4 x Tesla V100S-PCIE-32GB
CUDA cores
5120
Tensor cores
640
RAM
32 GB
20754[gpu]
gcn210042 x Xeon Platinum 9242
Architektur
Cascade Lake
Sockel
2
Kerne
48
Threads
2
Frequenz
2.3 GHZ
HTT
true
48376[standard96:test]
gfn2162 x Xeon Platinum 9242
Architektur
Cascade Lake
Sockel
2
Kerne
48
Threads
2
Frequenz
2.3 GHZ
HTT
true
48754[large96]
gsn222 x Xeon Platinum 9242
Architektur
Cascade Lake
Sockel
2
Kerne
48
Threads
2
Frequenz
2.3 GHZ
HTT
true
481510[huge96]