Wie auch der HLRN wird das DLR-System von einer bereits bestehenden Community genutzt werden. Deren Einbindung erfordert weitere infrastrukturelle Maßnahmen, wie die Anbindung an das DLR-eigene Netz und an die DLR Benutzerverwaltung.

Da Caro exklusiv von DLR-Mitarbeiter*innen genutzt wird, ist auch die Dokumentation nur aus dem DLR Intranet verfügbar. Sollten Sie Fragen zu oder Probleme bei der Nutzung des Systems haben, kontaktieren Sie bitte den User-Helpdesk mit dem Betreff “CARO: <Ihr Betreff>”. Ihre Supportanfrage wird dann von unseren GWDG-Kolleg*innen bearbeitet.

Systemübersicht

18 Racks

16 warmwassergekühlte Racks beherbergen den Großteil der Rechenknoten von CARO, während 2 kaltwassergekühlte Racks für die Login-, Verwaltungs-, Big-Memory- und GPU-Knoten verwendet werden.

1.364 Rechenknoten

Die Rechenknoten sind mit 2 AMD EPYC 7702 “Rome” 64-Kern-Prozessoren und im Allgemeinen 256 GB Speicher ausgestattet. 20 der Knoten haben 1 TB Speicher.

175,744 CPU Cores

Verteilt auf alle Rechen- und GPU-Knoten.

6 GPU Knoten

Die dedizierten GPU-Knoten verfügen über 1 TB Speicher und 4 Nvidia Quadro RTX5000 GPUs.

100 Gbit/s Interconnect

Ein 100-Gbit/s-Infiniband-Netzwerk mit Mellanox-Switches bietet niedrige Latenzzeiten und hohe Bandbreiten mit einer Fat-Tree-Topologie.

3.46 PetaFlop/s

Dieses Ergebnis wurde beim LINPACK-Benchmark (mit 1300 Knoten) erzielt, womit CARO auf Platz 135 der Top-500-Liste vom November 2021 steht.

364 TB RAM

Über alle 1364 Knoten hinweg sind 364 TB Speicher verfügbar.

8,4 PiB Speicher

Insgesamt stehen 8,4 PiB Speicherkapazität im globalen parallelen Dateisystem (DDN Lustre) zur Verfügung.

Icons made by Freepik and phatplus

Knotenarchitekturen

NameAnzahl KnotenCPU & GPUAnzahl CPU-CoresArbeitsspeicher [GB]Partition
n[0001-1344]13442 x EPYC 7702
Architektur
Zen 2
Sockel
2
Kerne
64
Threads
2
Frequenz
3.35 GHZ
64256[medium]
bigmem[01-20]202 x EPYC 7702
Architektur
Zen 2
Sockel
2
Kerne
64
Threads
2
Frequenz
3.35 GHZ
641024[bigmem]
vis[01-06]61 x EPYC 7702
Architektur
Zen 2
Sockel
1
Kerne
64
Threads
2
Frequenz
3.35 GHZ
4 x Quadro RTX5000
CUDA cores
3072
Tensor cores
384
RT cores
48
RAM
16 GB
641024[vis]