Praktische Notizen zu Software Engineering, AWS, verteilten Systemen, Performance und Kostenoptimierung.
3. September 2026
Warum dein Spark-Job weiterhin mit OOM-Fehlern abstürzt, selbst nachdem du Amazon EMR skalierst
EMR dimensioniert Executors anhand der Hardware, nicht anhand deines Workloads. Mehr Nodes bedeuten mehr derselben zu klein dimensionierten Executors, und gemischte Instance Fleets können das Problem noch verschärfen.
3. September 2026
Wenn Amazon EMR YARN mehr Speicher gibt, als die Maschine tatsächlich hat
Bei einigen Instance-Typen erlaubt EMR YARN, mehr RAM zuzuweisen, als Linux tatsächlich sieht. Die Spark-Konfiguration sieht korrekt aus. Trotzdem läuft der Node in einen Speicherengpass.