Χρειάζεστε ένα μηχάνημα που μπορεί να εκτελέσει εκατοντάδες τρισεκατομμύρια υπολογισμούς κυμαινόμενου σημείου ανά δευτερόλεπτο; Or χρειάζεστε μια ιστορία μπαρ για το πώς ο υπερυπολογιστής στο υπόγειό σας αναποδογύρισε έναν διακόπτη; Η δημιουργία του δικού σας συμπλέγματος High Performance Compute, γνωστός και ως υπερυπολογιστής, είναι μια πρόκληση που μπορεί να αντιμετωπίσει κάθε εξειδικευμένος ειδικός με ένα σαββατοκύριακο ελεύθερου χρόνου και κάποια μετρητά για καύση. Από τεχνική άποψη, ένας σύγχρονος υπερυπολογιστής πολλαπλών επεξεργαστών είναι ένα δίκτυο υπολογιστών που συνεργάζονται παράλληλα για να λύσουν ένα πρόβλημα. Αυτό το άρθρο θα περιγράψει εν συντομία κάθε βήμα στη διαδικασία, εστιάζοντας στο υλικό και το λογισμικό.
Βήματα
Βήμα 1. Καθορίστε πρώτα τα στοιχεία υλικού και τους πόρους που χρειάζεστε
Θα χρειαστείτε έναν κόμβο κεφαλής, τουλάχιστον δώδεκα ίδιους υπολογιστικούς κόμβους, έναν διακόπτη Ethernet, μια μονάδα διανομής ισχύος και ένα rack. Προσδιορίστε την ηλεκτρική ζήτηση, ψύξη και απαιτούμενο χώρο. Επίσης αποφασίστε ποια διεύθυνση IP θέλετε για τα ιδιωτικά σας δίκτυα, πώς να ονομάσετε τους κόμβους, ποια πακέτα λογισμικού θέλετε να εγκαταστήσετε και ποια τεχνολογία θέλετε να παρέχετε τις παράλληλες δυνατότητες υπολογισμού (περισσότερα για αυτό αργότερα).
- Αν και το υλικό είναι ακριβό, όλο το λογισμικό που αναφέρεται σε αυτό το εγχειρίδιο είναι δωρεάν και τα περισσότερα είναι ανοιχτού κώδικα.
- Αν θέλετε να δείτε πόσο γρήγορα θα ήταν θεωρητικά ο υπερυπολογιστής σας, χρησιμοποιήστε αυτό το εργαλείο:
Βήμα 2. Δημιουργήστε τους υπολογιστικούς κόμβους
Θα χρειαστεί να συγκεντρώσετε τους υπολογιστικούς κόμβους ή να αποκτήσετε διακομιστές προ-δημιουργίας.
- Επιλέξτε ένα πλαίσιο διακομιστή υπολογιστή που μεγιστοποιεί το χώρο, την ψύξη και την ενεργειακή απόδοση.
- Or μπορείτε να χρησιμοποιήσετε δώδεκα ή παλιά ξεπερασμένους διακομιστές - το σύνολο των οποίων θα υπερβεί το άθροισμα των μερών τους, αλλά θα σας εξοικονομήσει ένα μεγάλο κομμάτι μετρητών. Όλοι οι επεξεργαστές, οι προσαρμογείς δικτύου και οι μητρικές πλακέτες θα πρέπει να είναι πανομοιότυποι για να συνεργάζεται όμορφα όλο το σύστημα. Φυσικά, μην ξεχνάτε τη μνήμη RAM και την αποθήκευση για κάθε κόμβο και τουλάχιστον μία μονάδα οπτικού δίσκου για τον κόμβο κεφαλής.
Βήμα 3. Εγκαταστήστε τους διακομιστές στο rack
Ξεκινήστε από κάτω, έτσι ώστε το ράφι να μην είναι βαρύ από πάνω. Θα χρειαστείτε έναν φίλο για να σας βοηθήσει σε αυτό - οι πυκνοί διακομιστές μπορεί να είναι πολύ βαρύι και είναι δύσκολο να τους οδηγήσετε στις ράγες που τους κρατούν στο ράφι.
Βήμα 4. Εγκαταστήστε τον διακόπτη Ethernet πάνω από το πλαίσιο του διακομιστή
Αφιερώστε αυτήν τη στιγμή για να διαμορφώσετε τον διακόπτη: επιτρέψτε μεγέθη πλαισίου jumbo 9000 byte, ορίστε τη διεύθυνση IP στη στατική διεύθυνση που αποφασίσατε στο βήμα 1 και απενεργοποιήστε τα περιττά πρωτόκολλα δρομολόγησης, όπως το SMTP Snooping.
Βήμα 5. Εγκαταστήστε το PDU (Power Distribution Unit)
Ανάλογα με το πόσο ρεύμα μπορεί να χρειάζονται οι κόμβοι σας στο μέγιστο φορτίο, μπορεί να χρειάζεστε 220 βολτ για υπολογιστές υψηλής απόδοσης.
Βήμα 6. Με όλα τα εγκατεστημένα, μπορείτε να ξεκινήσετε τη διαδικασία διαμόρφωσης
Το Linux είναι το de facto λειτουργικό σύστημα για ομάδες HPC - όχι μόνο είναι το ιδανικό περιβάλλον για επιστημονικούς υπολογιστές, αλλά δεν κοστίζει και τίποτα για να το εγκαταστήσετε σε εκατοντάδες ή ακόμη και χιλιάδες κόμβους. Φανταστείτε πόσο θα κοστίσει η εγκατάσταση των Windows σε όλους αυτούς τους κόμβους!
- Ξεκινήστε με την εγκατάσταση της πιο πρόσφατης έκδοσης του BIOS της μητρικής πλακέτας και του υλικολογισμικού, η οποία θα πρέπει να είναι η ίδια σε όλους τους κόμβους.
- Εγκαταστήστε την προτιμώμενη διανομή linux σε κάθε κόμβο, με ένα γραφικό περιβάλλον χρήστη για τον κόμβο κεφαλής. Οι δημοφιλείς επιλογές περιλαμβάνουν τα CentOS, OpenSuse, Scientific Linux, RedHat και SLES.
- Αυτός ο συγγραφέας συνιστά ανεπιφύλακτα τη χρήση της διανομής συμπλεγμάτων βράχων. Εκτός από την εγκατάσταση όλων των απαραίτητων εργαλείων για τη λειτουργία ενός συμπλέγματος υπολογιστών, ο Rocks χρησιμοποιεί μια εξαιρετική μέθοδο για να «διανείμει» πολλές εμφανίσεις του στους κόμβους πολύ γρήγορα χρησιμοποιώντας την εκκίνηση PXE και τη διαδικασία Red Hat «Kick Start».
Βήμα 7. Εγκαταστήστε τη διεπαφή μετάδοσης μηνυμάτων, τον διαχειριστή πόρων και άλλες απαραίτητες βιβλιοθήκες
Εάν δεν εγκαταστήσατε το Rocks στο προηγούμενο βήμα, θα πρέπει να ρυθμίσετε με μη αυτόματο τρόπο το απαραίτητο λογισμικό για να ενεργοποιήσετε τους παράλληλους υπολογιστικούς μηχανισμούς.
- Πρώτα θα χρειαστείτε ένα φορητό σύστημα διαχείρισης bash, όπως το Torque Resource Manager, το οποίο σας επιτρέπει να διασπάτε και να διανείμετε εργασίες σε πολλά μηχανήματα.
- Ζεύγος ροπής με τον προγραμματιστή συμπλέγματος Maui για να ολοκληρώσετε τη ρύθμιση.
- Στη συνέχεια, θα χρειαστεί να εγκαταστήσετε τη διεπαφή μετάδοσης μηνύματος, απαραίτητη για τις μεμονωμένες διεργασίες στους ξεχωριστούς υπολογιστικούς κόμβους για να μοιράζονται τα ίδια δεδομένα. Το OpenMP δεν έχει καμία ιδέα.
- Μην ξεχνάτε τις βιβλιοθήκες και τους μεταγλωττιστές μαθηματικών πολλαπλών νημάτων για να δημιουργήσετε τα παράλληλα υπολογιστικά σας προγράμματα. Σας ανέφερα ότι πρέπει απλά να εγκαταστήσετε τα Rocks;
Βήμα 8. Συνδέστε τους υπολογιστικούς κόμβους μαζί
Ο κόμβος κεφαλής στέλνει τις εργασίες υπολογισμού στους υπολογιστικούς κόμβους, οι οποίοι με τη σειρά τους πρέπει να στείλουν το αποτέλεσμα πίσω, καθώς και να στέλνουν μηνύματα μεταξύ τους. Όσο πιο γρήγορα τόσο το καλύτερο.
- Χρησιμοποιήστε ένα ιδιωτικό δίκτυο ethernet για να συνδέσετε όλους τους κόμβους του συμπλέγματος.
- Ο κόμβος κεφαλής μπορεί επίσης να λειτουργήσει ως διακομιστής NFS, PXE, DHCP, TFTP και NTP μέσω του δικτύου Ethernet.
- Πρέπει να διαχωρίσετε αυτό το δίκτυο από τα δημόσια δίκτυα, γεγονός που διασφαλίζει ότι τα πακέτα μετάδοσης δεν παρεμβαίνουν σε άλλα δίκτυα στο LAN σας.
Βήμα 9. Δοκιμάστε το σύμπλεγμα
Το τελευταίο πράγμα που μπορεί να θέλετε να κάνετε πριν διαθέσετε όλη αυτή την υπολογιστική ισχύ στους χρήστες σας είναι να δοκιμάσετε την απόδοσή του. Το σημείο αναφοράς HPL (High Performance Lynpack) είναι μια δημοφιλής επιλογή για τη μέτρηση της υπολογιστικής ταχύτητας του συμπλέγματος. Θα χρειαστεί να το μεταγλωττίσετε από την πηγή με όλες τις πιθανές βελτιστοποιήσεις που προσφέρει ο μεταγλωττιστής σας για την αρχιτεκτονική που επιλέξατε.
- Φυσικά, πρέπει να μεταγλωττίσετε από την πηγή όλες τις πιθανές επιλογές βελτιστοποίησης για την πλατφόρμα σας. Για παράδειγμα, εάν χρησιμοποιείτε επεξεργαστές AMD, μεταγλωττίστε με το Open64 με -0fast επίπεδο βελτιστοποίησης.
- Συγκρίνετε τα αποτελέσματά σας στο TOP500.org για να συγκρίνετε το σύμπλεγμα σας με τους 500 ταχύτερους υπερυπολογιστές στον κόσμο!
Βίντεο - Χρησιμοποιώντας αυτήν την υπηρεσία, ορισμένες πληροφορίες ενδέχεται να κοινοποιηθούν στο YouTube
Συμβουλές
- Για πραγματικά υψηλές ταχύτητες δικτύου, ανατρέξτε στις διεπαφές δικτύου InfiniBand. Ωστόσο, να είστε έτοιμοι να πληρώσετε premium τιμές.
- Το IPMI μπορεί να κάνει τη διαχείριση ενός μεγάλου συμπλέγματος εύκολη, παρέχοντας KVM-over-IP, απομακρυσμένη ποδηλασία ισχύος και πολλά άλλα.
- Χρησιμοποιήστε το Ganglia για να παρακολουθείτε τα υπολογιστικά φορτία στους κόμβους.
