Στοιχεία αναφοράς: τι είναι; Τι είναι αυτό ιστορία, είδη και συμβουλές

Τα benchmarks αποτελούν ουσιαστικό κομμάτι της καθημερινής ανάλυσης υλικού μας και μας επιτρέπουν να σας προσφέρουμε μια επιστημονικά συγκρίσιμη μέτρηση μεταξύ διαφορετικών εξαρτημάτων όπως CPU, κάρτες γραφικών, μονάδες αποθήκευσης κλπ. Σήμερα θα αφιερώσουμε κάποιες γραμμές στην ιστορία της, στους τύπους της, πώς λειτουργούν, τι μετράνε, ποια είναι τα πιο κοινά μέτρα και θα σας δώσουμε επίσης συμβουλές για το πώς να τις εκτελέσετε και ποιες από αυτές πρέπει να εμπιστευτούμε.

Αυτό που γνωρίζουμε σήμερα στον υπολογιστή ή στον κινητό κόσμο ως δείκτες αναφοράς είναι οι τεχνικές που κληρονομούνται από το βιομηχανικό περιβάλλον που επέτρεψαν, από την αρχή αυτής της επανάστασης, τη λήψη αποφάσεων με βάση συγκρίσιμα δεδομένα σε ένα ελεγχόμενο περιβάλλον.

Ο κόσμος των σύγχρονων υπολογιστών εφαρμόζει αυτές τις τεχνικές σε σχεδόν όλους τους πολλούς διαφορετικούς τομείς και οι οικιακοί χρήστες τους έχουν επίσης υιοθετήσει ως αξιόπιστο τρόπο για να μάθουν για τις επιδόσεις και τις δυνατότητες των συστημάτων μας, καθώς και ένα σημαντικό σημείο πληροφόρησης όταν να λάβουμε σημαντικές αποφάσεις, όπως η αγορά του νέου μας υπολογιστή, του κινητού τηλεφώνου, της κάρτας γραφικών κλπ.

Σήμερα θα μιλήσουμε για το ιστορικό των σημείων αναφοράς των υπολογιστών, για τους τύπους σημείων αναφοράς που υπάρχουν και για τα συστατικά του συστήματός μας που είναι πιο κατάλληλα για τέτοιους τύπους δοκιμών που δεν είναι μόνο επιδόσεις.

Ευρετήριο περιεχομένων

Ιστορία

Το σημείο αναφοράς ή το σύστημα μέτρησης εφαρμόζει ένα ελεγχόμενο περιβάλλον και αναγνωρίσιμα μέτρα που είναι επιστημονικά συγκρίσιμα και επαληθεύσιμα και συνυπάρχουν με τον κόσμο του υπολογιστή από τότε που υπάρχει. Το σημείο αναφοράς, ως τέτοιο, έχει εκδημοκρατιστεί μέχρις ότου χάσει μέρος της θεμελιώδους ουσίας του, δηλαδή ότι μπορεί να ελεγχθεί και να επαληθευτεί από τρίτους. Τώρα το χρησιμοποιούμε περισσότερο ως μια γρήγορη σύγκριση των επιδόσεων, αλλά η ιχνηλασιμότητα της αξιοπιστίας του από τρίτους έχει σίγουρα χάσει σε μεγάλο βαθμό.

Οι πιο κλασσικές μέθοδοι αναφοράς έκαναν πάντοτε αναφορά στην υπολογιστική ικανότητα της CPU του συστήματος, αν και πρόσφατα έχει ποικίλει μεταξύ διαφορετικών συνιστωσών, καθώς αυτές έχουν κερδίσει την υπεροχή και τη σημασία μέσα στον υπολογιστή.

Οι δύο πιο κλασικές μονάδες μέτρησης που εφαρμόζονται ακόμα είναι οι Dhrystones και οι Whetstones. Και οι δύο έχουν γίνει, με κάποιο τρόπο, τη βάση όλων των συνθετικών σημείων αναφοράς που γνωρίζουμε σήμερα.

Ο παλαιότερος είναι ο Whetstones (ένας τόπος στο Ηνωμένο Βασίλειο όπου βρισκόταν το τμήμα ατομικής ενέργειας της εταιρείας κρατικής εξουσίας του Ηνωμένου Βασιλείου) και ο Dhrystone ήρθε αργότερα με το όνομα του πρώτου (υγρό και ξηρό).

Ο πρώτος σχεδιάστηκε στη δεκαετία του '70 και ο δεύτερος είναι από τη δεκαετία του '80 και οι δύο αποτελούν τη βάση συγκριτικών επιδόσεων που είχαμε σε διαδοχικά χρόνια. Οι όμοιοι λίθοι, που απλοποιούν, πρόσφεραν μια εικόνα της υπολογιστικής ισχύος του επεξεργαστή σε πλωτές λειτουργίες, πράξεις με μεγάλο αριθμό δεκαδικών.

Το Dhrystone είναι ο ομόλογός του δεδομένου ότι είναι αφιερωμένο στις βασικές οδηγίες χωρίς δεκαδικά ψηφία, και οι δύο έδωσαν μια σαφή εικόνα της απόδοσης ενός επεξεργαστή από δύο εντελώς διαφορετικές αλλά συμπληρωματικές προσεγγίσεις. Ο Whetstone και ο Dhrystone προέρχονται από δύο έννοιες που χρησιμοποιούμε πολύ πιο συχνά σήμερα, το MIPS και το FLOP.

Μετά από αυτές τις μετρήσεις ήρθαν άλλοι, όπως η αριθμητική FLOP (αριθμητική κυμαινόμενου σημείου - floating-point αριθμητική) η οποία είναι, σε μεγάλο βαθμό, πιο σημαντική σήμερα σε έναν υπολογιστή από ό, τι ποτέ, επειδή είναι η βάση του προηγμένου υπολογισμού σε πολλές σύγχρονες τεχνικές. όπως αλγόριθμοι τεχνητής νοημοσύνης, ιατρικοί αλγόριθμοι, πρόγνωση καιρού, ασαφής λογική, κρυπτογράφηση κλπ.

Το LINPACK αναπτύχθηκε από τον μηχανικό Jack Dongarra τη δεκαετία του 1980 και εξακολουθεί να χρησιμοποιείται σήμερα για να μετρήσει την ικανότητα υπολογιστών κινητής υποδιαστολής όλων των τύπων συστημάτων. Επί του παρόντος υπάρχουν εκδόσεις βελτιστοποιημένες από την αρχιτεκτονική, τον κατασκευαστή CPU κ.λπ.

Τα FLOPS συμπληρώνουν τα άρθρα μας σχετικά με τις κάρτες γραφικών (σίγουρα οι απλοί ή διπλοί ακροδέκτες ακριβείας είναι γνωστοί), τους επεξεργαστές και αποτελούν τη βάση για τον υπολογισμό των απαιτήσεων ισχύος και την ανάπτυξη υλικού για κάθε υπερυπολογιστή που βρίσκεται σε λειτουργία ή ανάπτυξη.

Το FLOP είναι σήμερα η πιο απαιτούμενη μονάδα μέτρησης επιδόσεων στη βιομηχανία, αλλά πάντα συνδυάστηκε με το MIPS (Εκατομμύρια οδηγίες ανά δευτερόλεπτο) το οποίο είναι ένα ενδιαφέρον μέτρο μέτρησης, καθώς μας δίνει τον αριθμό των οδηγιών Βασική αριθμητική που μπορεί να κάνει ο επεξεργαστής ανά δευτερόλεπτο, αλλά εξαρτάται περισσότερο από την αρχιτεκτονική του επεξεργαστή (ARM, RISC, x86 κλπ.) Και τη γλώσσα προγραμματισμού από άλλες μονάδες μέτρησης.

Καθώς οι επιδόσεις έχουν προχωρήσει, οι πολλαπλασιαστές έχουν συμβεί. Μετράμε τώρα την απόδοση των CPU στο σπίτι σε GIPS και GFLOPS. Η βάση παραμένει η ίδια, κλασικές αριθμητικές πράξεις. Η Sisoft Sandra συνεχίζει να μας προσφέρει αυτό το είδος μέτρησης σε μερικά από τα συνθετικά σημεία αναφοράς της.

Το MIPS έχει επίσης υποβιβαστεί περισσότερο στην CPU ως ένα κλασικό στοιχείο και το FLOP έχει επεκταθεί και σε άλλες ευημερούσες περιοχές όπως η χωρητικότητα διεργασίας ή ο γενικός υπολογισμός πρώην επεξεργαστών που προσανατολίζονται ιδιαίτερα σε συγκεκριμένες εργασίες όπως οι GPU που προσαρμόζουμε όλοι στους επεξεργαστές μας ή σε τις αποκλειστικές κάρτες επέκτασης.

Σε αυτές τις βασικές έννοιες, ο χρόνος έχει προσθέσει νέες μονάδες μέτρησης τόσο πολύ ή πιο σημαντικές από αυτές σε σύγχρονο υπολογιστή ή υπερυπολογιστή. Η διαμετακόμιση δεδομένων είναι ένα από τα μέτρα που έχουν καταστεί πολύ σημαντικά και τα οποία σήμερα μετρούνται σε ΙΟΠ (λειτουργίες εισόδου και εξόδου ανά δευτερόλεπτο) καθώς και σε άλλες μορφές, όπως τα μέτρα αποθήκευσης MB / GB / TB σε σύγκριση με το χρόνο που απαιτείται για διέλευση από ένα σημείο σε άλλο (MBps - Megabyte ανά δευτερόλεπτο).

Το AS-SSD μπορεί να μετρήσει την απόδοση ενός σκληρού δίσκου σε MBps ή IOPs.

Αυτή τη στιγμή χρησιμοποιούμε επίσης το μέτρο μεταφοράς, στους διάφορους πολλαπλασιαστές του, ως τρόπο ερμηνείας της ταχύτητας της διαμετακόμισης πληροφοριών μεταξύ δύο σημείων, όταν εκπέμπουμε συγκεκριμένες πληροφορίες που πραγματικά πρέπει να έχουμε παράσχει λίγο περισσότερες πληροφορίες. Αυτό εξαρτάται από το πρωτόκολλο που χρησιμοποιείται για τη μεταφορά πληροφοριών.

Ένα σαφές παράδειγμα, και ότι χρησιμοποιούμε πολλά, βρίσκεται στη διασύνδεση PCI Express. Σύμφωνα με αυτό το πρωτόκολλο, για κάθε 8 bits πληροφοριών που θέλουμε να μεταφέρουμε (0 ή 1s) πρέπει να δημιουργήσουμε 10 bits πληροφορίας δεδομένου ότι αυτές οι πρόσθετες πληροφορίες είναι για τον έλεγχο της επικοινωνίας που αποστέλλεται για διόρθωση σφαλμάτων, ακεραιότητα δεδομένων κλπ.

Άλλα γνωστά πρωτόκολλα που εισάγουν αυτή την "απώλεια" πραγματικών πληροφοριών είναι το IP, αυτό που χρησιμοποιείτε για να διαβάσετε αυτό το άρθρο και αυτό κάνει τη σύνδεση 300MT / s σας να προσφέρει πραγματικά λίγο λιγότερο από 300mbps ταχύτητα.

Επομένως, χρησιμοποιούμε το Gigatransfer ή τη μεταφορά όταν αναφερόμαστε σε ανεπεξέργαστες πληροφορίες που αποστέλλονται από τη διασύνδεση και όχι στις πληροφορίες που πραγματικά επεξεργάζονται στον δέκτη. Ένας δίαυλος δεδομένων 8GT / s PCI Express 3.0 στέλνει στην πραγματικότητα 6.4GBps πληροφοριών για κάθε γραμμή που συνδέεται μεταξύ των σημείων. Η μεταφορά έγινε πολύ σημαντική με την ενσωμάτωση του πρωτοκόλλου PCI Express σε όλα τα κύρια λεωφορεία ενός οικιακού και επαγγελματικού υπολογιστή.

Τον τελευταίο καιρό αρχίσαμε να συνδυάζουμε τα μέτρα ως έναν τρόπο σύνδεσης της ισχύος επεξεργασίας με άλλους πολύ σημαντικούς παράγοντες στον σύγχρονο υπολογισμό, με την κατανάλωση να είναι ένα από αυτά τα μέτρα που εισάγεται ως συγκριτική κλίμακα μεταξύ των επιδόσεων δύο συστημάτων. Η ενεργειακή απόδοση είναι σήμερα ή περισσότερο σημαντική από την ισχύ της διαδικασίας και ως εκ τούτου είναι εύκολο να δει κανείς δείκτες αναφοράς που συγκρίνουν την ισχύ της διαδικασίας σύμφωνα με τις ροές κατανάλωσης του στοιχείου στη μέτρηση.

Στην πραγματικότητα, ένας από τους μεγάλους καταλόγους των υπερυπολογιστών δεν αναφέρεται τόσο πολύ στην ακαθάριστη ισχύ του υπολογιστή μεταξύ όλων των κόμβων υπολογιστών του, αλλά στην ανάπτυξη αυτής της ισχύος που βασίζεται στα βατ ή στην ενέργεια που καταναλώνεται από ολόκληρο το σύστημα. Ο κατάλογος Green500 (FLOPS ανά watt - FLOPS ανά watt) είναι ένα σαφές παράδειγμα του τρόπου με τον οποίο η κατανάλωση είναι τώρα βασική για οποιοδήποτε αυτοπεποίθηση, αν και χωρίς αμφιβολία όλοι εξακολουθούμε να εξετάζουμε προσεκτικά τη λίστα TOP500 που δεν έχει αυτόν τον παράγοντα ως παράγοντα κλιματισμού.

Τύποι σημείων αναφοράς

Αν και μπορούμε να μιλήσουμε για πολλές περισσότερες οικογένειες ή τύπους σημείων αναφοράς, θα απλοποιήσω τον κατάλογο στις δύο πιο κοινές κατηγορίες εκείνων που είναι πιο κοντά σε όλους μας ως περισσότερο ή λιγότερο προηγμένοι χρήστες.

Από τη μία πλευρά, έχουμε τα συνθετικά σημεία αναφοράς που είναι σε μεγάλο βαθμό εκείνα που μας προσφέρουν μέτρα για τα οποία έχουμε μιλήσει πριν. Συνθετικά σημεία αναφοράς είναι προγράμματα που εκτελούν ελεγχόμενες δοκιμές με περισσότερο ή λιγότερο σταθερό κώδικα προγράμματος προσανατολισμένο για συγκεκριμένη πλατφόρμα και αρχιτεκτονική. Πρόκειται για προγράμματα που διεξάγουν πολύ συγκεκριμένες δοκιμές που μπορούν να ενσωματώσουν ένα ή περισσότερα από τα συστατικά μας, αλλά όπου πραγματοποιούνται πάντα οι ίδιες δοκιμές ή δοκιμές, χωρίς αλλαγές.

Η απόδοση εικόνας ήταν πάντα μια καλή μέθοδος για να γνωρίζετε την απόδοση μιας CPU σε ένα σύγχρονο σύστημα δεδομένου ότι είναι ένα απαιτητικό έργο. Το Cinebench R15 έχει επίσης αρκετές δοκιμές, μία για GPU και δύο για CPU, όπου μπορούμε να γνωρίζουμε την απόδοση συστημάτων με πολλαπλούς πυρήνες και νήματα διεργασίας.

Προσφέρουν ελεγχόμενο περιβάλλον δοκιμών, όπου δεν υπάρχουν αλλαγές εκτός από τις εκδόσεις και όπου αυτές οι αλλαγές είναι σωστά τεκμηριωμένες, ώστε ο χρήστης να γνωρίζει ποιες εκδόσεις μπορούν να συγκριθούν μεταξύ τους. Αυτοί οι τύποι προγραμμάτων μπορούν να ελέγξουν ξεχωριστά διαφορετικά υποσυστήματα του υπολογιστή μας, με άλλα κομμάτια κώδικα ή συγκεκριμένα σημεία αναφοράς για να εκτελέσουν ένα συγκεκριμένο τύπο δοκιμής ή συνδυασμένα που μπορεί να επηρεαστεί από την απόδοση ενός, δύο ή περισσότερων στοιχείων του συστήματος. Το σημείο αναφοράς που ενσωματώνεται σε ένα παιχνίδι, ή προγράμματα όπως Cinebench, Sisoft Sandra, SuperPI, 3DMark,… είναι σαφή παραδείγματα συνθετικών σημείων αναφοράς.

Άλλα συνθετικά σημεία αναφοράς που δεν πρέπει να συγχέουμε με πραγματικά σημεία αναφοράς είναι εκείνα που προσομοιώνουν την εκτέλεση πραγματικών προγραμμάτων ή που εκτελούν δέσμες ενεργειών σε πραγματικά προγράμματα, είναι επίσης συνθετικά δεδομένου ότι δεν υπάρχει τυχαία δοκιμασία. Το PC Mark είναι ένα σαφές παράδειγμα συνθετικό πρόγραμμα αναφοράς που μπορούμε να συγχέουμε με ένα πραγματικό σημείο αναφοράς.

Το πραγματικό σημείο αναφοράς είναι μια πολύ διαφορετική μέθοδος δοκιμής, επειδή αποδέχεται την τυχαία χρήση ενός προγράμματος για τη μέτρηση της απόδοσής του. Οι παίκτες χρησιμοποιούνται για την εκτέλεση αυτού του τύπου κριτηρίων αναφοράς ή δοκιμής απόδοσης όταν προσαρμόζουμε τις παραμέτρους ποιότητας ενός παιχνιδιού στις δυνατότητες του υλικού μας.

Η μέτρηση της απόδοσης ενός παιχνιδιού ενώ παίζετε είναι ένα πραγματικό σημείο αναφοράς.

Όταν ανοίγετε το FPS που δίνει το παιχνίδι και προσπαθείτε να επιτύχετε το επιθυμητό 60FPS συνεχώς, τότε πραγματοποιούν ένα πραγματικό σημείο αναφοράς. Το ίδιο μπορεί να παρεκταθεί σε οποιοδήποτε άλλο είδος προγράμματος και εάν είστε προγραμματιστής, όταν βελτιστοποιήσετε τον κώδικα του προγράμματος σας, τότε κάνετε επίσης πραγματικές δοκιμές αναφοράς όπου οι αλλαγές είναι ο κώδικας σας ή ο τρόπος εκτέλεσης του, σε μια πλατφόρμα σταθερό ή μεταβλητό υλικό.

Και οι δύο τύποι σημείων αναφοράς είναι σημαντικοί, οι πρώτοι μας επιτρέπουν να συγκρίνουμε το σύστημά μας με τους άλλους σε ένα ελεγχόμενο περιβάλλον και οι δεύτεροι είναι ένας τρόπος για να βελτιστοποιήσουμε τη λειτουργία μας, όπου προστίθενται και δύο σημαντικοί παράγοντες, η τυχαιότητα στην εκτέλεση και ο ανθρώπινος παράγοντας. Και οι δύο παράγοντες προσφέρουν μια πρόσθετη οπτική γωνία για την απόδοση του εξαρτήματος ή των εξαρτημάτων που θέλουμε να δοκιμάσουμε.

Σκέψεις κατά τη συγκριτική αξιολόγηση

Για να είναι ένα σημείο αναφοράς χρήσιμο και αποτελεσματικό, πρέπει να λάβουμε υπόψη ορισμένους παράγοντες που είναι πραγματικά σημαντικοί. Η σύγκριση μεταξύ διαφορετικών πλατφορμών και αρχιτεκτονικών εισάγει έναν σημαντικό παράγοντα αβεβαιότητας, οπότε αυτό το είδος σημείων αναφοράς που σας δίνουν τη δυνατότητα να συγκρίνετε κινητά τηλέφωνα iOS με υπολογιστές Windows x86, για να δώσετε ένα παράδειγμα, πρέπει να τα πάρετε με λαβίδες, πυρήνα λειτουργικού συστήματος, αλλά οι αρχιτεκτονικές επεξεργαστών είναι πολύ διαφορετικές. Οι προγραμματιστές αυτού του τύπου σημείων αναφοράς (για παράδειγμα, Geekbench) εισάγουν συντελεστές διόρθωσης μεταξύ των διαφορετικών τους εκδόσεων που είναι δύσκολο να ελεγχθούν.

Ως εκ τούτου, το πρώτο κλειδί για ένα συγκριτικό σημείο αναφοράς να είναι συγκρίσιμο μεταξύ διαφορετικών υλικών είναι ότι το δοκιμαστικό οικοσύστημα είναι όσο το δυνατόν πιο παρόμοιο με την πλατφόρμα αναφοράς, το λειτουργικό σύστημα, τους οδηγούς και την έκδοση λογισμικού. Θα υπάρχουν σίγουρα στοιχεία εδώ που δεν μπορούμε να ελέγξουμε την ομογενοποίηση, όπως ο ελεγκτής γραφικών, αν δοκιμάσουμε γραφικά AMD ενάντια στα γραφικά του Nvidia, αλλά τα υπόλοιπα πρέπει να προσπαθήσουμε να το καταστήσουμε όσο το δυνατόν πιο σταθερό. Σε αυτή την περίπτωση, θα μπορούσαμε επίσης να συμπεριλάβουμε το υλικό, αφού για να συγκρίνουμε τις κάρτες γραφικών, το πράγμα σας είναι να χρησιμοποιήσετε το ίδιο λειτουργικό σύστημα, τον ίδιο επεξεργαστή, τις ίδιες μνήμες και όλες τις παραμέτρους λειτουργίας, διατηρώντας τις ίδιες, συμπεριλαμβανομένων των παραμέτρων ποιότητας, ανάλυσης και δοκιμής στο σημείο αναφοράς. Όσο πιο σταθερό είναι το δοκιμαστικό μας οικοσύστημα, τόσο πιο αξιόπιστα και συγκρίσιμα θα είναι τα αποτελέσματά μας.

Σας συνιστούμε να διαβάσετε πώς να γνωρίζετε αν ο επεξεργαστής μου έχει μια συμφόρηση;

Ένα άλλο πράγμα που πρέπει να λάβουμε υπόψη είναι ότι οι δοκιμές συγκριτικής αξιολόγησης συνήθως έχουν έναν παράγοντα άγχους στο υλικό που πρόκειται να δοκιμάσουμε και κανονικά υποβάλλουμε αυτό το υλικό σε καταστάσεις που κανονικά δεν συμβαίνουν κατά την κανονική χρήση του συστήματος. Κάθε σημείο αναφοράς που αφαιρούμε από τον σκληρό μας δίσκο, την κάρτα γραφικών ή τον επεξεργαστή, τα υποτάσσει σε καταστάσεις που μπορεί να είναι επικίνδυνες για το υλικό, οπότε πρέπει να θεσπίσουμε τα κατάλληλα μέτρα έτσι ώστε το σημείο στρες να μην γίνει σημείο κάταγμα ή επίσης ένα στοιχείο μείωσης της απόδοσης, αφού πολλά εξαρτήματα έχουν συστήματα προστασίας με τα οποία μειώνουν την απόδοσή τους σε περίπτωση, για παράδειγμα, θερμοκρασιών εκτός του φάσματος χρήσης τους. Επαρκής ψύξη, περίοδοι ανάπαυσης μεταξύ των δοκιμών, σωστή τροφοδοσία των υπό δοκιμή εξαρτημάτων… όλα πρέπει να βρίσκονται σε ιδανική κατάσταση ώστε η δοκιμή να εκτελείται ομαλά.

Από την άλλη πλευρά, χρησιμοποιούμε ακριβώς αυτούς τους τύπους σημείων αναφοράς για να υποτάξουμε το σύστημα για να τονίσουμε τη σταθερότητά του σε αυτό το είδος της κατάστασης, είναι ένας διαφορετικός τρόπος εφαρμογής ενός κριτηρίου, διότι δεν επιδιώκει μόνο να γνωρίζει τις επιδόσεις αλλά και αν το σύστημα είναι σταθερό και ακόμη περισσότερο, αν το σύστημα εκτελεί όπως θα έπρεπε σε αυτές τις αγχωτικές καταστάσεις.

Συμπέρασμα

Για όσους από εμάς είναι αφοσιωμένοι στον επαγγελματικό έλεγχο του υλικού υπολογιστών, το σημείο αναφοράς είναι ένα εργαλείο εργασίας και χάρη σε αυτό, οι χρήστες έχουν έναν επιστημονικό και επαληθεύσιμο τρόπο σύγκρισης ή γνώσης της απόδοσης του επόμενου υπολογιστή μας σε κάθε υποσύστημα με ακρίβεια. συγκρίσιμα με τα εργαλεία που χρησιμοποιούνται σε βιομηχανικό επίπεδο.

Ένας πίνακας δοκιμών, όπως αυτός που βλέπετε στην εικόνα, επιδιώκει να τυποποιήσει με ακρίβεια τη μέθοδο δοκιμής, έτσι ώστε το συγκριτικό σημείο αναφοράς να είναι όσο το δυνατόν πιο αξιόπιστο και να είναι δοκιμαστικό όταν εισάγει παραλλαγές που τροποποιούν τα αποτελέσματα.

Αλλά όπως και κάθε «εργαστηριακό» τεστ, για να είναι αξιόπιστη, πρέπει να υπάρχουν οι κατάλληλες προϋποθέσεις για την πραγματοποίησή της και ακόμη περισσότερο για να είναι συγκρίσιμη μεταξύ διαφορετικών συστημάτων.

Σήμερα σας έχουμε πει λίγα λόγια για την ιστορία αυτού του τύπου προγράμματος, για τους διαφορετικούς τύπους του, για τον τρόπο με τον οποίο λειτουργούν και για τον τρόπο απόκτησης αξιόπιστων πληροφοριών από αυτούς. Είναι χρήσιμα, αλλά για μένα είναι μόνο ένα ακόμα κομμάτι πληροφοριών που πρέπει να θυμάστε και θα το τοποθετούσα πάντα πίσω από την προσωπική εμπειρία και τον ενεργό έλεγχο με πραγματικά προγράμματα που θα χρησιμοποιήσουμε καθημερινά.

Ένας δείκτης αναφοράς είναι καλό να θέσουμε ελάχιστα δεδομένα απόδοσης στη διαδικασία λήψης αποφάσεων, αλλά δεν πρέπει να καθορίζουν αυτές τις αποφάσεις και, ως τελευταία συμβουλή, να αποφεύγουν τα συνθετικά σημεία αναφοράς που ισχυρίζονται ότι είναι σε θέση να συγκρίνουν τις επιδόσεις μεταξύ αρχιτεκτονικών, λειτουργικών συστημάτων κ.λπ.