OmniTouch

Μία από τις μεγάλες επαναστάσεις στους υπολογιστές ήταν οι οθόνες αφής. Έφεραν έναν νέο τρόπο αλληλεπίδρασης με τον υπολογιστή, είτε με ειδικό δείκτη είτε με το δάχτυλό σας. Το 2011, η Microsoft προχώρησε περισσότερο με την εισαγωγή του OmniTouch, ενός έργου που έκανε οποιαδήποτε επιφάνεια αγγίσιμη. Η βασική ιδέα είναι να τοποθετήσετε μια κάμερα και μια συσκευή προβολής στον ώμο, που προβάλλει την οθόνη και διαβάζει τα πλήκτρα του χρήστη. Οι δυνατότητες είναι ατελείωτες, επιτρέποντάς μας να μετατρέψουμε το χέρι μας, τον τοίχο, ένα σεντόνι ή οποιαδήποτε άλλη επιφάνεια σε οθόνη αφής .

Πώς λειτουργεί το OmniTouch: αναγνώριση πατημάτων πλήκτρων

Το πιο σημαντικό μέρος του έργου OmniTouch είναι η παρακολούθηση της θέσης και του βάθους των δακτύλων, για να γνωρίζετε πού αγγίζει ο χρήστης. Για αυτό, στο πρωτότυπο χρησιμοποιήθηκε μια κάμερα PrimeSense με ευαισθησία στο βάθος. Σε αντίθεση με μια κανονική κάμερα που μετρά τα χρώματα, το PrimeSense μετρά την απόσταση κάθε σημείου της εικόνας από τον φακό της κάμερας. Η ακρίβεια 1 mm και η ελάχιστη εμβέλεια 20 cm είναι τα κύρια πλεονεκτήματα σε σχέση με την κάμερα Kinect, η οποία χρησιμοποιήθηκε αρχικά στο έργο.

"

Για να εντοπίσετε τα δάχτυλα, το OmniTouch καταγράφει πρώτα τον χάρτη βάθους (A). Στη συνέχεια, υπολογίζεται ο χάρτης κλίσης>"

Στο (Β) μπορείτε να δείτε αυτόν τον χάρτη μεταφρασμένο σε χρώματα: κόκκινο σημαίνει ότι υπάρχει μικρότερο βάθος στη θετική κατεύθυνση του άξονα X ή Y (προς τα πάνω ή προς τα δεξιά) και το μπλε σημαίνει ότι υπάρχει είναι μικρότερο βάθος στην αρνητική κατεύθυνση του άξονα X ή Y (κάτω ή προς τα αριστερά).Το μωβ σημαίνει ότι δεν υπάρχει σχεδόν καμία αλλαγή στο βάθος.

Με αυτόν τον χάρτη, το λογισμικό αναζητά κάθετες κυλινδρικές τομές, μια επιφάνεια που πλησιάζει την κάμερα, μετά μένει και τελικά απομακρύνεται. Τι ήταν ένα δάχτυλο αν το περάσεις από τη μια πλευρά στην άλλη, ουάου. Στον χρωματικό χάρτη, αναζητήστε ένα κόκκινο τμήμα, μετά ένα μωβ και μετά ένα μπλε τμήμα, όλα στον ίδιο κατακόρυφο άξονα.

Οι πιθανοί υποψήφιοι φιλτράρονται ως προς το ύψος, για να φιλτράρουν οτιδήποτε δεν μπορεί να είναι δάχτυλο (για παράδειγμα, ένας κύλινδρος ύψους 2 χιλιοστών δεν μπορεί να αναγνωριστεί ως δάχτυλο, οπότε απορρίπτεται). Στο σχήμα (Γ) μπορείτε να δείτε όλα τα τμήματα των δακτύλων που αναγνωρίζονται.

Μόλις γίνει αυτό, όλα τα κάθετα τμήματα ενώνονται για να σχηματίσουν το δάχτυλο (εικόνα D). Τα δάχτυλα που μπορεί να είναι πολύ κοντά απορρίπτονται και θεωρείται ότι, εφόσον ο χρήστης είναι δεξιόχειρας, το αριστερό μέρος του δακτύλου είναι η άκρη.Και voila, τώρα ξέρουμε πού δείχνει ο χρήστης .

Τώρα, πώς καταλαβαίνουμε αν το δάχτυλο αγγίζει την επιφάνεια; Το λένε flood fill, αλλά θα είναι πιο οικείο αν σου πω ότι είναι σαν να γεμίζεις με τον κάδο μπογιάς της Paint.

Η τεχνική είναι απλή: εντοπίστε το μεσαίο σημείο του δακτύλου και αρχίστε να γεμίζετε pixel προς τα πάνω, αριστερά και δεξιά, με ανοχή 13 χιλιοστών. Δηλαδή, γεμίζουν ένα pixel μόνο εάν η διαφορά μεταξύ του βάθους του και του μέσου σημείου του δακτύλου είναι μικρότερη από 13 χιλιοστά.

Με αυτόν τον τρόπο, εάν το δάχτυλό σας δεν αγγίζει τίποτα, θα γεμιστούν μόνο τα pixel που αντιστοιχούν στο δάχτυλό σας. Εάν αγγίζετε το χέρι, πολλά άλλα θα γεμίσουν. Στην εικόνα μπορείτε να δείτε τι συμβαίνει εάν το δάχτυλο είναι στον αέρα (αριστερά) ή αγγίζει το χέρι (δεξιά). Όταν περάσει ένα ορισμένο περιθώριο γεμισμένων pixel, το λογισμικό θα στείλει ένα πάτημα ή ένα κλικ στην αντίστοιχη θέση.

Πώς λειτουργεί το OmniTouch: Προβολή της εικόνας

Αν και η αναγνώριση των δακτύλων είναι το κεντρικό μέρος, δεν μπορούμε να ξεχνάμε ότι το OmniTouch πρέπει επίσης να προβάλλει μια εικόνα σε οποιαδήποτε επιφάνεια. Ο θάλαμος βάθους χρησιμοποιείται επίσης για αυτό. Όλες οι επιφάνειες στην εικόνα ανιχνεύονται χρησιμοποιώντας έναν αλγόριθμο συνδεδεμένων στοιχείων, ο οποίος εντοπίζει πολύ αποτελεσματικά τα διασυνδεδεμένα σημεία στην εικόνα.

Μόλις οι επιφάνειες μικρότερες από ένα χέρι απορριφθούν, προχωράμε στη στερέωση ενός κέντρου ή σημείου αναφοράς για την προβολή της εικόνας. Αυτό το σημείο βοηθά στον εντοπισμό του προσανατολισμού της επιφάνειας και επομένως επιτρέπει τη δημιουργία μιας εικόνας που δεν φαίνεται παραμορφωμένη.

Το επόμενο δύσκολο σημείο έρχεται όταν πρόκειται για τον εντοπισμό του μεγέθους της επιφάνειας.Δεδομένου ότι οι άκρες των επιφανειών δεν μπορούν να αναγνωριστούν αρκετά καλά, το OmniTouch χρησιμοποιεί τη μέση και τυπική απόκλιση των σημείων συνιστωσών για να τα ταξινομήσει σε πέντε σημεία: χέρι, μπράτσο, σημειωματάριο, τοίχος και τραπέζι. Κάθε ένα από αυτά έχει ένα ορισμένο μέγεθος και ένα κέντρο για την εικόνα.

Το λογισμικό δημιουργεί την εικόνα που θα προβληθεί με όλα τα δεδομένα, παραμορφώνοντάς την έτσι ώστε να εμφανίζεται σωστά στην επιφάνεια. Στη συνέχεια, περνά την εικόνα στον προβολέα, ο οποίος θα εμφανίσει την εικόνα σε οποιαδήποτε επιφάνεια είναι.

Ακριβής τεχνολογία με πολλές δυνατότητες

Δοκιμές που χρησιμοποιούνται για τη μέτρηση της ακρίβειας του OmniTouch.

Στις δοκιμές, το OmniTouch αποδείχθηκε μια πολύ ακριβής τεχνολογία. Ακρίβεια 96,5% όσον αφορά την αναγνώριση ενός κλικ, πολύ καλή φιγούρα και ακόμη περισσότερο αν σκεφτεί κανείς ότι είναι πρωτότυπο.Όσον αφορά το μέγεθος της διεπαφής, με κουμπιά διαμέτρου 2 εκατοστών, θα αναγνωρίζονταν το 95% των πλήκτρων.

Αυτό το μέγιστο μέγεθος είναι απαραίτητο για μια διεπαφή που προβάλλεται στο χέρι. Σε άλλες επιφάνειες πιο μακριά, όπως ένα τραπέζι ή ένας τοίχος, θα μπορούσε να μειωθεί στα 15 χιλιοστά, περίπου το ίδιο μέγεθος που συνιστάται για ένα κουμπί σε μια συμβατική οθόνη αφής .

"

Όσο για τις δυνατότητες, είναι ατελείωτες. Με το πρωτότυπο δημιουργήθηκε ένα αναλόγιο για να ζωγραφίσεις: στον τοίχο σχεδίαζες και στο αριστερό σου χέρι διάλεγες τα χρώματα. Χρησιμοποιείται επίσης ως highlighter>"

Αλλά το πιο ενδιαφέρον πράγμα είναι αυτό που αναφέρουν στο τέλος του εγγράφου: οι δυνατότητες που ανοίγει το OmniTouch όταν σταματήσουμε να εξετάζουμε τις δισδιάστατες επιφάνειες, εκμεταλλευόμενοι τα σχήματα του σώματος για να αλλάξουμε τον τρόπο αλληλεπιδρούμε με τον υπολογιστή.

"Το

OmniTouch είναι ένα πραγματικά συναρπαστικό έργο, τόσο στην τεχνική του όσο και στις δυνατότητές του. Θα μιλήσουμε ξανά για αυτόν σύντομα στο ειδικό The future σύμφωνα με το Microsoft>"

Σε Xataka Windows | Το μέλλον σύμφωνα με τη Microsoft Περισσότερες πληροφορίες | OmniTouch