OmniTouch

Salah satu revolusi besar dalam komputasi adalah layar sentuh. Mereka membawa cara baru untuk berinteraksi dengan komputer, baik dengan penunjuk khusus atau dengan jari Anda. Pada tahun 2011, Microsoft melangkah lebih jauh dengan memperkenalkan OmniTouch, sebuah proyek yang membuat permukaan apa pun dapat disentuh. Ide dasarnya adalah memasang kamera dan perangkat proyektor di bahu, yang memproyeksikan layar dan membaca penekanan tombol pengguna. Kemungkinannya tidak terbatas, memungkinkan kita mengubah tangan, dinding, lembaran, atau permukaan lainnya menjadi layar sentuh.

Cara kerja OmniTouch: mengenali penekanan tombol

Bagian terpenting dari proyek OmniTouch adalah pelacakan posisi dan kedalaman jari, untuk mengetahui di mana pengguna menyentuh. Untuk ini, kamera PrimeSense peka kedalaman digunakan dalam prototipe. Tidak seperti kamera biasa yang mengukur warna, PrimeSense mengukur jarak setiap titik pada gambar dari lensa kamera. Keakuratan 1mm dan jangkauan minimum 20cm adalah keunggulan utama dibandingkan kamera Kinect, yang awalnya digunakan dalam proyek.

"

Untuk menemukan jari, OmniTouch terlebih dahulu menangkap peta kedalaman (A). Kemudian, peta kemiringan dihitung >"

Dalam (B) Anda dapat melihat bahwa peta diterjemahkan ke dalam warna: merah berarti ada kedalaman yang lebih sedikit pada arah positif sumbu X atau Y (ke atas atau ke kanan) dan biru berarti ada kedalamannya kurang dalam arah negatif sumbu X atau Y (turun atau ke kiri).Ungu berarti hampir tidak ada perubahan kedalaman.

Dengan peta ini, perangkat lunak mencari bagian silinder vertikal, permukaan yang mendekati kamera, lalu diam, dan akhirnya menjauh. Apa jadinya jari jika dijalankan dari satu sisi ke sisi lain, wah. Pada peta warna, cari bagian merah, lalu bagian ungu, lalu bagian biru, semuanya pada sumbu vertikal yang sama.

Kandidat yang mungkin disaring berdasarkan ketinggian, untuk menyaring apa pun yang tidak dapat menjadi jari (misalnya, silinder setinggi 2 milimeter tidak dapat dikenali sebagai jari, sehingga dibuang). Pada gambar (C) Anda dapat melihat semua bagian jari yang teridentifikasi.

Setelah ini selesai, semua bagian vertikal disatukan untuk membentuk jari (gambar D). Jari-jari yang mungkin terlalu pendek dibuang, dan diasumsikan bahwa karena penggunanya tidak kidal, maka bagian paling kiri dari jari tersebut adalah ujungnya.Dan voila, kita sekarang tahu ke mana pengguna menunjuk ke .

Sekarang, bagaimana kita tahu jika jari menyentuh permukaan? Mereka menyebutnya isi banjir, tetapi akan lebih akrab jika saya memberi tahu Anda bahwa itu seperti mengisi ember cat dari Cat.

Tekniknya sederhana: cari titik tengah jari, dan mulailah mengisi piksel ke atas, kiri, dan kanan, dengan toleransi 13 milimeter. Artinya, mereka hanya mengisi piksel jika perbedaan antara kedalamannya dan titik tengah jari kurang dari 13 milimeter.

Dengan cara ini, jika jari Anda tidak menyentuh apa pun, hanya piksel yang sesuai dengan jari Anda yang akan terisi. Jika Anda menyentuh tangan, lebih banyak lagi yang akan terisi. Pada gambar Anda dapat melihat apa yang terjadi jika jari di udara (kiri) atau menyentuh tangan (kanan). Ketika margin tertentu dari piksel yang diisi dilewati, perangkat lunak akan mengirimkan ketukan atau klik di tempat yang sesuai.

Cara Kerja OmniTouch: Memproyeksikan Gambar

Meskipun pengenalan jari adalah bagian utama, kami tidak dapat melupakan bahwa OmniTouch juga harus memproyeksikan gambar ke permukaan apa pun. Ruang kedalaman juga digunakan untuk ini. Semua permukaan pada gambar dideteksi menggunakan algoritme komponen yang terhubung, yang dengan sangat efisien mendeteksi titik yang saling berhubungan pada gambar.

Setelah permukaan yang lebih kecil dari tangan dibuang, kami melanjutkan untuk memperbaiki pusat atau titik referensi untuk memproyeksikan gambar. Titik ini membantu mendeteksi orientasi permukaan dan karenanya memungkinkan untuk membuat gambar yang tidak terlihat terdistorsi.

Poin sulit berikutnya datang ketika harus mendeteksi ukuran permukaan.Karena tepi permukaan tidak dapat dikenali dengan baik, OmniTouch menggunakan deviasi rata-rata dan standar titik komponen untuk mengklasifikasikannya menjadi lima titik: tangan, lengan, notebook, dinding, dan meja. Masing-masing memiliki ukuran tertentu dan pusat gambar.

Perangkat lunak menghasilkan gambar untuk diproyeksikan dengan semua data, mendistorsinya sehingga muncul dengan benar di permukaan. Ini kemudian meneruskan gambar ke proyektor, yang akan menampilkan gambar pada permukaan apapun itu.

Teknologi presisi dengan banyak kemungkinan

Tes digunakan untuk mengukur akurasi OmniTouch.

Dalam pengujian, OmniTouch terbukti menjadi teknologi yang sangat presisi. Akurasi 96,5% dalam hal mengenali klik, angka yang sangat bagus dan terlebih lagi mengingat ini adalah prototipe.Mengenai ukuran antarmuka, dengan tombol berdiameter 2 sentimeter, 95% penekanan tombol akan dikenali.

Ukuran maksimum ini diperlukan untuk antarmuka yang diproyeksikan di tangan. Pada permukaan lain yang lebih jauh, seperti meja atau dinding, dapat dikurangi menjadi 15 milimeter, ukuran yang kurang lebih sama dengan yang direkomendasikan untuk tombol pada layar sentuh konvensional.

"

Untuk kemungkinannya, mereka tidak terbatas. Dengan prototipe, podium dibuat untuk melukis: di dinding Anda menggambar dan di tangan kiri Anda memilih warna. Juga digunakan sebagai stabilo>"

Namun hal yang paling menarik adalah apa yang mereka sebutkan di akhir dokumen: kemungkinan yang dibuka oleh OmniTouch saat kita berhenti mempertimbangkan permukaan dua dimensi, memanfaatkan bentuk bodi untuk mengubah cara kita berinteraksi dengan komputer.

"

OmniTouch adalah proyek yang benar-benar menarik, baik dalam teknik maupun kemungkinannya. Kami akan segera membicarakannya lagi di masa depan khusus menurut Microsoft>"

Di Xataka Windows | Masa depan menurut Microsoft Informasi lebih lanjut | OmniTouch