NAMA : WAHID WARISMAN
NPM : 29112358
KELAS : 2KB01
Gesture
Recognition Subsystem
The Gesture Recognition Subsistem bertanggung jawab untuk mengekstraksi
fitur yang diperlukan untuk klasifikasi gestural dan mengidentifikasi mereka
terhadap database yang dikenal pola gestural.
Gambar 6:
Gesture Identifikasi Subsystem
Tahap estimasi berpose opsional akan menentukan orientasi tangan dan lengan
dan menerapkan matriks kompensasi untuk menempatkan titik-titik dalam orientasi
yang akan lebih baik ekstraksi fitur suit. Seperti subsistem sebelumnya,
algoritma ICP dari PCL akan melayani untuk estimasi berpose dan kompensasi. Sebagai
contoh, sebuah gerakan tangan terbuka mungkin perintah yang sama terlepas dari
orientasi dan reorientasi tangan ke posisi yang dikenal dan dapat memfasilitasi
ekstraksi lebih baik dan klasifikasi. Tahap estimasi berpose juga akan
menegakkan batas bersama untuk membantu lebih baik mengidentifikasi pose
gestural.
Tahap ekstraksi fitur dan klasifikasi adalah terus menerus Hidden Markov
Model (HMM) sementara transisi mesin negara berbasis. Ada beberapa masukan
untuk tahap ini termasuk:
·
Sebuah spesifikasi standar atau database terlatih model tangan / lengan
mewakili semua gerakan yang harus diidentifikasi dan probabilitas transisi
mereka. ·
·
Sebuah identifikasi unik per gerakan dikenali.
·
Variasi diijinkan dalam gerakan kelengkapan.
Setelah perintah gestural telah diidentifikasi, perintahnya adalah masa
lalu dari subsistem pengakuan gerakan ke subsistem identifikasi perintah.Sistem
pengenalan gerakan serupa telah 97% efektif dalam mengidentifikasi gerakan.
Visualisasi
Subsystem
Tujuan utama dari Subsystem Visualisasi adalah untuk membuka dan menguji
kompleks segmentasi dan identifikasi proses yang diperlukan untuk pengenalan
gestural dan pelacakan kepala. Subsistem ini akan memungkinkan para
pengembang akses ke struktur data internal dari subsistem dan membuat
visualisasi 3D data dan interaksi mereka. Semua perintah subsistem akan
disampaikan melalui subsistem visualisasi untuk proses yang sesuai. Ini
akan memungkinkan real-time perintah pengembang dan kontrol dari seluruh
sistem. Subsistem ini tidak akan diperlukan dalam sistem dikerahkan.
Kepala
Tracking Command Identifikasi Subsystem
Kepala Tracking Command Identifikasi Subsistem mengambil posisi dan
orientasi dari pilot (s) 's kepala dan menerjemahkannya ke dalam perintah
ditindaklanjuti. Manfaat dari subsistem yang terpisah ini adalah bahwa
pelacakan kepala dapat dikembangkan independen dari penggunaan. Hanya
subsistem ini perlu menyadari kemampuan helikopter dan sistem komando.
Gestural
Command Identifikasi dan Interface Subsystem
The Gestural Command Identifikasi dan Interface Subsystem adalah tabel
lookup sederhana dan proses dimana gerakan diidentifikasi dijabarkan ke dalam
perintah dan diteruskan ke sistem komando helikopter. Keuntungan utama
untuk memiliki subsistem akhir ini untuk menerjemahkan gerakan menjadi perintah
adalah bahwa hal itu dapat dikembangkan agnostically dan digunakan dalam
berbagai udara, darat dan laut aset.Hanya tahap akhir ini akan membutuhkan
pengetahuan tentang antarmuka aset udara mempekerjakan.
Gesture recognition
Gesture Recognation adalah suatu gerakan yang bertujuan
menafsirkan gerakan manusia melalui algoritma matematika. Pengenalan gerakan
dapat berasal dari setiap gerak tubuh atau negara tetapi umumnya berasal dari
wajah atau tangan. Saat ini berfokus di lapangan termasuk identifikasi
pengenalan emosi dari wajah dan pengenalan isyarat tangan. Banyak pendekatan
telah dibuat dengan menggunakan kamera dan algoritma komputer visi untuk
menafsirkan bahasa isyarat. Namun, identifikasi dan pengenalan dari postur,
gaya berjalan, proxemics, dan perilaku manusia juga subjek teknik pengenalan
gerakan. Pengenalan gerak dapat dilihat sebagai cara bagi komputer untuk
mulai memahami bahasa tubuh manusia, sehingga membangun jembatan yang lebih
antara mesin dan manusia daripada antarmuka pengguna teks primitif atau bahkan
GUI (antarmuka pengguna grafis), yang masih membatasi mayoritas masukan untuk
keyboard dan mouse.
Contoh aplikasi:
Flutter: memungkinkan siapapun yang memiliki Mac / Windows
komputer dan webcam untuk men-download sebuah aplikasi yang memungkinkan mereka
untuk mengontrol Musik & Video aplikasi seperti Spotify, iTunes, Windows
Media Player, QuickTime, dan gerakan menggunakan VLC.
Gesture Recognition Computer Vision Control Technology Motion
Sensing Systems for Presentation : untuk mempermudah kita dalam melakukan
presentasi
Gesture Recognition untuk UAV Pembawa Operasi Deck
Penggunaan Unmanned Aerial Vehicles (UAV) dalam mendukung Warfighter telah tumbuh secara signifikan selama bertahun-tahun dan akan terus melakukannya di masa depan. UAV menawarkan keuntungan yang signifikan untuk Warfighter dengan sangat memperluas jangkauan operasi dan ketekunan atas medan perang. UAV saat ini telah efektif digunakan di Irak dan Afghanistan; sangat mengurangi risiko yang ditimbulkan kepada warfighters Amerika dan sekutu. Oleh karena itu, Departemen Pertahanan (DoD) telah dianggap integrasi UAV dengan operasi penerbangan normal seperti penting untuk kesuksesan masa depan.
Sebagai peran UAV meningkat dalam DoD, integrasi UAV ke operasi tempur normal memerlukan kolaborasi sukses antara manusia dan mesin. Hubungan ini didasarkan pada saling pengertian konteks, kejelasan maksud, dan koordinasi upaya yang semuanya harus ditetapkan dan dipelihara dalam lingkungan 'dunia nyata'.
Pada pembawa dek, direktur pesawat (atau marshaller) bertanggung jawab untuk mengkoordinasikan semua pesawat sebelum dan setelah penerbangan. Marshalling Pesawat adalah dialog visual antara direktur dan pilot pesawat, membutuhkan pengakuan didirikan tubuh dan gerakan tangan oleh pilot dalam konteks ground handling pesawat. Gerakan ini mengkomunikasikan maksud atau perintah dari direktur pesawat untuk pilot, membutuhkan percontohan penegasan untuk menyelesaikan pertukaran dialog. Mengenali dan bereaksi terhadap gerakan ini didirikan oleh UAV memastikan keberhasilan integrasi pesawat tak berawak ke operasi penerbangan dek.
Sistem yang dijelaskan dalam artikel ini memungkinkan untuk pengakuan gerakan yang digunakan oleh direksi pesawat marshal pesawat tak berawak pada deck operator tanpa bantuan sinyal atau identifikasi perangkat tambahan. Konsep pembangunan didasarkan pada mendirikan pusat penelitian dan algoritma memperoleh akurasi yang lebih baik dari 90% dalam pengakuan gerakan dengan kemampuan untuk belajar pose dan gerakan baru melalui pelatihan offline.Pendekatan
Pendekatan teknis yang diambil oleh Rotan Software adalah untuk memecahkan kompleksitas pengakuan gerakan ke dalam kerangka subsistem logis daripada yang bisa dikembangkan dan diintegrasikan. Bahkan, pengakuan gerakan itu sendiri bagian dari robotika yang lebih besar dan masalah visi mesin meliputi subsistem UAV kompleks lainnya termasuk perencanaan jalan, otomatis take off / landing dan menghindari rintangan. Dialog berbasis subsistem pengakuan gerakan alami akan diteliti dan dirancang untuk mengakomodasi berbagai konfigurasi UAV dan ukuran, dengan peringatan pengembangan dan persyaratan didokumentasikan selama fase I.Gesture Recognition Sistem Ikhtisar
Subsistem logis meliputi sistem pengenalan gesture diidentifikasi pada Gambar 1 Gesture Recognition System Diagram.Gambar 1: Gesture Recognition System Diagram
Gambar 1: Gesture Recognition System Diagram
Subsistem yang ditunjukkan pada Gambar 1 dapat dibagi menjadi tiga kategori: Koleksi, Klasifikasi dan Pengakuan:Koleksi
Pelacakan dan penginderaan posisi dan pose direktur pesawat yang terdiri dari subsistem berikut:
Dunia View Sensor Subsystem
Dunia subsistem sensor kesadaran digunakan untuk membangun kesadaran situasional.
Gesture Sensor (s) Subsystem
Sebuah array minimal mengganggu dari satu atau lebih sensor yang dapat menangkap pose direktur pesawat dan gerak tubuh.
Fusion Subsystem
Gabung dan kuantisasi dari satu atau lebih sensor gerakan ke ruang angkasa dunia.
Klasifikasi
Dunia View Sensor Subsystem
Dunia subsistem sensor kesadaran digunakan untuk membangun kesadaran situasional.
Gesture Sensor (s) Subsystem
Sebuah array minimal mengganggu dari satu atau lebih sensor yang dapat menangkap pose direktur pesawat dan gerak tubuh.
Fusion Subsystem
Gabung dan kuantisasi dari satu atau lebih sensor gerakan ke ruang angkasa dunia.
Pengakuan
Pengakuan gerakan direktur pesawat dan perintah melalui serangkaian pose menggunakan subsistem berikut:
Gesture Recognition Subsystem
Bertanggung jawab untuk mengidentifikasi gerakan direktur pesawat dari urutan pose.
UAV Gesture Command dan Konteks Subsystem
Mengelola negara atau konteks dimana perintah gerakan berlaku, respon terhadap direktur penerbangan dan antarmuka perintah UAV dan kontrol.
Dunia View Sensor Subsystem
Pembawa deck adalah lingkungan operasi yang kompleks dan dinamis yang membutuhkan koordinasi dan komunikasi antara beberapa personil dengan tugas pekerjaan tertentu. Direktur pesawat adalah salah satu dari banyak individu yang beroperasi di dekat pesawat. Mengidentifikasi, mengisolasi dan melacak direktur yang bertanggung jawab atas pesawat UAV adalah tugas pertama dalam sistem pengenalan isyarat alam dialog. Tugas ini dapat diperoleh melalui pandangan dunia sensor subsistem yang tanggung jawabnya adalah untuk menyediakan data capture dari lingkungan sekitarnya UAV. Pandangan dunia sensor digunakan untuk membangun kesadaran situasional yang meliputi perencanaan jalan, menghindari rintangan, otomatis take-off dan landing serta pelacakan direktur pesawat.
Sensor pemindaian LIDAR dari perusahaan seperti Velodyne dapat digunakan untuk mengumpulkan pandangan dunia 3D titik awan dari lingkungan operasi. The Velodyne LIDAR sensor telah berhasil digunakan di sejumlah aplikasi robot otonom dan semi-otonom seperti perencanaan jalan dan menghindari hambatan dalam DARPA Grand Challenge. Namun, sensor pemindaian mungkin tidak memiliki resolusi yang cukup untuk mengidentifikasi berpose dan gerakan, sehingga membutuhkan sensor gerakan diarahkan tambahan untuk menangkap menimbulkan data.
Menyadari direktur pesawat yang bertanggung jawab akan memerlukan pelacakan semua entitas yang bergerak dalam kaitannya dengan UAV dan mengidentifikasi direktur yang ditunjuk melalui identifikasi visual warna dari direktur rompi penerbangan dan / atau melalui pengakuan sikap otoritas perintah khusus. Setelah kunci telah didirikan pada sutradara pesawat yang bertanggung jawab, orientasi dan posisi direktur dalam kaitannya dengan UAV akan digunakan untuk sensor gerakan khusus orientasi ke arah sutradara serta menentukan titik awan wilayah tanam sekitar direktur pesawat.
Tabel 1 adalah storyboard menyoroti kompleksitas pelacakan direktur pesawat pada pembawa dek.
UAV pada ramai dek penerbangan
Dunia View Sensor scanning radius
Sensor gerakan gimbaled dengan sutradara pesawat wilayah tanam didefinisikan
Direktur pesawat Cropped output sensor gesture
Pandangan dunia sensor juga dapat digunakan untuk memprediksi kapan pengakuan gerakan akan gagal, seperti kasus ketika sutradara pesawat yang tersumbat oleh pelaut lain. UAV akan memberitahu direktur pesawat dari konflik pengakuan gerakan fisik sehingga direktur pesawat bisa melanjutkan posisi yang lebih baik isyarat atau re-issue gerakan itu.Tabel 1: UAV pada operator dek pribadi dengan
Tabel 1: UAV pada operator dek pribadi dengans2
Tabel 1: Dunia rentang sensor kesadarans3
Tabel 1: Gesture sensor recogition mengidentifikasi direktur pesawats4
Tabel 1: Direktur Aircraft terisolasi dari lingkunganGesture Sensor Subsystem
The Gesture Sensor Subsystem terdiri dari berbagai warna (RGB) dan kedalaman (D) sensor gambar yang dapat mandiri dibimbing dan terfokus pada direktur pesawat oleh World View Sensor Subsystem. Subsistem ini bertanggung jawab untuk pra-pengolahan RGB & D data sensor menjadi titik warna awan 3D yang dapat dicerna oleh Fusion Subsystem. The Gesture Sensor Subsystem mencakup sejumlah langkah dan proses yang dirancang untuk mengurangi dan menyaring data yang diambil untuk satu set yang bisa diterapkan poin 3D dalam ruang sensor.Gambar 2: Sensor Gesture Subsystem
Gambar 2: Sensor Gesture Subsystem
Proses pelacakan dan orientasi kontrol akan melacak direktur pesawat di dek penerbangan dengan re-orientasi sensor sebagai direktur bergerak tentang dek penerbangan. Jika direktur bergerak keluar dari jangkauan atau tersumbat, maka sensor akan menghentikan titik aliran 3D sampai direktur tersebut kembali acquired.Since ada berbagai biaya rendah, RGB-D sensor berdaya rendah yang dapat diuji, Gesture Sensor Subsystem akan dirancang untuk abstrak sensor dari reset subsistem. Sensor gerakan yang memiliki keduanya RGB & D kemampuan akan menjalani langkah pendaftaran menggunakan pra-dikalibrasi "papan catur" koefisien untuk menyelaraskan terpisah RGB & D buffer menjadi titik warna 3D terdaftar cloud.The tahap akhir dalam Gesture Sensor software Subsistem stack adalah serangkaian filter dinamis dan dikonfigurasi yang meliputi:
Sebuah tanam tapis ruang akan digunakan untuk mengurangi menunjuk ke sebuah daerah yang dibatasi kepentingan (ROI) sekitar direktur pesawat sasaran. Langkah ini sangat penting dalam mengurangi jumlah poin yang dikirimkan ke Fusion Subsystem. Filter ini sangat meningkatkan kemungkinan identifikasi berpose sukses dengan menghapus poin latar belakang dan poin bukan penghasil lainnya dalam frustum sensor gerakan.
Kebisingan filter untuk kelancaran poin palsu dan jitter yang disebabkan oleh cahaya terstruktur dan waktu-of-flight (ToF) sensor.
Fungsi kliping RGB-D untuk threshold atau menghapus poin bukan penghasil dalam ROI yang dapat berhasil dihapus tanpa mengorbankan integritas identifikasi berpose.
Hasil akhir dari masing-masing sensor gesture akan menjadi titik warna 3D awan dipotong dari direktur pesawat. The Gesture Sensor Subsystem akan mengalirkan poin dalam bingkai pada tingkat yang telah ditentukan yang mengoptimalkan menimbulkan identifikasi tanpa membebani beban komputasi.
Sementara Subsystem Gesture Sensor akan dikembangkan pada workstation high-end yang dapat meng-host beberapa sensor 3D, idealnya setiap sistem sensor akan memiliki prosesor rendah daya khusus yang bisa mengeksekusi pipa software sensor gerakan.Fusion SubsystemGambar 3: Fusion Subsystem
Gambar 3: Fusion Subsystem
The Fusion Subsistem bertanggung jawab untuk menggabungkan aliran titik 3D dari satu atau lebih sensor gerakan menjadi 3D voxelstream terkuantisasi. Sekering beberapa aliran titik diambil dari sudut yang berbeda akan memungkinkan Fusion Subsystem untuk lulus ke Pose Identifikasi Subsystem satu set kaya poin 3D (sebagai voxel) yang diurutkan ke dalam grid 3D. Hal ini akan memungkinkan Pose Identifikasi Subsystem untuk lebih mengidentifikasi pose dan kurang rentan terhadap oklusi transien yang disebabkan oleh gerakan direktur pesawat. Resolusi voxel akan ditentukan oleh aplikasi pelatihan berpose dan gerakan untuk memaksimalkan keberhasilan identifikasi berpose tanpa undo kuantisasi. Proses pertama di Fusion Subsystem adalah aplikasi perpaduan unik transformasi ke setiap frame sensor aliran. Header dari setiap frame aliran sensor akan berisi orientasi mengubah mewakili dan posisi sensor induk. The fusion mengubah akan menempatkan setiap titik 3D dari aliran sensor ke dalam ruang dunia umum bahwa UAV menempati.
Tergantung pada pelacakan dan sensor akurasi sensor gerakan, jumlah sensor gerakan, dan resolusi titik masukan yang diperlukan untuk voxelization, mungkin ada keselarasan langkah tambahan yang diperlukan untuk menempatkan titik-titik dalam ruang yang benar final. Ini akhir transformasi akan berasal dari titik terdekat Iteratif (ICP) algoritma untuk mencocokkan sensor 2 sampai N ke ruang yang ditempati oleh sensor 1.
Poin-poin yang dihasilkan akan diurutkan menjadi voxel jaringan 3D. Voxel jaringan ini adalah satu set terkuantisasi poin yang mewakili direktur pesawat pada saat itu dalam waktu seperti yang terlihat dari semua sensor berkontribusi.Pose Identifikasi SubsystemGambar 4: Pose Identifikasi Subsystem
Gambar 4: Pose Identifikasi Subsystem
The Pose Identifikasi Subsistem bertanggung jawab untuk membagi frame dari aliran sensor voxel menyatu dan menentukan id pose direktur pesawat dari setiap frame tersegmentasi. Telah ada banyak penelitian yang dilakukan di bidang identifikasi berpose, dengan perkembangan terbaru menggunakan sebuah sensor kedalaman 3D untuk memperoleh model kerangka subjek untuk input berpose identification.As, Pose Identifikasi Subsystem akan menerima aliran kontinu frame voxel 3D mewakili Direktur pesawat dilacak. Frame voxel tersebut akan tiba pada interval waktu yang tetap ditentukan oleh berpose dan pelatihan gerakan persyaratan. Untuk setiap frame voxel diterima, id berpose akan dibuat dan diteruskan ke Gesture Recognition Subsystem.Accompanying setiap frame voxel akan menjadi orientasi dan posisi set relatif terhadap UAV dalam ruang pandangan dunia. Hal ini akan memungkinkan pose kompensasi langkah untuk mengarahkan dan / atau skala frame voxel dengan cara pas proses identifikasi berpose terlepas dari posisi relatif dari direktur pesawat ke UAV.Within inti dari Pose Identifikasi Subsystem, ada dua utama jalan untuk mengeksplorasi. Jalan lebih diteliti membutuhkan pembentukan kerangka dinormalisasi diwakili oleh rantai kinematik yang dapat memiliki batas gabungan ditegakkan. Namun, hal itu juga mungkin untuk membuat indeks yang unik dari grid hunian yang dapat digunakan untuk mengidentifikasi pose.Skeletal Pose Identifikasi
Pose identifikasi melalui skeletonization secara umum dapat digambarkan dalam tiga tahap yaitu ekstraksi ciri / segmentasi, skeletonization, dan Kinematika terbalik. Ekstraksi fitur / segmentasi dapat diimplementasikan melalui statistik kepadatan sampling dan / atau melalui deteksi titik kunci dari bagian tubuh subjek dari frame voxel kompensasi. Setelah bagian tubuh telah diidentifikasi, langkah skeletonization menciptakan rantai kinematik yang mewakili kerangka subjek. Ada sejumlah manfaat kunci untuk memiliki rantai skeletal kinematik yang diterapkan dalam langkah kinematik. Pertama, batas bersama dapat diberlakukan untuk menghilangkan pose mungkin dari proses identifikasi. Kedua, rantai kinematik dapat mewakili negara, yang dapat membantu proses identifikasi berpose pulih dari kesalahan yang menyebabkan oklusi langkah ekstraksi ciri / segmentasi gagal. Terakhir, rantai kinematik dapat dinormalisasi untuk menghapus kesalahan yang disebabkan oleh atribut fisik direktur pesawat seperti ukuran, tinggi dan pakaian, sehingga meningkatkan kemungkinan identifikasi berpose sukses. Pose identifikasi menggunakan rantai kinematik melibatkan mencari database berpose untuk pertandingan tulang yang cocok.Hunian Grid Pose Identifikasi
Input bingkai voxel pada dasarnya adalah sebuah hunian kotak 3D pose direktur pesawat. Pose identifikasi pada dasarnya akan memerlukan mengeksplorasi dan mengembangkan algoritma yang dapat membuat hash yang unik dari grid hunian yang dapat digunakan untuk mencari / index database berpose. Sementara menimbulkan identifikasi melalui hashing grid hunian tidak seperti yang banyak diteliti, ia menawarkan manfaat yang unik mengurangi menimbulkan identifikasi untuk fungsi matematika murni. Dengan beberapa gerakan sensor berkontribusi terhadap hunian grid, lebih kaya, lebih padat voxel set disediakan mungkin menghilangkan biaya segmentasi, skeletonization, dan kinetika terbalik.Tangan Pose Identifikasi
Penentuan posisi tangan direktur pesawat dan orientasi mungkin memerlukan upaya tambahan untuk mengekstrak. Hal ini tidak mungkin bahwa sensor gesture akan memiliki resolusi yang cukup untuk segmen dan mengidentifikasi detil tangan jika direktur pesawat berdiri jauh dari sensor.
Dalam hal ini, posisi tangan baik dari rantai kinematik atau occupancy grid akan digunakan untuk mengidentifikasi lokasi tangan dalam gambar RGB diambil dari sensor gerakan. Gambar fitur RGB tangan ini akan tersegmentasi dan fitur diekstraksi untuk menentukan orientasi tangan yang paling mungkin. Setelah detail tangan dan orientasi telah diidentifikasi, baik rantai kinematik dan / atau grid hunian dapat ditambah dengan detail tangan baru atau ID tangan tambahan dapat dikirimkan ke Gesture Recognition Subsystem.Ekstrinsik Dynamics
Ada sejumlah algoritma pengenalan gesture yang membutuhkan penangkapan dinamika ekstrinsik antara pose diidentifikasi. Untuk algoritma tersebut, dinamika ekstrinsik akan ditangkap oleh Subsystem Pose Identifikasi dan melekat pada berikut berpose ID untuk input ke dalam aplikasi Pelatihan Gesture atau Gesture Recognition Subsystem.Pose Capture dan Pelatihan Gesture AplikasiGambar 5: Capture dan Pelatihan Aplikasi
Gambar 5: Capture dan Pelatihan Aplikasi
The Pose Capture dan Pelatihan Gesture Aplikasi adalah aplikasi terpisah yang menangkap dan segmen direktur pesawat pose ke urutan diidentifikasi yang mewakili gerakan perintah UAV. Urutan yang diidentifikasi kemudian diolah menjadi jaringan index-able/searchable atau database yang dapat digunakan untuk menimbulkan real-time dan gesture identification.Using Pose Tangkap Application, perintah gerakan direktur pesawat harus dicatat ke arsip pada resolusi penuh. Setiap gerakan perintah akan ditangkap beberapa kali, dari beberapa direktur pesawat, dari berbagai sudut berasal dari kemungkinan sensor gesture posisi di UAV. Pose capture arsip akan tersedia untuk daur ulang sebagai pelatihan sikap dewasa.
Aplikasi Pelatihan Gesture digunakan oleh operator untuk melatih Subsystem Pose Identifikasi segmen, merangkakan dan mengenali pose dari urutan ditangkap berpose. Pose duplikat harus diidentifikasi dan rantai urutan dibuat yang dapat dibagi oleh operator ke urutan perintah. Urutan berpose akan diterjemahkan ke dalam jaringan Bayesian yang dapat dilalui dari waktu ke waktu untuk mengidentifikasi urutan.
Bayesian network yang dihasilkan akan disimpan dalam database Bayesian yang dapat dimuat oleh kedua Identifikasi Pose dan Gesture Recognition Subsistem.Gesture Recognition Subsystem
Karena Pose Identifikasi Subsystem disarikan, yang Gesture Recognition Subsystem menerima aliran kontinu menimbulkan ID dan menentukan gerakan yang paling mungkin melalui pencarian jaringan Bayesian. Keberhasilan identifikasi isyarat akan menghasilkan ID isyarat yang disampaikan kepada Komando UAV dan Konteks Subsystem.
Ketika menimbulkan ID memasuki subsistem mereka disimpan pada akhir daftar berpose ID. Daftar ini merupakan ruang dicari antara gerakan terakhir berhasil mengidentifikasi dan pose yang terakhir diterima. Node pertama dalam daftar belum tentu awal gerakan. Awal gerakan mungkin setiap node dalam daftar mengakibatkan apa yang dikenal sebagai segmentasi ambiguitas. Masalah segmentasi ambiguitas terjadi ketika awal dan akhir dari isyarat tidak mudah jelas. Setelah identifikasi berhasil isyarat, daftar dapat dipangkas atau dikosongkan untuk mengurangi ruang pencarian untuk gerakan berikutnya. Pose ID Daftar akan mendukung algoritma pengenalan gesture baik terisolasi atau kontinu.
Cara jaringan Bayesian dan algoritma pencarian yang menyertainya adalah subjek penelitian Tahap I; Oleh karena itu, jaringan dan proses pencarian juga akan menjadi abstraksi dalam Gesture Recognition Subsystem, memungkinkan untuk beberapa jaringan dan algoritma untuk diidentifikasi, dikembangkan dan diteliti.Hidden Markov Model (HMM)
Hidden Markov Model adalah bentuk sederhana dari Dinamis Bayesian Network (DBM) dimana sistem dimodelkan adalah proses Markov dengan negara-negara yang tidak teramati atau disembunyikan. HMM adalah serangkaian negara yang terbatas di mana setiap transisi negara memiliki dua kemungkinan: probabilitas transisi dan probabilitas output. HMMs sangat mahir mengenali gerak tubuh, di mana setiap gerakan dibuat sebagai HMM independen. The HMMs gesture dapat dikombinasikan untuk menciptakan jaringan pencarian terisolasi atau kontinu.Gambar 6: Gesture Recognition Subsystem
Gambar 6: Gesture Recognition Subsystem
Setiap gerakan oleh karena itu, diwakili oleh HMM multi-dimensi yang terdiri dari serangkaian pose transisi dan penyelesaian akhir berpose. Kedua struktur jaringan berpose dan probabilitas matriks ditentukan melalui pelatihan oleh Application Training Gesture. Gestures diakui sebagai urutan HMM pengambangan dengan probabilitas tertinggi.Laten-Dinamis Conditional Acak Lapangan (LDCRF)
Penyelidikan baru-baru ini lebih ke pengakuan gerakan telah menghasilkan hasil yang positif dengan Laten-Dinamis Bersyarat Fields Acak atau laten-Pose Bersyarat Acak Fields (LPCRF). Algoritma ini dapat memperoleh manfaat dari masukan dari dinamika ekstrinsik antara pose serta struktur berpose (pose ID) untuk meningkatkan akurasi pengenalan gesture. Algoritma ini juga mengendurkan asumsi kemerdekaan pengamatan, sehingga dinamika ekstrinsik untuk mengklasifikasikan negara tersembunyi. Dinamika ekstrinsik diwakili sebagai variabel tambahan pada model negara tersembunyi yang berkontribusi pada transisi atau probabilitas observasi.UAV Gesture Command dan Konteks Subsystem
Karena gerakan direktur pesawat adalah bagian dari dialog antara direktur pesawat dan UAV, adalah penting bahwa UAV memahami konteks perintah dan merespon dengan tepat. Konteks perintah diakui melalui serangkaian gerakan dipahami dan mendirikan kesadaran situasional. Membangun kesadaran situasional mungkin memerlukan berinteraksi dengan sistem otonom dan semi-otonom tambahan. Sementara pilot dapat menonton serangkaian perintah dan merespon dengan anggukan, hormat, atau 'thumbs up', UAV akan perlu sinyal pemahaman melalui jelas sarana elektronik. Sebagai contoh, sebuah subsistem menghindari rintangan mungkin sinyal UAV untuk menghentikan ketika terdapat konflik jalan. Tindakan override ini perlu dikomunikasikan kepada direktur pesawat. Tabel di bawah ini menampilkan bagian dari respon LED hipotetis untuk menyelesaikan dialog antara UAV dan direktur penerbangan.LED UAV Pesan / NegaraBiru UAV siap dan menunggu perintahUAV kuning pengolahan gerakan ituHijau UAV telah mengidentifikasi gerakan, perintah dan konteks dipahamiFlashing Red UAS telah mengidentifikasi konflik dengan sistem pengenalan gesture. Occlusion?Red UAV belum siap Command konflik / diidentifikasi. Kendala?
The UAV Gesture Command dan Konteks Subsystem juga di mana kustomisasi perintah untuk UAV tertentu terjadi. Karena setiap sistem UAV yang mungkin unik, subsistem ini menerjemahkan gerakan diidentifikasi menjadi perintah UAV ditindaklanjuti untuk UAV tertentu.
Penggunaan Unmanned Aerial Vehicles (UAV) dalam mendukung Warfighter telah tumbuh secara signifikan selama bertahun-tahun dan akan terus melakukannya di masa depan. UAV menawarkan keuntungan yang signifikan untuk Warfighter dengan sangat memperluas jangkauan operasi dan ketekunan atas medan perang. UAV saat ini telah efektif digunakan di Irak dan Afghanistan; sangat mengurangi risiko yang ditimbulkan kepada warfighters Amerika dan sekutu. Oleh karena itu, Departemen Pertahanan (DoD) telah dianggap integrasi UAV dengan operasi penerbangan normal seperti penting untuk kesuksesan masa depan.
Sebagai peran UAV meningkat dalam DoD, integrasi UAV ke operasi tempur normal memerlukan kolaborasi sukses antara manusia dan mesin. Hubungan ini didasarkan pada saling pengertian konteks, kejelasan maksud, dan koordinasi upaya yang semuanya harus ditetapkan dan dipelihara dalam lingkungan 'dunia nyata'.
Pada pembawa dek, direktur pesawat (atau marshaller) bertanggung jawab untuk mengkoordinasikan semua pesawat sebelum dan setelah penerbangan. Marshalling Pesawat adalah dialog visual antara direktur dan pilot pesawat, membutuhkan pengakuan didirikan tubuh dan gerakan tangan oleh pilot dalam konteks ground handling pesawat. Gerakan ini mengkomunikasikan maksud atau perintah dari direktur pesawat untuk pilot, membutuhkan percontohan penegasan untuk menyelesaikan pertukaran dialog. Mengenali dan bereaksi terhadap gerakan ini didirikan oleh UAV memastikan keberhasilan integrasi pesawat tak berawak ke operasi penerbangan dek.
Sistem yang dijelaskan dalam artikel ini memungkinkan untuk pengakuan gerakan yang digunakan oleh direksi pesawat marshal pesawat tak berawak pada deck operator tanpa bantuan sinyal atau identifikasi perangkat tambahan. Konsep pembangunan didasarkan pada mendirikan pusat penelitian dan algoritma memperoleh akurasi yang lebih baik dari 90% dalam pengakuan gerakan dengan kemampuan untuk belajar pose dan gerakan baru melalui pelatihan offline.Pendekatan
Pendekatan teknis yang diambil oleh Rotan Software adalah untuk memecahkan kompleksitas pengakuan gerakan ke dalam kerangka subsistem logis daripada yang bisa dikembangkan dan diintegrasikan. Bahkan, pengakuan gerakan itu sendiri bagian dari robotika yang lebih besar dan masalah visi mesin meliputi subsistem UAV kompleks lainnya termasuk perencanaan jalan, otomatis take off / landing dan menghindari rintangan. Dialog berbasis subsistem pengakuan gerakan alami akan diteliti dan dirancang untuk mengakomodasi berbagai konfigurasi UAV dan ukuran, dengan peringatan pengembangan dan persyaratan didokumentasikan selama fase I.Gesture Recognition Sistem Ikhtisar
Subsistem logis meliputi sistem pengenalan gesture diidentifikasi pada Gambar 1 Gesture Recognition System Diagram.Gambar 1: Gesture Recognition System Diagram
Gambar 1: Gesture Recognition System Diagram
Subsistem yang ditunjukkan pada Gambar 1 dapat dibagi menjadi tiga kategori: Koleksi, Klasifikasi dan Pengakuan:Koleksi
Pelacakan dan penginderaan posisi dan pose direktur pesawat yang terdiri dari subsistem berikut:
Dunia View Sensor Subsystem
Dunia subsistem sensor kesadaran digunakan untuk membangun kesadaran situasional.
Gesture Sensor (s) Subsystem
Sebuah array minimal mengganggu dari satu atau lebih sensor yang dapat menangkap pose direktur pesawat dan gerak tubuh.
Fusion Subsystem
Gabung dan kuantisasi dari satu atau lebih sensor gerakan ke ruang angkasa dunia.
Klasifikasi
Dunia View Sensor Subsystem
Dunia subsistem sensor kesadaran digunakan untuk membangun kesadaran situasional.
Gesture Sensor (s) Subsystem
Sebuah array minimal mengganggu dari satu atau lebih sensor yang dapat menangkap pose direktur pesawat dan gerak tubuh.
Fusion Subsystem
Gabung dan kuantisasi dari satu atau lebih sensor gerakan ke ruang angkasa dunia.
Pengakuan
Pengakuan gerakan direktur pesawat dan perintah melalui serangkaian pose menggunakan subsistem berikut:
Gesture Recognition Subsystem
Bertanggung jawab untuk mengidentifikasi gerakan direktur pesawat dari urutan pose.
UAV Gesture Command dan Konteks Subsystem
Mengelola negara atau konteks dimana perintah gerakan berlaku, respon terhadap direktur penerbangan dan antarmuka perintah UAV dan kontrol.
Dunia View Sensor Subsystem
Pembawa deck adalah lingkungan operasi yang kompleks dan dinamis yang membutuhkan koordinasi dan komunikasi antara beberapa personil dengan tugas pekerjaan tertentu. Direktur pesawat adalah salah satu dari banyak individu yang beroperasi di dekat pesawat. Mengidentifikasi, mengisolasi dan melacak direktur yang bertanggung jawab atas pesawat UAV adalah tugas pertama dalam sistem pengenalan isyarat alam dialog. Tugas ini dapat diperoleh melalui pandangan dunia sensor subsistem yang tanggung jawabnya adalah untuk menyediakan data capture dari lingkungan sekitarnya UAV. Pandangan dunia sensor digunakan untuk membangun kesadaran situasional yang meliputi perencanaan jalan, menghindari rintangan, otomatis take-off dan landing serta pelacakan direktur pesawat.
Sensor pemindaian LIDAR dari perusahaan seperti Velodyne dapat digunakan untuk mengumpulkan pandangan dunia 3D titik awan dari lingkungan operasi. The Velodyne LIDAR sensor telah berhasil digunakan di sejumlah aplikasi robot otonom dan semi-otonom seperti perencanaan jalan dan menghindari hambatan dalam DARPA Grand Challenge. Namun, sensor pemindaian mungkin tidak memiliki resolusi yang cukup untuk mengidentifikasi berpose dan gerakan, sehingga membutuhkan sensor gerakan diarahkan tambahan untuk menangkap menimbulkan data.
Menyadari direktur pesawat yang bertanggung jawab akan memerlukan pelacakan semua entitas yang bergerak dalam kaitannya dengan UAV dan mengidentifikasi direktur yang ditunjuk melalui identifikasi visual warna dari direktur rompi penerbangan dan / atau melalui pengakuan sikap otoritas perintah khusus. Setelah kunci telah didirikan pada sutradara pesawat yang bertanggung jawab, orientasi dan posisi direktur dalam kaitannya dengan UAV akan digunakan untuk sensor gerakan khusus orientasi ke arah sutradara serta menentukan titik awan wilayah tanam sekitar direktur pesawat.
Tabel 1 adalah storyboard menyoroti kompleksitas pelacakan direktur pesawat pada pembawa dek.
UAV pada ramai dek penerbangan
Dunia View Sensor scanning radius
Sensor gerakan gimbaled dengan sutradara pesawat wilayah tanam didefinisikan
Direktur pesawat Cropped output sensor gesture
Pandangan dunia sensor juga dapat digunakan untuk memprediksi kapan pengakuan gerakan akan gagal, seperti kasus ketika sutradara pesawat yang tersumbat oleh pelaut lain. UAV akan memberitahu direktur pesawat dari konflik pengakuan gerakan fisik sehingga direktur pesawat bisa melanjutkan posisi yang lebih baik isyarat atau re-issue gerakan itu.Tabel 1: UAV pada operator dek pribadi dengan
Tabel 1: UAV pada operator dek pribadi dengans2
Tabel 1: Dunia rentang sensor kesadarans3
Tabel 1: Gesture sensor recogition mengidentifikasi direktur pesawats4
Tabel 1: Direktur Aircraft terisolasi dari lingkunganGesture Sensor Subsystem
The Gesture Sensor Subsystem terdiri dari berbagai warna (RGB) dan kedalaman (D) sensor gambar yang dapat mandiri dibimbing dan terfokus pada direktur pesawat oleh World View Sensor Subsystem. Subsistem ini bertanggung jawab untuk pra-pengolahan RGB & D data sensor menjadi titik warna awan 3D yang dapat dicerna oleh Fusion Subsystem. The Gesture Sensor Subsystem mencakup sejumlah langkah dan proses yang dirancang untuk mengurangi dan menyaring data yang diambil untuk satu set yang bisa diterapkan poin 3D dalam ruang sensor.Gambar 2: Sensor Gesture Subsystem
Gambar 2: Sensor Gesture Subsystem
Proses pelacakan dan orientasi kontrol akan melacak direktur pesawat di dek penerbangan dengan re-orientasi sensor sebagai direktur bergerak tentang dek penerbangan. Jika direktur bergerak keluar dari jangkauan atau tersumbat, maka sensor akan menghentikan titik aliran 3D sampai direktur tersebut kembali acquired.Since ada berbagai biaya rendah, RGB-D sensor berdaya rendah yang dapat diuji, Gesture Sensor Subsystem akan dirancang untuk abstrak sensor dari reset subsistem. Sensor gerakan yang memiliki keduanya RGB & D kemampuan akan menjalani langkah pendaftaran menggunakan pra-dikalibrasi "papan catur" koefisien untuk menyelaraskan terpisah RGB & D buffer menjadi titik warna 3D terdaftar cloud.The tahap akhir dalam Gesture Sensor software Subsistem stack adalah serangkaian filter dinamis dan dikonfigurasi yang meliputi:
Sebuah tanam tapis ruang akan digunakan untuk mengurangi menunjuk ke sebuah daerah yang dibatasi kepentingan (ROI) sekitar direktur pesawat sasaran. Langkah ini sangat penting dalam mengurangi jumlah poin yang dikirimkan ke Fusion Subsystem. Filter ini sangat meningkatkan kemungkinan identifikasi berpose sukses dengan menghapus poin latar belakang dan poin bukan penghasil lainnya dalam frustum sensor gerakan.
Kebisingan filter untuk kelancaran poin palsu dan jitter yang disebabkan oleh cahaya terstruktur dan waktu-of-flight (ToF) sensor.
Fungsi kliping RGB-D untuk threshold atau menghapus poin bukan penghasil dalam ROI yang dapat berhasil dihapus tanpa mengorbankan integritas identifikasi berpose.
Hasil akhir dari masing-masing sensor gesture akan menjadi titik warna 3D awan dipotong dari direktur pesawat. The Gesture Sensor Subsystem akan mengalirkan poin dalam bingkai pada tingkat yang telah ditentukan yang mengoptimalkan menimbulkan identifikasi tanpa membebani beban komputasi.
Sementara Subsystem Gesture Sensor akan dikembangkan pada workstation high-end yang dapat meng-host beberapa sensor 3D, idealnya setiap sistem sensor akan memiliki prosesor rendah daya khusus yang bisa mengeksekusi pipa software sensor gerakan.Fusion SubsystemGambar 3: Fusion Subsystem
Gambar 3: Fusion Subsystem
The Fusion Subsistem bertanggung jawab untuk menggabungkan aliran titik 3D dari satu atau lebih sensor gerakan menjadi 3D voxelstream terkuantisasi. Sekering beberapa aliran titik diambil dari sudut yang berbeda akan memungkinkan Fusion Subsystem untuk lulus ke Pose Identifikasi Subsystem satu set kaya poin 3D (sebagai voxel) yang diurutkan ke dalam grid 3D. Hal ini akan memungkinkan Pose Identifikasi Subsystem untuk lebih mengidentifikasi pose dan kurang rentan terhadap oklusi transien yang disebabkan oleh gerakan direktur pesawat. Resolusi voxel akan ditentukan oleh aplikasi pelatihan berpose dan gerakan untuk memaksimalkan keberhasilan identifikasi berpose tanpa undo kuantisasi. Proses pertama di Fusion Subsystem adalah aplikasi perpaduan unik transformasi ke setiap frame sensor aliran. Header dari setiap frame aliran sensor akan berisi orientasi mengubah mewakili dan posisi sensor induk. The fusion mengubah akan menempatkan setiap titik 3D dari aliran sensor ke dalam ruang dunia umum bahwa UAV menempati.
Tergantung pada pelacakan dan sensor akurasi sensor gerakan, jumlah sensor gerakan, dan resolusi titik masukan yang diperlukan untuk voxelization, mungkin ada keselarasan langkah tambahan yang diperlukan untuk menempatkan titik-titik dalam ruang yang benar final. Ini akhir transformasi akan berasal dari titik terdekat Iteratif (ICP) algoritma untuk mencocokkan sensor 2 sampai N ke ruang yang ditempati oleh sensor 1.
Poin-poin yang dihasilkan akan diurutkan menjadi voxel jaringan 3D. Voxel jaringan ini adalah satu set terkuantisasi poin yang mewakili direktur pesawat pada saat itu dalam waktu seperti yang terlihat dari semua sensor berkontribusi.Pose Identifikasi SubsystemGambar 4: Pose Identifikasi Subsystem
Gambar 4: Pose Identifikasi Subsystem
The Pose Identifikasi Subsistem bertanggung jawab untuk membagi frame dari aliran sensor voxel menyatu dan menentukan id pose direktur pesawat dari setiap frame tersegmentasi. Telah ada banyak penelitian yang dilakukan di bidang identifikasi berpose, dengan perkembangan terbaru menggunakan sebuah sensor kedalaman 3D untuk memperoleh model kerangka subjek untuk input berpose identification.As, Pose Identifikasi Subsystem akan menerima aliran kontinu frame voxel 3D mewakili Direktur pesawat dilacak. Frame voxel tersebut akan tiba pada interval waktu yang tetap ditentukan oleh berpose dan pelatihan gerakan persyaratan. Untuk setiap frame voxel diterima, id berpose akan dibuat dan diteruskan ke Gesture Recognition Subsystem.Accompanying setiap frame voxel akan menjadi orientasi dan posisi set relatif terhadap UAV dalam ruang pandangan dunia. Hal ini akan memungkinkan pose kompensasi langkah untuk mengarahkan dan / atau skala frame voxel dengan cara pas proses identifikasi berpose terlepas dari posisi relatif dari direktur pesawat ke UAV.Within inti dari Pose Identifikasi Subsystem, ada dua utama jalan untuk mengeksplorasi. Jalan lebih diteliti membutuhkan pembentukan kerangka dinormalisasi diwakili oleh rantai kinematik yang dapat memiliki batas gabungan ditegakkan. Namun, hal itu juga mungkin untuk membuat indeks yang unik dari grid hunian yang dapat digunakan untuk mengidentifikasi pose.Skeletal Pose Identifikasi
Pose identifikasi melalui skeletonization secara umum dapat digambarkan dalam tiga tahap yaitu ekstraksi ciri / segmentasi, skeletonization, dan Kinematika terbalik. Ekstraksi fitur / segmentasi dapat diimplementasikan melalui statistik kepadatan sampling dan / atau melalui deteksi titik kunci dari bagian tubuh subjek dari frame voxel kompensasi. Setelah bagian tubuh telah diidentifikasi, langkah skeletonization menciptakan rantai kinematik yang mewakili kerangka subjek. Ada sejumlah manfaat kunci untuk memiliki rantai skeletal kinematik yang diterapkan dalam langkah kinematik. Pertama, batas bersama dapat diberlakukan untuk menghilangkan pose mungkin dari proses identifikasi. Kedua, rantai kinematik dapat mewakili negara, yang dapat membantu proses identifikasi berpose pulih dari kesalahan yang menyebabkan oklusi langkah ekstraksi ciri / segmentasi gagal. Terakhir, rantai kinematik dapat dinormalisasi untuk menghapus kesalahan yang disebabkan oleh atribut fisik direktur pesawat seperti ukuran, tinggi dan pakaian, sehingga meningkatkan kemungkinan identifikasi berpose sukses. Pose identifikasi menggunakan rantai kinematik melibatkan mencari database berpose untuk pertandingan tulang yang cocok.Hunian Grid Pose Identifikasi
Input bingkai voxel pada dasarnya adalah sebuah hunian kotak 3D pose direktur pesawat. Pose identifikasi pada dasarnya akan memerlukan mengeksplorasi dan mengembangkan algoritma yang dapat membuat hash yang unik dari grid hunian yang dapat digunakan untuk mencari / index database berpose. Sementara menimbulkan identifikasi melalui hashing grid hunian tidak seperti yang banyak diteliti, ia menawarkan manfaat yang unik mengurangi menimbulkan identifikasi untuk fungsi matematika murni. Dengan beberapa gerakan sensor berkontribusi terhadap hunian grid, lebih kaya, lebih padat voxel set disediakan mungkin menghilangkan biaya segmentasi, skeletonization, dan kinetika terbalik.Tangan Pose Identifikasi
Penentuan posisi tangan direktur pesawat dan orientasi mungkin memerlukan upaya tambahan untuk mengekstrak. Hal ini tidak mungkin bahwa sensor gesture akan memiliki resolusi yang cukup untuk segmen dan mengidentifikasi detil tangan jika direktur pesawat berdiri jauh dari sensor.
Dalam hal ini, posisi tangan baik dari rantai kinematik atau occupancy grid akan digunakan untuk mengidentifikasi lokasi tangan dalam gambar RGB diambil dari sensor gerakan. Gambar fitur RGB tangan ini akan tersegmentasi dan fitur diekstraksi untuk menentukan orientasi tangan yang paling mungkin. Setelah detail tangan dan orientasi telah diidentifikasi, baik rantai kinematik dan / atau grid hunian dapat ditambah dengan detail tangan baru atau ID tangan tambahan dapat dikirimkan ke Gesture Recognition Subsystem.Ekstrinsik Dynamics
Ada sejumlah algoritma pengenalan gesture yang membutuhkan penangkapan dinamika ekstrinsik antara pose diidentifikasi. Untuk algoritma tersebut, dinamika ekstrinsik akan ditangkap oleh Subsystem Pose Identifikasi dan melekat pada berikut berpose ID untuk input ke dalam aplikasi Pelatihan Gesture atau Gesture Recognition Subsystem.Pose Capture dan Pelatihan Gesture AplikasiGambar 5: Capture dan Pelatihan Aplikasi
Gambar 5: Capture dan Pelatihan Aplikasi
The Pose Capture dan Pelatihan Gesture Aplikasi adalah aplikasi terpisah yang menangkap dan segmen direktur pesawat pose ke urutan diidentifikasi yang mewakili gerakan perintah UAV. Urutan yang diidentifikasi kemudian diolah menjadi jaringan index-able/searchable atau database yang dapat digunakan untuk menimbulkan real-time dan gesture identification.Using Pose Tangkap Application, perintah gerakan direktur pesawat harus dicatat ke arsip pada resolusi penuh. Setiap gerakan perintah akan ditangkap beberapa kali, dari beberapa direktur pesawat, dari berbagai sudut berasal dari kemungkinan sensor gesture posisi di UAV. Pose capture arsip akan tersedia untuk daur ulang sebagai pelatihan sikap dewasa.
Aplikasi Pelatihan Gesture digunakan oleh operator untuk melatih Subsystem Pose Identifikasi segmen, merangkakan dan mengenali pose dari urutan ditangkap berpose. Pose duplikat harus diidentifikasi dan rantai urutan dibuat yang dapat dibagi oleh operator ke urutan perintah. Urutan berpose akan diterjemahkan ke dalam jaringan Bayesian yang dapat dilalui dari waktu ke waktu untuk mengidentifikasi urutan.
Bayesian network yang dihasilkan akan disimpan dalam database Bayesian yang dapat dimuat oleh kedua Identifikasi Pose dan Gesture Recognition Subsistem.Gesture Recognition Subsystem
Karena Pose Identifikasi Subsystem disarikan, yang Gesture Recognition Subsystem menerima aliran kontinu menimbulkan ID dan menentukan gerakan yang paling mungkin melalui pencarian jaringan Bayesian. Keberhasilan identifikasi isyarat akan menghasilkan ID isyarat yang disampaikan kepada Komando UAV dan Konteks Subsystem.
Ketika menimbulkan ID memasuki subsistem mereka disimpan pada akhir daftar berpose ID. Daftar ini merupakan ruang dicari antara gerakan terakhir berhasil mengidentifikasi dan pose yang terakhir diterima. Node pertama dalam daftar belum tentu awal gerakan. Awal gerakan mungkin setiap node dalam daftar mengakibatkan apa yang dikenal sebagai segmentasi ambiguitas. Masalah segmentasi ambiguitas terjadi ketika awal dan akhir dari isyarat tidak mudah jelas. Setelah identifikasi berhasil isyarat, daftar dapat dipangkas atau dikosongkan untuk mengurangi ruang pencarian untuk gerakan berikutnya. Pose ID Daftar akan mendukung algoritma pengenalan gesture baik terisolasi atau kontinu.
Cara jaringan Bayesian dan algoritma pencarian yang menyertainya adalah subjek penelitian Tahap I; Oleh karena itu, jaringan dan proses pencarian juga akan menjadi abstraksi dalam Gesture Recognition Subsystem, memungkinkan untuk beberapa jaringan dan algoritma untuk diidentifikasi, dikembangkan dan diteliti.Hidden Markov Model (HMM)
Hidden Markov Model adalah bentuk sederhana dari Dinamis Bayesian Network (DBM) dimana sistem dimodelkan adalah proses Markov dengan negara-negara yang tidak teramati atau disembunyikan. HMM adalah serangkaian negara yang terbatas di mana setiap transisi negara memiliki dua kemungkinan: probabilitas transisi dan probabilitas output. HMMs sangat mahir mengenali gerak tubuh, di mana setiap gerakan dibuat sebagai HMM independen. The HMMs gesture dapat dikombinasikan untuk menciptakan jaringan pencarian terisolasi atau kontinu.Gambar 6: Gesture Recognition Subsystem
Gambar 6: Gesture Recognition Subsystem
Setiap gerakan oleh karena itu, diwakili oleh HMM multi-dimensi yang terdiri dari serangkaian pose transisi dan penyelesaian akhir berpose. Kedua struktur jaringan berpose dan probabilitas matriks ditentukan melalui pelatihan oleh Application Training Gesture. Gestures diakui sebagai urutan HMM pengambangan dengan probabilitas tertinggi.Laten-Dinamis Conditional Acak Lapangan (LDCRF)
Penyelidikan baru-baru ini lebih ke pengakuan gerakan telah menghasilkan hasil yang positif dengan Laten-Dinamis Bersyarat Fields Acak atau laten-Pose Bersyarat Acak Fields (LPCRF). Algoritma ini dapat memperoleh manfaat dari masukan dari dinamika ekstrinsik antara pose serta struktur berpose (pose ID) untuk meningkatkan akurasi pengenalan gesture. Algoritma ini juga mengendurkan asumsi kemerdekaan pengamatan, sehingga dinamika ekstrinsik untuk mengklasifikasikan negara tersembunyi. Dinamika ekstrinsik diwakili sebagai variabel tambahan pada model negara tersembunyi yang berkontribusi pada transisi atau probabilitas observasi.UAV Gesture Command dan Konteks Subsystem
Karena gerakan direktur pesawat adalah bagian dari dialog antara direktur pesawat dan UAV, adalah penting bahwa UAV memahami konteks perintah dan merespon dengan tepat. Konteks perintah diakui melalui serangkaian gerakan dipahami dan mendirikan kesadaran situasional. Membangun kesadaran situasional mungkin memerlukan berinteraksi dengan sistem otonom dan semi-otonom tambahan. Sementara pilot dapat menonton serangkaian perintah dan merespon dengan anggukan, hormat, atau 'thumbs up', UAV akan perlu sinyal pemahaman melalui jelas sarana elektronik. Sebagai contoh, sebuah subsistem menghindari rintangan mungkin sinyal UAV untuk menghentikan ketika terdapat konflik jalan. Tindakan override ini perlu dikomunikasikan kepada direktur pesawat. Tabel di bawah ini menampilkan bagian dari respon LED hipotetis untuk menyelesaikan dialog antara UAV dan direktur penerbangan.LED UAV Pesan / NegaraBiru UAV siap dan menunggu perintahUAV kuning pengolahan gerakan ituHijau UAV telah mengidentifikasi gerakan, perintah dan konteks dipahamiFlashing Red UAS telah mengidentifikasi konflik dengan sistem pengenalan gesture. Occlusion?Red UAV belum siap Command konflik / diidentifikasi. Kendala?
The UAV Gesture Command dan Konteks Subsystem juga di mana kustomisasi perintah untuk UAV tertentu terjadi. Karena setiap sistem UAV yang mungkin unik, subsistem ini menerjemahkan gerakan diidentifikasi menjadi perintah UAV ditindaklanjuti untuk UAV tertentu.
NAMA : WAHID WARISMAN
NPM : 29112358
KELAS : 2KB01
