Ang Algorithm ng Pagsubaybay sa Kamay ng Real-time na Google ay Gumagamit ng Smartphone Upang Mapabuti ang Pagkilala sa Wika ng Sign

Pagsubaybay sa Kamay sa Real-time

Ang Sign Language ay ginagamit ng milyun-milyong tao sa buong mundo. Ang mga mananaliksik ay nagtatrabaho upang bumuo ng mga teknolohiya na maaaring maunawaan ang mga kilos at awtomatikong i-convert ang mga ito sa wikang naiintindihan ng tao. Gayunpaman, ang mga nasabing proyekto ay hindi nakakuha ng malaking tagumpay sa mga tuntunin ng kawastuhan.

Kamakailan-lamang na bumuo ang Google ng isang algorithm na maaaring magamit para sa pagsubaybay sa real-time na kamay. Ang matalinong sistema ay gumagamit ng pag-aaral ng makina upang lumikha ng isang mapa ng kamay. Ang mapa ay nilikha sa tulong ng isang camera o isang smartphone. Hindi namin maaaring tanggihan ang katunayan na ang karamihan sa mga system ay nabigo upang tumpak na makuha ang mabilis na paggalaw ng kamay. Partikular na natugunan ng Google ang problemang ito sa pananaliksik na ito. Kapansin-pansin, nilimitahan nila ang dami ng data na dating naproseso ng mga algorithm.

Paano Gumagana ang Real-time na Pagsubaybay sa Kamay?

Karamihan sa mga umiiral na proyekto ay isinalin ang sign language sa pamamagitan ng pagtuklas ng laki at posisyon ng kumpletong kamay. Sa pananaliksik na ito. tinanggal ng mga mananaliksik ang pangangailangan na hawakan ang mga hugis-parihaba na hugis sa iba't ibang laki. Kinikilala lamang ng system ng Google ang palad na hugis parisukat. Pangalawa, isang hiwalay na proseso ng pagsusuri ang ginagawa para sa mga daliri.

Mga kilos ng kamay

Gumamit ang mga mananaliksik ng humigit-kumulang na 30.000 mga imaheng kamay upang sanayin ang algorithm ng pag-aaral ng makina. Ang mga imaheng ito ay nakunan sa iba't ibang mga kundisyon ng ilaw at pose. Nakita ng system ang kilos sa pamamagitan ng paggawa ng paghahambing sa pagitan ng hand pose at isang listahan ng mga kilalang entity tulad ng isang bola o kaligayahan. Inilalarawan ng Google ang pagkilala sa kilos sa a post sa blog .

Pagkatapos ay nai-map namin ang hanay ng mga estado ng daliri sa isang hanay ng mga paunang natukoy na kilos. Ang prangka ngunit mabisang pamamaraan na ito ay nagbibigay-daan sa amin upang tantyahin ang pangunahing mga static na kilos na may makatuwirang kalidad. Sinusuportahan ng umiiral na pipeline ang pagbibilang ng mga kilos mula sa maraming kultura, hal. Amerikano, Europa, at Tsino, at iba`t ibang mga palatandaan ng kamay kasama ang 'Thumb up', saradong kamao, 'OK', 'Rock', at 'Spiderman'.

pagsubok sa pagganap ng pc

Ang pangwakas na algorithm ng pagsubaybay sa kamay ay gumagawa ng mga resulta ng sining sa kalagayan ng bilis at kawastuhan nito. Gumagamit ang algorithm ng balangkas ng MediaPipe upang tumakbo. Ang pamamaraan na ito ay tila isang pangunahing pagsulong sa domain ng sign language. Bagaman mayroon pa ring maraming silid para sa pagpapabuti. upang lumikha ng isang mas mahusay na pag-unawa sa sign language. Kahit sino ay maaaring pahabain ang gawaing ito upang magamit ang mga expression ng mukha at parehong mga kamay upang makamit ang mas mahusay na mga resulta.

Bagaman walang salita mula sa Google, may posibilidad na mapabuti ng Google ang teknolohiyang pagsubaybay sa real-time na hand na ito upang magamit ito sa mga produkto nito. Samantala, kung nais mong maglaro kasama ang code, ito ay magagamit sa publiko sa GitHub .