Paano Isalin ang Wika ng Pag-sign sa Teksto Gamit ang Arduino?

Patuloy naming tinanggap na ang teknolohiya ay dapat na ma-access para sa lahat at para sa kabutihan maging sila ay normal na tao o espesyal na may kakayahan na indibidwal. Ang pangunahing bentahe ng makabagong ideya ay upang makisali sa mga indibidwal at pagbutihin ang mga ito, hindi upang lupigin ang mga ito ngunit upang matulungan sila.



Mag-sign sa Text

Ang mga taong walang kakayahang magsalita ay gumagamit ng iba't ibang paraan ng komunikasyon upang maiparating ang kanilang mga mensahe. Ang pinakakaraniwan sa kanila ay Sign Language. Ang sign language ay isang wika na gumagamit ng modality ng kilos upang maiparating ang isang mensahe. Ang Sign Language ay karaniwan sa mga taong hindi marunong magsalita o makinig. Kaya, narito ang isang proyekto na makakatulong sa iyo upang isalin ang sign language sa ilang teksto na mauunawaan ng ibang mga tao.



Paano magagamit ang Arduino upang makagawa ng isang tagasalin sa Pag-sign to text?

Ngayon ay lumipat tayo patungo sa pagkolekta ng karagdagang data, pag-aralan ito, paggawa ng isang circuit at pagsunog ng code sa microcontroller.



Hakbang 1: Mga Kinakailangan

Bago kami magsimulang magtrabaho, mas mahusay na kolektahin at pag-aralan ang tungkol sa patakaran ng pamahalaan na gagamitin namin. Ipinapakita ng isang listahan sa ibaba ang lahat ng mga item na kailangan namin sa proyektong ito.



  • Arduino UNO
  • Mga Wire ng Lalaki / Babae na Jumper
  • Mga Resistor (470 ohm)
  • Breadboard / Veroboard
  • Mga Header ng Babae
  • Guwantes

Hakbang 2: Pagse-set up ng Patakaran ng pamahalaan

Gagamitin namin ang mga Flex sensor upang makita ang kilos. Ang flex sensor ay isang sensor na nagbibigay ng ibang paglaban at ibang anggulo sa tuwing baluktot ito. Mayroon itong dalawang mga pin na konektado sa isang pagsasaayos ng boltahe divider. Ang koneksyon ng mga pin na ito sa Arduino ay ipinapakita sa ibaba.

Diagram ng Circuit

Ang FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 ay ang mga flex sensor, at ang RES1, RES2, RES3, RES4, RES5 ay ang 470-ohm resistors. Ang isang punto ng lahat ng mga flex sensor ay karaniwan at 5V ang inilalapat dito. Sa kabilang dulo, ang isang binti ng lahat ng mga resistors ay karaniwan at konektado sa lupa. Ang pag-input sa mga pin ng Arduino ay makakatanggap ng analog data mula 0 hanggang 1023 na mai-convert sa digital form sa code.



Ngayon, tulad ng alam natin na kung paano gumagana ang isang flex sensor, ikabit ang bawat flex sensor sa mga daliri ng guwantes (iwasang gumamit ng mga adhesive). Ang mga solder jumper wires sa lahat ng mga flex sensor at ikinokonekta ang mga ito sa Veroboard tulad ng ipinakita sa imahe sa itaas. Maingat na paghihinang ang mga koneksyon at magsagawa ng pagpapatuloy na pagsubok. Kung nabigo ang pagpapatuloy na pagsubok, muling suriin ang iyong mga soldered na koneksyon at ayusin ang mga ito.

Hakbang 3: Pagsisimula sa Arduino

Kung wala kang Arduino IDE, i-download ang pinakabagong bersyon mula sa Arduino

  1. Ikonekta ang Arduino sa iyong PC at pumunta sa Control Panel> Hardware at Sound> Mga Device at Printer upang suriin ang pangalan ng port kung saan nakakonekta ang Arduino. Sa aking PC ito ay COM14. Maaaring iba ito sa iyong PC.

    Paghanap ng Numero ng Port

  2. Buksan ang iyong Arduino IDE at itakda ang board sa 'Arduino / Genuino Uno'.

    Setting Board

  3. Buksan ang iyong Arduino IDE at itakda ang port na naobserbahan mo sa iyong PC dati.

    Setting Port

  4. Ngayon i-download ang code na nakalakip sa ibaba at i-upload ito sa iyong Arduino Board sa pamamagitan ng pag-click sa pindutang Mag-upload.

    I-upload

I-download ang link: Pindutin dito

Hakbang 4: Code

Maayos ang Komento sa code ngunit narito ang ilang pangkalahatang paliwanag na kung paano ito gumagana.

  1. Sa pagsisimula ng code, 5 mga analog na pin ng Arduino ang naisimula upang magamit sa mga flex sensor. Kaysa sa Vcc mula sa Arduino at 4.7k ohm na resistensya ay naisugod na ginagamit sa circuit. Pagkatapos ang paglaban ng tuwid na flex sensor at ang paglaban sa isang 90-degree na anggulo ay naisugod. Ang mga pagpapasimula ay magiging kapaki-pakinabang sa pagsulat ng code.
  2. walang bisa ang pag-setup () ay isang pagpapaandar kung saan pinasimulan natin ang rate ng baud ng Arduino at lahat ng limang mga analog na pin ay pinasimulan upang magamit bilang INPUT. Ang rate ng baud ay ang bilis kung saan nakikipag-usap ang microcontroller.
  3. walang bisa loop () ay isang pagpapaandar na patuloy na tumatakbo nang paulit-ulit sa isang siklo. Sa pagpapaandar na ito, ang lahat ng mga halagang analog ay nabasa at na-convert sa mga digital na halaga. Pagkatapos, ang paglaban ay kinakalkula sa pamamagitan ng paggamit ng boltahe divider formula at sa pamamagitan ng paglaban na iyon, ang anggulo ng liko ng flex sensor ay kinakalkula.

Kapag naintindihan mo at na-upload ang code, magsuot ng guwantes at gumawa ng iba't ibang mga kilos upang isalin ang mga ito sa teksto. Sa code, maaari kang magdagdag ng higit pang mga kumbinasyon ng paggalaw ng daliri na iyong pinili at ipakita ang mensahe nang naaayon. Makikita mo na ang iyong sign language ay ginawang teksto ngayon.

Hakbang 5: Advanced

Ang proyektong ito ay tungkol sa pag-convert ng sign language sa teksto at pagpapakita nito sa serial monitor. Tulad ng ginamit ng microcontroller ay Arduino, gagana lamang ang aparatong ito kapag nakakonekta ang Arduino sa PC sa pamamagitan ng isang data cable sapagkat ang Arduino ay walang built-in na Module ng WiFi. Upang gawing mas kawili-wili ang proyektong ito maaari kang magdagdag ng isang panlabas na module ng WiFi o gumamit ng isang module ng ESP sa halip na Arduino at mapupuksa ang data cable at masiyahan sa isang pag-sign sa pagsasalita sa pamamagitan ng WiFi.