Protomyy-projekti kehitti Thinking Lifeline Oy:n kehitteillä olevaan robottiin prototyypit puheentunnistuksesta ja Android-tabletin kautta käytettävästä vanhuksen käyttöliittymästä. Lisäksi projektiryhmä kehitti Audacityyn äänitystyökalun, jolla nopeutetaan puheentunnistusmallin koulutusta varten kerättävien ääninäytteiden muokkaamista ja tallentamista. Robottia käytetään kotihoidon tukena ja se muistuttaa kuntoutettavaa päivän ohjelmasta sekä kannustaa parempiin elämäntapoihin.
Puheentunnistus tunnistaa ennalta määritettyjä puhekomentoja, joiden avulla käyttäjä voi liikkua käyttöliittymän näkymien välillä. Puheentunnistusmalli koulutettiin projektiryhmän jäsenten ääninäytteillä. Robotissa puheentunnistusohjelmaa ajetaan Nvidia Jetson Nano -minitietokoneessa, jolla puheentunnistuksen toimivuus varmistettiin. Käyttöliittymä auttaa käyttäjää seuraamaan hänelle laadittua päiväohjelmaa, joka voi sisältää esim. muistutuksia lääkkeidenotosta, ja tarjoaa virikkeitä kuunneltavien radiokanavien kautta.
Puheentunnistus toteutettiin Nvidia Isaac -robotinkehitysalustalla, jossa ohjelmointiin käytettiin C++-ohjelmointikieltä. Äänitystyökalu toteutettiin Pythonilla käyttäen Audacityn skriptausrajapintaa ja käyttöliittymä toteutettiin React Nativella, jota ohjelmoitiin JavaScriptillä.
Projektiryhmä: |
Tilaaja: |
Ohjaajat: |
|
|---|---|---|---|
| Saija Latvakangas | Sami Etelämäki | Jukka-Pekka Santanen | |
| Panu Nummelin | Seppo Karjalainen | Arttu Ylä-Sahra | |
| Jere Pehkonen | Heikki Lyytinen | ||
| Juuso Tuononen | Risto Paasivirta | ||
| Kaisa Yli-Kojola | Miika Pekkarinen |