De volgende grote stap voor spraakassistenten

Voice assistants zijn voor veel mensen niet meer weg te denken voor simpele taken door de dag heen. Maar zit er niet meer in? Wij spraken met Carla Verwijmeren van Y.Digital over de volgende grote ontwikkeling op het gebied van spraaktechnologie.

 

Benieuwd naar meer content van het Lectoraat Human Experience & Media Design? Volg ons dan op LinkedIn en Youtube!

Heb je iets van deze missie gemist? Kijk hieronder alle onderzoeken rondom Missie 5: ‘Dear Human, can I actually help you?’ snel en handig terug!

De producties voor deze missie worden ondersteund door redacteur Sander van Velze

“Spraakassistenten zijn nog niet toegankelijk genoeg voor doven”

Een paar weken geleden hebben wij op Instagram een quiz geplaatst met een aantal vragen over spraakassistenten. In die quiz zaten ook vragen over interacties tussen doven & slechthorenden en spraakassistenten. Voor veel van ons is het gebruiken van Siri, Google Assistant of Amazon Alexa – als je je over de privacyzorgen heen kan zetten – namelijk de normaalste zaak van de wereld, maar dat geldt niet voor iedereen.

Hoe mooi spraakassistenten namelijk ook mogen zijn, ze zijn nog niet perfect. Een groep die dat meer merkt dan misschien wel elk ander, zijn mensen met een gehoorbeperking. Om meer te weten te komen over de problemen die deze groep ervaart bij het gebruik van spraakassistenten spraken wij Ardalan Aziz, ICT-medewerker bij het Instituut Gebaren, Taal & Dovenstudies van de HU. Aziz is zelf doof, maar hij gebruikt wél spraakassistenten. Met hulp van zijn collega Christiaan Plug als vertaler, interviewden wij Aziz over waar hij zelf tegenaan loopt en hoe het hem toch lukt om spraakassistenten te integreren in zijn interacties met technologie.

Toegankelijkheid

Spraakassistenten zijn niet voldoende toegankelijk voor doven volgens Aziz: “Wanneer ik iets vraag, dan is het antwoord mij niet altijd duidelijk, omdat ik het niet kan horen. Ook als ik typ, begrijpt de spraakassistent niet altijd wat ik bedoel. Het is dus niet betrouwbaar.” Als je de quiz die wij hier plaatsten hebt gedaan heb je dit al gehoord, maar wist je dat de frequentie van de standaard (vrouwelijke, hoge) stem van voice assistants lastig te horen is voor mensen met een gehoorbeperking? Terwijl deze stem juist is gekozen omdat zij als prettig wordt ervaren door de meeste gebruikers, is ze voor doven & slechthorenden een ramp.

De oplossing voor het probleem van ontoegankelijke technologie is niet eenduidig. Je zou misschien denken dat de meest voor de hand liggende optie zou zijn om alle antwoorden ook in tekstvorm te laten zien. Als je het antwoord dan niet kan horen, dan kun je in ieder geval meelezen. Maar in de meeste landen is maar liefst 75 procent van de doven & slechthorenden analfabeet. “Voor hen zou gebarentaal dus misschien een betere optie zijn”, zegt Christiaan.

Dat is ook een grote uitdaging. Er is namelijk geen universele gebarentaal. Verreweg de grootste is American Sign Language, afgekort ASL. Maar in totaal worden er wereldwijd 300 verschillende gebarentalen gebruikt door wereldwijd 70 miljoen doven. Siri, de spraakassistent die de meeste verschillende gesproken talen ondersteunt, kent er maar 21. En voor een spraakassistent is het eigenlijk net zo’n grote uitdaging als taalherkenning, maar met nog een laag: het is namelijk geen audiodata, maar visuele data.

Toch zijn er onderzoekers en bedrijven die oplossingen proberen te vinden. Dat doen zij bijvoorbeeld door afzonderlijke commando’s ‘in te programmeren’ op basis van individuele voorbeelden. Christiaan Plug legt uit: “Dat werkt eigenlijk net als vroeger, toen je je computer moest trainen om stemcommando’s te herkennen. Dat deed je dan door prompts voor te lezen, zodat hij jouw manier van praten snapte.”

Momenteel wordt diezelfde techniek toegepast om stemassistenten op individueel niveau aan te passen op gebarentaal. De gebruiker gebaart een zin, die vervolgens wordt vertaald naar de tekst-input voor de spraakassistent. Daar dan komt dan op de ‘normale’ manier, dus in audio, een reactie uit. Maar zoals we eerder al begrepen van Aziz: die reactie is niet altijd goed te begrijpen, als je een gehoorbeperking hebt. Daarnaast, zegt Aziz, blijft het omslachtig. “Persoonlijk typ ik liever. Dat ben ik gewend.”

Creatieve oplossingen

Aziz en Plug vertellen dat de problemen die doven en slechthorenden nu ondervinden met
spraakassistenten, niet uniek zijn. In de eerste iteratie van een nieuwe technologie wordt er vaak nog niet bij stil gestaan welke problemen gebruikers met een beperking zouden kunnen ondervinden. Toch vinden doven en slechthorenden zoals Ardalan Aziz zelf vaak creatieve toepassingen: “Ik gebruik mijn mobieltje vaak om te luisteren wat mensen zeggen. Door spraakherkenning kan wat zij vertellen dan om worden gezet in tekst. Dat is met name in het openbaar handig, waar bijvoorbeeld een conducteur of winkelier niet altijd weet wat ze moeten doen als ze tegenover iemand staan die niet kan horen.”

“Waar de technologie wél heel goed in is, is menselijk contact ondersteunen” meent Christiaan Plug. Dat is onder meer het resultaat van de steeds beter wordende spraakherkenningstechnologie. Het resultaat zie je bijvoorbeeld in het nieuwe project dat Google recent heeft getoond: een prototype van een bril met ingebouwde microfoons, die op je scherm vertaalt wat mensen zeggen, en dat zelfs nog van andere talen kan vertalen naar jouw moedertaal. “Telefoneren bijvoorbeeld is onmogelijk voor doven, en wat dat betreft is beeldbellen echt een uitkomst” legt Plug uit “Soms is Ardalan elders in het gebouw of niet aanwezig. Dan kan ik hem beeldbellen, en in gebarentaal communiceren.” Ook de KPN-tolk – een dienst waar doven & slechthorenden kunnen gebaren of chatten met een tolk, die voor hen telefoongesprekken met bijvoorbeeld klantenservices voert – is een goede optie wie niet goed kan horen. Daarnaast kan de gebruiker de stem van de spraakassistent inmiddels zelf kiezen en bijvoorbeeld wisselen naar een stem die makkelijker te horen is.

Christiaan de Plug herkent deze positieve ontwikkelingen: “Sinds smartphones bestaan, gaat de wereld echt open voor doven. Je zet je telefoon neer, opent Facetime en kunt met mensen communiceren die heel ergens anders zijn, allemaal met een apparaat dat je in je broekzak draagt.” Echter, vaak worden toepassingen voor mensen met een beperking echter pas later aan technologische ontwikkelingen toegevoegd. Er zou daarom nog veel meer gebruik gemaakt kunnen worden van de ervaring die er al is bij de mensen die deze technologie ook daadwerkelijk gebruiken, aldus Aziz: “Doven en slechthorenden begrijpen de problemen die mensen met die beperking ervaren het allerbeste. Zij kunnen input geven over hoe in het verleden misschien een vergelijkbaar probleem al is opgelost. Daarom is het zo belangrijk dat mensen die de technologie daadwerkelijk gebruiken al eerder worden betrokken in het ontwerpproces dan nu vaak het geval is.”

Heb jij zelf vragen over spraakassistenten? Of wil je op de hoogte blijven van onze nieuwste video’s, podcasts en artikelen? Volg ons dan op LinkedIn en YouTube!

Heb je iets van deze missie gemist? Kijk hieronder alle onderzoeken rondom Missie 5: ‘Dear Human, can I actually help you?’ snel en handig terug!

De producties voor deze missie worden ondersteund door redacteur Sander van Velze.

Quiz: Wat weet jij van spraakassistenten?

Wat weet jij van spraakassistenten? Voor de missie ‘Dear human, can I actually help you?’ maakten wij een korte quiz waarin jij je kennis kan testen over voice interfaces. Die quiz kan je maken door HIER te klikken. De antwoorden worden onderaan deze blogpost toegelicht, dus niet te ver naar onder scrollen als je geen spoilers wil!

Misschien is het je opgevallen dat er in de quiz meerdere vragen voorbij kwamen over doven en slechthorenden in verband met spraaktechnologie. Dat komt omdat we in ons volgende item verder hierop ingaan. Want op welke manier kunnen zij gebruik maken van assistenten zoals Siri, Alexa of Google Home?

 

Antwoorden met uitleg volgen hieronder:

STELLING: Meer dan 40% van de Nederlanders gebruikte een spraakassistent in 2021.

NIET WAAR: Uit onderzoek van de Nationale Voice Monitor blijkt dat in 2021 37% van de Nederlanders een spraakassistent gebruikte in 2021.

 

STELLING: De grootste procentuele groei in het gebruik van spraakassistenten in Nederland vond tussen 2020 en 2021 plaats onder jongeren.

NIET WAAR: Hoewel mensen tussen de 18 en 34 het vaakst een spraakassistent gebruiken, zijn 65+ers de groep waar procentueel de grootste stijging is te zien in het gebruik van spraaktechnologie. (Nationale Voice Monitor)

 

STELLING: Siri was in 2021 de meest gebruikte spraakassistent in Nederland.

NIET WAAR: Siri staat op een tweede plaats met 31%. Maar liefst 68% van de ondervraagden gaf in de Nationale Voice Monitor aan gebruik te maken van Google Assistant.

 

STELLING: Jongeren maken zich procentueel meer zorgen om privacy dan ouderen als het gaat om spraakassistenten.

WAAR: Uit de Nationale Voice Monitor blijkt dat de zorgen om privacy de laatste jaren afnemen, maar dat jongeren zich hier meer zorgen maken dan ouderen.

 

STELLING: Spraakassistenten kunnen alleen gebruikt worden in stille ruimtes.

NIET WAAR: Spraakassistenten zijn vaak zo ontworpen dat ze achtergrondgeluid eruit filteren, waardoor een spraakassistent bijvoorbeeld ook goed te gebruiken is tijdens het autorijden.

 

STELLING: Spraakassistenten luisteren altijd actief met ons mee.

NIET WAAR: Spraakassistenten luisteren altijd passief mee, maar luisteren pas actief mee als ze geactiveerd worden. Denk bijvoorbeeld aan het zeggen van ‘Hey Google’ voordat een Google Assistant reageert.

 

STELLING: Doven en slechthorenden kunnen momenteel slecht gebruik maken van Siri, Alexa en Google Assistant.

WAAR: De manier waarop spraakassistenten momenteel werken betekent dat het lastig is voor doven en slechthorenden om gebruik te maken van deze diensten, maar het is niet onmogelijk.

 

STELLING: De stemmen van spraakassistenten zijn gekozen zodat doven en slechthorenden ze goed kunnen verstaan.

NIET WAAR: Integendeel zelfs! De vaak vrij hoge tonen van de vrouwelijke stemmen van voice assistants zijn juist heel slecht te horen voor gebruikers van gehoorapparaten.

 

STELLING: Doven en slechthorenden zullen altijd problemen hebben met het gebruik van spraakassistenten.

NIET WAAR: Tenminste, dat hopen we. Er wordt momenteel gekeken naar verschillende methoden om voice assistants beter bruikbaar te maken voor slechthorenden, zoals visuele feedback en ondersteuning voor gebarentaal.

Heb je iets van deze missie gemist? Kijk hieronder alle onderzoeken rondom Missie 5: ‘Dear Human, can I actually help you?’ snel en handig terug!

De producties voor deze missie worden ondersteund door redacteur Remi Terhorst.

Spraakassistenten onder de loep: Wat is de kritiek op de huidige spraaktechnologie?

Uit onderzoek van NPR en Edison Research eerder dit jaar blijkt dat een derde van de eigenaren van smart speakers deze na de eerste maand minder gebruikt. In dit artikel willen we het hebben over die groep; de mensen die kritisch zijn op het gebruik van spraakassistenten, of zelf om een bepaalde reden helemaal geen gebruik maken van deze technologie. Deze week sprak ik (in het Engels) met drie van mijn studenten aan de Hogeschool Utrecht over spraakassistenten. Zorgen met het oog op vertrouwen, privacy en ontwerp komen allemaal aan bod. Deze studenten delen hun kritische kijk op spraakassistenten in deze podcast.

Het is misschien eenzijdig om alleen te kijken naar de negatieve gevoelens die niet-gebruikers hebben over spraakassistenten, maar hierdoor kan je wel leren over de zorgen die de huidige gebruikers hebben. Zorgen die vooral te maken hebben met fouten of tekortkomingen in de technologie van nu, niet begrepen worden, of het niet krijgen van het juiste antwoord.

In onderzoeken en vragenlijsten over spraakassistenten lees je de volgende opmerkingen:

“ Ik gebruik het heel soms om er achter te komen hoe een liedje heet. Voor de meeste andere dingen is het te langzaam of onvoorspelbaar”

“Het is veel makkelijker om in de zoekbalk iets in te typen dan om hier Google assistant voor te gebruiken”

“Ik gebruik Google assistent echt alleen in noodgevallen” 

“Alleen voor het weer. Van alle dingen is het zeggen van ‘(locatie)-weer-(tijd/dag)’ het enige dat snel werkt en 99% van de keren werkt zoals je verwacht. Bijna al het andere duurt te lang of is gewoon niet nauwkeurig.

“De enige situatie waarvoor ik soms echt een spraakassistent nodig heb is als ik aan het autorijden ben (met een hands-free speaker) en zelfs dan gebruik ik het maar zelden.”

Vooral in het onderzoek van NPR waren de respondenten niet blij met spraakassistenten. Drie op de vijf mensen gaf aan dat ze in eerste instantie vaak ontevreden waren met de hulp van hun assistent, maar de helft van de respondenten laat wel weten nu spraakassistenten meer te vertrouwen en ze nog steeds te willen gebruiken, ondanks de imperfecties.

Onder de gebruikers leven er ook zorgen over vertrouwen en privacy. Dit blijkt uit een ander marketingrapport van Microsoft in 2019. Terwijl 81% van de gebruikers enigszins tevreden was met zijn digitale assistent, had 41% van de ondervraagden zorgen over betrouwbaarheid, privacy en passief luisteren.

Toen ik dieper ging graven in research naar niet-gebruikers van spraakassistenten kwam ik bij een verslag van PWC. In dit verslag vragen ze de niet-gebruiker:

“Je hebt aangegeven op dit moment geen spraakassistenten te gebruiken en dit niet van plan bent in de toekomst te gaan doen. Waarom?”

Hieronder een overzicht van de antwoorden:

Bijna 70 procent gebruikt geen spraakassistent vanwege zorgen over de privacy of betrouwbaarheid. De vertrouwen-issues zijn soms ook verbonden met de vaardigheden van de assistent. Een voorbeeld:

“De assistent kan de helft van de tijd mijn vragen niet beantwoorden, hoe kan ik de assistent dan vertrouwen met iets waar geld bij komt kijken?”

Dit wordt in ander onderzoek ook bevestigd. De consument ziet spraakassistenten als een snellere, makkelijkere manier om alledaagse activiteiten te doen, maar voor serieuze situaties die met geld te maken hebben (shoppen, terugbetaling van een vliegticket etc.) maken ze liever gebruik van wat ze al kennen en vertrouwen.

In het verslag van PWC kwam naar voren dat één op de vier consumenten niet zou overwegen om een voice assistent te gebruiken om aankopen te doen:

  • 46% zei: “Ik vertrouw mijn spraakassistent niet met het correct interpreteren en verwerken van mijn bestelling.”
  • 45% zei: “Ik voel me er niet comfortabel bij en vertrouw het niet om mijn betaling via mijn spraakassistent te doen”

Zelfs onder degenen die spraakassistenten gebruiken om te shoppen bestaat verdeeldheid in het type aankopen waarbij ze het aandurven om een spraakassistent te gebruiken. Maar de meerderheid van de mensen voelt zich alleen comfortabel om de spraakassistent te gebruiken als het gaat om kleine aankopen die ze snel kunnen kopen zonder het product fysiek te hoeven zien.

Één van de gebruikers zegt bijvoorbeeld dit:

“Ik zou bijvoorbeeld op zoek gaan naar simpele dingen tijdens het shoppen, zoals hondenvoer, toiletpapier, pizza…..Maar om je spraakassistent te vragen om een sweater? Dat is te riskant.” 

Privacy is een andere zorg voor de niet-gebruiker of degene die twijfelt over deze technologie. Spraakassistenten zijn een soort privacy-nachtmerries, omdat ze meer en meer ons dagelijkse leven en ons gedrag monitoren. Ook zijn ze niet transparant over hoe ze onze data op een verantwoordelijke manier gebruiken. Privacy-problemen zijn niet gelimiteerd tot dataverantwoordelijkheid en zorgen daarover, hoewel er volgens gebruikersresearch grote privacy-lekken zijn door de manier waarop de huidige spraakassistenten zijn ontworpen. Vooral omdat ze geen onderscheid maken tussen gebruikers in hun interactie, wat tot grote consequenties kan leiden in het dagelijks leven.

Als het bijvoorbeeld op shoppen aankomt, dan zijn gebruikers bezorgd dat de spraakassistent de koper niet kan identificeren. En omdat er vooraf toestemming is gegeven voor het gebruik van een credit card, zou iedereen zijn stem kunnen gebruiken om een koopverzoek in te dienen. In het PWC-onderzoek staat een voorbeeld dat misschien bekend voorkomt voor ons. Misschien dat je dit wel eens van je eigen vrienden of familie met kinderen hebt gehoord:

“Mijn dochter heeft bijna $1,500 uitgegeven aan een spelletje op de telefoon…..Kan dit apparaat er niet voor zorgen dat het alleen naar mijn stem luistert, en niet naar mijn rebelse 11-jarige? Of misschien is het handig om je laatste drie tekens van je creditcard in te moeten vullen om een aankoop te bevestigen?”

Sommige gebruikers zijn ook bezorgd over hun persoonlijke privacy. Ze willen dat de assistent kan detecteren of de gebruiker alleen is, voordat ze aanbevelingen doen op basis van hun vorige aankoop of zoekgeschiedenis. Ondanks dat spraakassistenten overal toegankelijk zijn, geeft 3 van de vier gebruikers (74%) aan dat ze de mobiele spraakassistent thuis gebruiken omdat ze het liefst privacy hebben als ze hier tegen praten. En tegen je telefoon praten in een publieke ruimte ‘ziet er ook gewoon raar uit’, zo laten de respondenten weten.

Dat er veel potentie zit in spraakassistenten, is duidelijk. Maar op dit moment zijn er nog veel mensen kritisch als het gaat om (hun) spraakassistenten, vooral als het gaat om privacy en vertrouwen. In het volgende item over voice assistants hebben we het over doven en slechthorenden. Hoe zouden zij om kunnen gaan met deze technologie?

Hey Alexa, wat zijn voice interfaces?!

Zowel nieuwsgierig als sceptisch over de populariteit van spraakinterfaces, begon ik te onderzoeken wie deze systemen gebruikt, generatie verschillen, hoe vaak ze het gebruiken, en waarvoor.

Bij het doornemen van enquêtes en onderzoeksrapporten van over de hele wereld en binnen Nederland, vond ik een aantal consistente patronen. Terwijl de jongere generatie (18-34) de eerste enthousiastelingen en frequente gebruikers waren, volgen ondertussen ook oudere generaties (35-55) en nu raken zelfs de ouderen (65-99) vertrouwd en tonen ze interesse om het eens te proberen.

In Nederland is de intentie van ouderen om een ​​spraakassistent te hebben sinds 2019 bijna verdubbeld en in 2020 van 15% naar 30% gegaan volgens een recent onderzoek van Smart Voices.

Er waren ook overeenkomsten in frequentie en patroon van gebruik. Over het algemeen gebruikt meer dan 70% van de gebruikers wereldwijd hun stemassistent minstens één keer per dag. Ze gebruiken het voornamelijk om hun favoriete nummer of afspeellijst af te spelen, om informatie op te vragen en vooral om de weersomstandigheden meerdere keren per dag te controleren. Een behoorlijk aantal mensen zou het gebruiken om naar het nieuws te luisteren, op de hoogte te blijven van sportuitslagen, en om herinneringen in te stellen.

Naast deze veelvoorkomende patronen waren er ook meer nieuwe inzichten. Een enquête in Engeland uit 2018 vroeg 1000 deelnemers “waarvoor gebruik je je stemassistent?”. Na muziek (65%), weer en nieuws (50%), gaf 20% van de antwoorden aan dat ze hun VA gebruikten om “een ei te koken”. Dat is zowel vragen hoe je een ei kookt als hulp gebruiken om het goed te timen. Het gebruik van de stemassistent voor recepten en informatie tijdens het koken, wanneer onze handen vies en bezig zijn, is niet zo verwonderlijk en komt vaak naar voren in enquêtes, maar dit stelt dat 1 op de 5 mensen een geavanceerde technologie gebruikt om een ​​perfect ei te koken! Dit zette me aan het denken.

Er waren ook puur entertainment doeleinden. Ouders zeiden dat ze het gebruiken om met ideeën te komen om hun kinderen te vermaken. Diezelfde enquête deelt dat veel interacties gaan om het gevoel voor humor of kennis van het systeem te testen. Alexa of Google Home vragen om een ​​grap te vertellen is iets dat bijna elke gebruiker heeft geprobeerd. Als je in Google Zoeken typt “welke dingen kun je vragen aan Alexa”, zijn dit enkele van de meest voorkomende suggesties.

Ik zette mijn onderzoek voort door mijn eigen enquête uit te voeren en een aantal van dezelfde vragen te stellen aan mijn vrienden in Amerika, Engeland, en hier in Nederland, evenals aan onze studenten in het Data Driven Design-programma van de HU.

De antwoorden waren niet specifiek consistent.

“Ik gebruik mijn Google Nest-audio om dagelijks het weer te controleren en alarmen/herinneringen in te stellen en af ​​en toe mijn Spotify-muziekafspeellijst af te spelen. Of soms, als ik me verveel, vraag ik om een ​​grapje” aldus een internationale student van de HU.

“Een van de dingen die handig zijn bij het gebruik van Google Assistant, is om te onthouden waar ik mijn fiets in Utrecht heb geparkeerd en hoe ik bepaalde woorden in het Nederlands moet zeggen terwijl ik dingen koop” zei een ander.

“Ik gebruik de mijne het vaakst bij het koken – om muziek af te spelen, conversies uit te voeren of timers in te stellen”, zei een vriend uit Engeland.

“Ik zeg tegen de mijne: Hey Google, speel het geluid van de golven. En de golven sturen me in slaap”, zei een ander.

Maar toen kwam de meest interessante opmerking van de vader van een andere vriend die 65 is. Ze vertelden: “Mijn vader gebruikt het om grappen en gekke dingen te vertellen, zoals te vragen ‘ben je wakker?’ en soms snurkt het (de voice assistant) dan en daar houdt hij van”. Dit kan een ander gebruik voor entertainment zijn, minder over grapjes en meer over het gevoel van gezelschap. Maar om daarin te doordringen, moeten we met meer moeders en vaders, en opa’s en oma’s gaan praten.

 

Ten slotte gingen we de straat op om het grote publiek te vragen of ze hun ervaringen wilden delen. Na veel afwijzingen en antwoorden in lijn met “Nee, ik blijf weg van alles zoals stemassistenten”, hadden we een paar gebruikers die bereid waren om hun mening te delen en te uiten. Laten we horen wat ze te zeggen hebben in de onderstaande video. Volgende keer zullen we praten met alle mensen die nog steeds geen behoefte voelen om spraakinterfaces te gebruiken – zoals ik zelf.

 We horen graag over jouw ervaringen! Gebruik je spraakinterfaces en zo ja, waarvoor? Herken je een van de bovenstaande uitspraken of heb je er nog een heel ander gebruik voor? Praat mee op sociale media kanelen van HEMD op LinkedIn en Youtube.

Missie 5: Dear human, can I actually help you?

Up until a few years ago, I did not care much about Conversational Interfaces all that much.  Chatbots I would avoid altogether. To me Siri was laughable. Its mistakes made me, and my friends laugh when it would fail to understand my accents and Alexa a finicky device no serious person would use for a real task. I am not sure where this attitude was coming from, but it had a lot to do with my bad experience with virtual assistants who could never help with anything, yet always asked “is there anything else I can help you with today?”

Today, I must admit, advances in speech and language technology are gaining ground fast. In particular machine’s understanding of natural languages is becoming increasingly reliable, and many companies are planning to utilize speech and language interfaces. So, as using voice is going to radically change the way we do things, speech and language interfaces need a closer look now; will they change the way we interact with machines, and what does this mean for the user?

First things first, let’s get to the basics; what is a Conversational Interface? Well, the term is self-explanatory and includes any communication with machines in which we use natural language, like in a real conversation. The interaction can be through text (e.g. chatbots) or speech (e.g., voice assistants) but the underlying technology is the same. The fact that they are easy to use and can serve as a 24/7 virtual assistant has made them popular across the globe for a wide range of services. From simple Q&A type of conversation to flight reservation and online shopping assistance to news aggregation they are being used by an increasing rate. However, there is a catch; users expect to be served as effectively and reliably as they were with the human-based systems before, and they are unforgiving once the system fails to understand them, keep them engaged or show human like empathy. So, a truly satisfactory user experience is something yet to be delivered by industry, but more importantly, there is the question of putting this technology to the most impactful use.

Conversational Interfaces Google Home ChatMuch like it is with any other cutting-edge technology, it would take a lot of effort before Conversational Interfaces find the right purposes. Oftentimes, those fields that can make quick money, by selling pure novelty, even in less meaningful ways, are the ones that introduce technology to the public. The same has happened here for the likes of Alexa and Google Home. They have both developed into very popular voice assistants which can answer short questions, read the news for you, set reminders, and check your calendar and email. They can also control your home devices, when you ask them “increase the temperature” or “turn off the light” and even do a series of actions as customizable routines all with one command. Now Alexa apparently has a real advantage over Google Home when it comes to online shopping and it does its best to help you shop from Amazon. But it is only Google that can understand Dutch, so there you go if you were still undecided between the two.

Market research shows the number of voice assistants owned by US households grew exponentially and reached 25 million by 2020. A survey from 2018, only 5 months after Google Home added Dutch to its list of supported languages showed that 5% of Dutch household had already owned the device. These numbers are remarkable since these devices do not seem to have a unique selling point, especially since most of the applications were already available in another mode of interaction, some even with voice assistants of the mobile phones. So, the fact that such advanced technology is put in use for such a trivial service is underwhelming for me. To be honest we have been doing perfectly fine before, especially without all the eavesdropping and spying concerns. While this is not the first time, we are using high tech to make our life slightly more efficient and enjoy something cool or convenient, but it is perhaps one of the most suitable technologies for a more purposeful use. So, I keep wondering isn’t it possible- to harness this technology in more impactful, more inclusive, more meaningful ways, beyond, or at least besides using it for arranging our appointments and playing our favorite playlist?

Seeking something “good,” and “meaningful,” is what has taken me on a long journey in my career, from Computer Engineering to Artificial Intelligence and Cognitive Science and Social Innovation, and now Human Experience. All along I have been in search of the human side of things, and particularly, looking for ways to improve the life of the disempowered and marginalized and excluded. And for this mission, as part of my research within the framework of “AI for Social Good,” I want to investigate ways that speech and language technology can be used towards solving societal problems. In the coming year I want to look further into such opportunities and investigate if and how existing voice technology can help where there is no other service or solution.

A huge advantage of conversational interfaces for solving societal problems, over other technologies, is how they provide easy and cheap access to centralized information, which makes them both scalable and affordable. Also being available 24/7 and automatically responding to enquiries makes them even more effective and empowering. Take a crisis for example where fast widespread reaction is essential and think about ways a Chatbot can help. Imagine how a specialized voice assistant can help people in a remote place, by providing information on basic hygiene, proper use of certain medicine or food supplements they might have received from aid agencies. Try to picture how a refugee running from a war-torn country can use a voice assistant to reach safety, or how a well-trained Chatbot, can give one-on-one tutoring to millions of children that are out of school in refugee camps with no prospect of getting out anytime soon.

Domains that have potential for using Conversational Interfaces as an innovative solution are countless, both locally and internationally. From inclusion and social relatedness to health and wellbeing and from education to community engagement, to citizen journalism and activism and public legal assistance, there are plenty of opportunities to make a novel use of the technology, and there are in fact a few successful existing solutions too. Now that we have both the right purpose and the right means, it is time to ask both Alexa and Echo:

“Hey guys, which one of you knows how to do it?”

Interesting first post from Shakila Shayan, receive an update email when she’s posting her next by emailing hemdmissies@hu.nl or scroll down to the bottom to add your email to our mailing list.

 

Photo by BENCE BOROS on Unsplash