Toen ik klein was, verdwaalde ik in Hongkong. Ik sprak de taal niet.
Op latere reizen, naar China en naar andere landen waar ik de taal niet ken, kon ik geen mobiele data gebruiken. Elke keer wenste ik hetzelfde: een vertaler die geen verbinding nodig heeft, zodat ik mensen kon begrijpen en met ze kon praten.
Knowless is mijn poging om zo’n vertaler te maken. De app zet spraak om in live transcriptie en vertaling, op de telefoon zelf. Ik heb hem ontworpen, en gebouwd met hulp van AI-tools.1 Het is waarschijnlijk de eenvoudigste app die ik heb gemaakt: één scherm en één knop. Zo eenvoudig werd hij pas na drie verkeerde afslagen.
Eerste poging: een radar
De eerste versie was een radar die de hele tijd luisterde. Ik stelde me voor dat die alleen uit de audio kon afleiden waar een spreker was.
Het duurde niet lang voor ik wist dat hij dat niet kon. Mijn telefoon geeft me bij een opname geen ruimtelijke audio, dus niets in die opname zegt waar een stem vandaan komt. Voor zover ik heb gelezen, kan een nieuwer model dat misschien wel. Zo een heb ik niet. Met geluid heb ik het niet verder geprobeerd.
Tweede poging: beide camera’s
Dus probeerde ik ogen in plaats van oren. De camera’s voor en achter tegelijk aan, op zoek naar het gezicht dat sprak, zodat de app zou weten waar die persoon was.
Het kwam tot een werkende build op mijn telefoon, met alles op het toestel en zonder server: die keek door beide camera’s en probeerde elke stem aan een gezicht te koppelen. Het ging mis waar het ertoe doet. De telefoon werd heet. De batterij raakte snel leeg. Hij liep vast, vaak. Ook dat heb ik laten vallen.
Luisteren met mijn eigen oren
Sommige beslissingen waren kleiner en deden er net zo veel toe. Op papier klonk ruisonderdrukking voor lawaaiige plekken logisch. Toen luisterde ik met mijn eigen oren naar een opname vol lawaai. Ik kon niet verstaan wat ik zelf zei. Hoeveel ruis je ook wegfiltert, dat los je niet op, dus liet ik het idee vallen.
Dat bedoel ik met human in the loop. Ik bouw met AI, en ik moet blijven controleren of wat ik vraag in de praktijk wel zinnig is. De beslissingen zijn extreem belangrijk.
Voor de modellen gold hetzelfde. Ik heb ze één voor één getest, en dat duurde lang. In het begin, met modellen die naar de telefoon werden gedownload, zou de app op ongeveer vier gigabyte zijn uitgekomen. Het eerste prototype bewaarde ook een gespreksgeschiedenis. Die heb ik geschrapt om de app op tijd voor Shipaton uit te brengen, en nog haalde ik de deadline bijna niet.
als ik het niet hoor, hoort geen filter het
Wat overbleef
Eén scherm en één knop. Drukken, praten, vertalen.
De vertaalde regel is groot. Het origineel staat er direct onder: kleiner, grijs, cursief.
Die volgorde blijft overeind als de tekst groeit. Met een knijpbeweging schaal je de tekst van 50% tot 300%. Vooraf kies je maximaal drie talen waarnaar de app luistert. En je kunt een regel meenemen: kopieer hem, of laat hem voorlezen.
De twee dagen
Een heel kleine feature bleek extreem complex: hoe de woorden verschijnen.
Het lijkt alsof audio tekst wordt en die tekst op het scherm komt. Zo gaat het niet. Audio wordt een gok, en die gok komt meteen op het scherm, zodat het live aanvoelt. Daarna wordt de gok verbeterd, en als de verbetering afwijkt, verandert het scherm. Na een lange zin volgt nog een ronde die hem opnieuw verbetert, met de context van de hele zin.
Elk van die toestanden moet er goed uitzien, en het wachten ertussen ook. Een regel die nog binnenkomt, wordt getekend als verspringende tekens achter een amberkleurige cursor. Een regel die vaststaat, is gewone tekst, en die beweegt niet.
Ik ben meer dan twee dagen heen en weer gegaan tussen de app en een mock-up van het ontwerp. Vanaf het begin wist ik dat het intuïtief moest aanvoelen, en ik geloofde dat mensen dat zouden voelen. Ik had niet verwacht dat het zo lang zou duren.
sommige dingen horen er niet te zijn. niet iedereen ziet dat.
Precies zeggen wat waar is
Spraakherkenning en vertaling draaien op de telefoon. Talen moet je één keer downloaden, met een verbinding; daarna werkt de kern zonder. Daarom staat op de screenshot die ik voor de App Store heb voorbereid “works offline”, met de voorwaarde er in één adem bij: na het downloaden van ondersteunde talen.
Wat dit niet bewijst
Hier staan geen resultaten: geen begripsscores, geen usabilityonderzoek, geen gebruikscijfers. Wat ik kan laten zien is de route, en waar die is uitgekomen.
Hierna wil ik dat twee mensen, elk met een telefoon, live voor elkaar vertaald worden. Dat is nog niet gebouwd.