Idée

Bonjour! Je m'appelle Vitaly, je suis développeur et co-fondateur d'une startup Être averti. Depuis mon enfance, je suis très malentendant et ma femme n'entend plus du tout. Depuis longtemps, je souhaitais développer des applications et des logiciels pour les sourds et malentendants. Tous les problèmes auxquels ils sont confrontés me sont familiers.

Moi et ma femme Natalya

Auparavant, je développais des logiciels pour des compagnies aériennes civiles en Ukraine et créais une application de réalité augmentée appelée SIMO. J'ai toujours été intéressé par tout ce qui touche à la technologie. Et il y a quelques années, j'ai rencontré Sergei Malyukov, aujourd'hui notre PDG, par l'intermédiaire d'un professeur de l'Institut polytechnique de Kiev, avec qui j'ai étudié autrefois.

L'idée de créer une application pour les personnes sourdes et malentendantes est venue à Sergei en 2013. Un jour, il marchait dans la rue et une voiture s'est mise à klaxonner dans son dos. Sergei a rapidement sauté sur le côté, mais le couple qui marchait à proximité n'a pas bougé. Il leur a crié de s'éloigner, mais ils sont restés au même endroit où ils se trouvaient. Bientôt, Sergei s'est rendu compte qu'il s'agissait de deux personnes sourdes qui communiquaient entre elles en langue des signes. Sergey était sûr qu'il existe des applications permettant de reconnaître les sons dangereux. Après avoir analysé les applications et gadgets existants pour les personnes sourdes et n'avoir trouvé aucune solution permettant de reconnaître les sons dangereux, il a décidé de créer une telle application. En cours de travail, plusieurs partenaires l'ont rejoint et désormais BeWarned est auto-investi par les fondateurs de la startup.

Dès que j’ai entendu parler du projet et vu les développements, j’ai été immédiatement captivé par l’idée et je suis rapidement devenu co-fondateur. En ce moment, je suis engagé dans le développement technique d'une startup.

Mise en œuvre

En 2014, le premier prototype de l'application BeWarned est sorti avec la fonction Sound Monitor, qui permet de reconnaître les sons dangereux en temps réel. Ce fut le premier petit succès. Mais c'était seulement le début.

Depuis mon enfance j'aimais la technologie, je montais ou démontais souvent quelque chose, je voulais voir ce qui en résulterait

Il ressort clairement de centaines d’e-mails et d’avis que les personnes sourdes ont besoin de plus qu’une application capable de reconnaître les sons dangereux. Les sourds avaient mille problèmes non résolus qui pouvaient être résolus. A partir de ces courriers et retours, a été créée la plateforme BeWarned, qui regroupe 4 assistants techniques pour sourds : Sound Monitor, Connect, Emergency Call et Dance.

Sound Monitor résout le problème de sécurité en identifiant les sons dangereux (cris, klaxon de voiture, chien qui aboie, sirène). En cas de danger, l'application prévient l'utilisateur en vibrant et en faisant clignoter le flash du smartphone. Connect aide les personnes sourdes à communiquer avec les autres : il convertit le texte en parole et vice versa. Danse vous permet de découvrir des morceaux de musique en les convertissant en vibrations, signaux lumineux et égaliseur visuel pulsé. L'appel d'urgence aide l'utilisateur à appeler ses proches pour obtenir de l'aide lorsqu'il se trouve dans une situation dangereuse.

Vous pouvez trouver plus de vidéos sur notre chaîne

À l'été 2016, nous avons effectué des tests bêta de la plateforme aux États-Unis. En conséquence, 88,9 % des utilisateurs ont déclaré qu’ils recommanderaient l’application à leurs amis.

La partie la plus difficile du développement de BeWarned a été le Sound Monitor, que nous avons passé plusieurs années à développer. Le programme de reconnaissance des sons dangereux est basé sur des réseaux de neurones. Nous avons essayé deux types de réseaux de neurones : un perceptron multicouche classique et un réseau de neurones convolutionnel. Mais nous avons ensuite décidé d'essayer le modèle de Markov caché : il était le mieux adapté à nos tâches.

Afin de créer une base de données sur laquelle sera basé l'algorithme, nous avons nous-mêmes enregistré de nombreuses variations d'un type de son dangereux, par exemple un signal de voiture, sur la base de laquelle l'algorithme reconnaîtra les sons entrants et les déterminera comme appartenant à un certain taper. Cependant, au cours de notre travail, nous avons rencontré un problème dans la mesure où l'algorithme de reconnaissance classait tous les sons entrants uniquement dans des catégories existantes : un klaxon de voiture, un cri, le son d'une sirène de police et un chien qui aboie. Par exemple, si quelqu'un riait, le programme le reconnaissait comme appartenant à l'une de ces catégories. Pour résoudre ce problème, nous avons dû segmenter les sons, par exemple, par fréquences et autres caractéristiques. Ce qui a finalement permis d’introduire un type de son supplémentaire indéfini.

Quelque temps après la sortie de la plateforme BeWarned, nous avons décidé d'apporter des changements importants afin d'améliorer la convivialité : nous avons tout simplifié radicalement et l'avons adapté à la perception des personnes sourdes. C'est pourquoi nous avons réédité les applications individuellement.

En décembre, BW Dance (Android, iOS) est sorti, passant d'une fonctionnalité de la plateforme BeWarned à une application indépendante. BW Dance permet aux personnes sourdes et malentendantes de danser sur leurs chansons préférées. L'utilisateur ajoute ses chansons préférées à une liste de lecture et l'application convertit la musique en vibrations, flashs et animations sur l'écran. L'utilisateur peut également découvrir la musique à l'aide d'un lecteur visuel. BW Dance a été accueilli positivement par les utilisateurs en Ukraine et à l'étranger.

Après cela, nous avons lancé Connect by Bewarned (Android, iOS), une application qui permet aux personnes sourdes et malentendantes de communiquer avec des personnes entendantes. Pour commencer à communiquer avec une ou plusieurs personnes dans l'application, il vous suffit d'appuyer sur le bouton START et de laisser parler l'autre personne, après quoi l'application convertira le discours en un message texte qu'une personne sourde pourra lire. L'application convertit également le texte en parole, la personne sourde doit écrire ce qu'elle veut dire. De plus, nous avons développé un ensemble de modèles qui modélisent des situations simples et fréquemment répétées, comme commander du café dans un café. Grâce à ces schémas, une personne sourde peut rapidement communiquer quelque chose à une personne entendante. Nous avons également fourni la possibilité de créer des modèles supplémentaires pour les besoins personnels de chaque personne sourde.

résultats

En Ukraine, les journalistes ont commencé à nous écrire activement ; STB, 1+1, Channel 5 et d'autres ont fait des reportages sur nous. Nous avons constaté que les gens se souciaient des sourds, et nous avons également constaté que se soucier de la simplicité et de la convivialité était un pas dans la bonne direction. Nous avons réalisé que nous étions sur la bonne voie.

Ma femme et moi discutons avec des journalistes de Channel 5

Nous avons lancé Connect by Bewarned sur Product Hunt le 30 janvier et sommes entrés dans le TOP 5 du jour, en plus d'être inclus dans la newsletter officielle. Dans les commentaires sur notre produit sur Product Hunt, nous avons reçu des offres d'aide pour développer des localisations en français et même en farsi. Avec les quatre localisations déjà existantes – espagnol, russe, ukrainien et anglais, nous pourrons nous rapprocher de notre objectif global : faciliter la vie des personnes sourdes.

Je suis convaincu que les professionnels de l'informatique doivent utiliser les compétences qui leur sont transmises au profit des autres. Notre expérience, petite mais réussie, montre que les nouvelles applications peuvent changer considérablement la vie d'autres personnes. C'est pourquoi nous allons continuer à travailler sur l'idée incarnée par Connect de Bewarned : surmonter les barrières de communication entre les personnes sourdes et entendantes, il y en a environ 400 millions dans le monde.

Équipe BeWarned de gauche à droite : Moi, Evgeny, Evgeniya, Ivan, Yulia, Sergey, Andrey, Ilona, ​​​​Ira, Anton, Andrey (maintenant nous sommes encore plus nombreux que sur cette photo :))

Les gens comme moi ont souvent des problèmes lorsqu'ils doivent communiquer avec une personne entendante : un policier, un médecin, un banquier. La loi nous garantit des droits égaux et un accès aux services sur un pied d’égalité avec les personnes entendantes. Mais en réalité, nos capacités sont considérablement limitées. C'est pourquoi nous avons décidé de nous lancer dans une tâche véritablement mondiale : créer une infrastructure électronique mondiale qui facilitera l'accès des personnes sourdes à tous les services disponibles pour les personnes entendantes : banques, hôpitaux, taxis, etc. Nous travaillons actuellement précisément sur cette tâche.

Des activités simples comme parler au téléphone, descendre les escaliers ou même vérifier la date de péremption du lait peuvent devenir difficiles pour les personnes handicapées. Cependant, certains de ces problèmes peuvent être résolus avec succès à l’aide d’un smartphone.

Nous vous présentons une sélection d'applications mobiles qui facilitent la vie des personnes handicapées.

Applications qui reconnaissent la parole

"Yandex.Conversation"

Récemment, Yandex a publié une application qui aide les sourds et malentendants à communiquer avec des amis et des inconnus en traduisant la parole en texte et vice versa.

L'application peut écouter et reconnaître la parole - tout ce qui vous est dit est affiché sur l'écran du smartphone sous forme de texte, et également prononcer à haute voix les mots imprimés.

L'application a été inventée et développée par un groupe d'étudiants du MIPT et fonctionne sur la technologie de reconnaissance vocale Yandex SpeechKit.

RogerVoix

RogerVoice est une application qui permet aux personnes sourdes de parler au téléphone. L’application utilise la technologie de reconnaissance vocale pour convertir la voix en texte, afin que les personnes sourdes puissent lire ce que dit l’autre personne.

L'application est apparue grâce à Campagne Kickstarter réussie – Une version bêta de l'application est actuellement disponible et peut être téléchargée sur le site Internet de RogerVoice.

Une application qui vous aide à entendre

Écoutez-vous maintenant

Avec cette application, les utilisateurs malentendants peuvent ajuster le son en fonction de la situation dans laquelle ils se trouvent : dans un lieu public, en réunion, etc. Pour ce faire, des écouteurs sont connectés au smartphone, grâce auxquels le son est fourni avec les réglages appropriés pour optimiser l'arrière-plan ou le premier plan.

L'application a été développée par ExSilent, un fabricant néerlandais d'appareils auditifs, et s'adresse aux personnes qui peuvent utiliser des appareils auditifs mais qui ne sont pas encore prêtes à le faire.

Bonjour!

« Le pain nourrit le corps, mais un livre nourrit l'esprit »...

Les livres constituent l’un des biens les plus précieux de l’homme moderne. Les livres sont apparus dans l'Antiquité et étaient très chers (un livre pouvait être échangé contre un troupeau de vaches !). Dans le monde moderne, les livres sont accessibles à tous ! En les lisant, nous devenons plus alphabétisés, nos horizons et notre ingéniosité se développent. Et en général, nous n'avons pas encore trouvé de source de connaissances plus parfaite à transférer les uns aux autres !

Avec le développement de la technologie informatique (surtout au cours des 10 dernières années), il est devenu possible non seulement de lire des livres, mais aussi de les écouter (c'est-à-dire qu'un programme spécial vous les lira, d'une voix masculine ou féminine). ). Je voudrais vous parler des outils logiciels pour la voix off.

Problèmes d'enregistrement possibles

Avant de passer à la liste des programmes, je voudrais m'attarder sur un problème courant et considérer les cas où un programme ne peut pas lire de texte.

Le fait est qu'il existe des moteurs vocaux, ils peuvent être de différents standards : SAPI 4, SAPI 5 ou Microsoft Speech Platform (la plupart des programmes de reproduction de texte ont le choix de cet outil). Il est donc logique qu'en plus d'un programme de lecture vocale, vous ayez besoin d'un moteur (cela dépendra de la langue qu'ils vous liront, de quelle voix : masculine ou féminine, etc.).

Moteurs vocaux

Les moteurs peuvent être gratuits ou commerciaux (bien entendu, les moteurs commerciaux offrent la meilleure qualité de reproduction sonore).

SAPI 4. Versions obsolètes des outils. Pour les PC modernes, il n'est pas recommandé d'utiliser des versions obsolètes. Il est préférable de regarder de plus près SAPI 5 ou Microsoft Speech Platform.

SAPI 5. Moteurs vocaux modernes, il existe à la fois gratuits et payants. Sur Internet, vous pouvez trouver des dizaines de moteurs vocaux SAPI 5 (avec des voix féminines et masculines).

L'un des meilleurs programmes pour exprimer du texte. Permet à votre PC de lire non seulement des fichiers simples au format txt, mais aussi des actualités, des flux RSS, des pages Web sur Internet, des e-mails, etc.

De plus, il vous permet de convertir du texte en fichier mp3 (que vous pouvez ensuite télécharger sur n'importe quel téléphone ou lecteur mp3 et écouter en déplacement, par exemple). Ceux. vous pouvez créer vous-même des livres audio !

Les voix du programme IVONA sont très similaires aux voix réelles, la prononciation est assez bonne et elles ne bégayent pas. À propos, le programme peut être utile pour ceux qui étudient une langue étrangère. Grâce à lui, vous pouvez écouter la prononciation correcte de certains mots et phrases.

Prend en charge SAPI5 et coopère bien avec les applications externes (par exemple, Apple iTunes, Skype).

Exemple (enregistrement d'un de mes articles récents)

Parmi les inconvénients : il lit des mots inconnus avec une accentuation et une intonation incorrectes. En général, ce n'est pas mal d'écouter, par exemple, un paragraphe d'un livre d'histoire pendant que vous assistez à une conférence/un cours - même plus que cela !

Balabolka

Un excellent programme pour travailler avec des livres : lire, cataloguer, rechercher ce dont vous avez besoin, etc. En plus des documents standards lisibles par d'autres programmes (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT, FB2-TXT, etc.) ICE Book Reader prend en charge les formats de fichiers : .LIT, .CHM et .ePub.

De plus, ICE Book Reader vous permet non seulement de lire, mais également une excellente bibliothèque de bureau :

• permet de stocker, traiter, cataloguer des livres (jusqu'à 250 000 mille exemplaires !) ;
• commande automatique de votre collection ;
• recherche rapide d'un livre dans votre « dépotoir » (particulièrement important si vous avez beaucoup de littérature non cataloguée) ;
• Le moteur de base de données d'ICE Book Reader est supérieur à la plupart des programmes de ce type.

Le programme vous permet également de lire des textes en utilisant votre voix.

Pour ce faire, vous devez accéder aux paramètres du programme et configurer deux onglets : « Mode » (sélectionner la lecture vocale) et « Mode de synthèse vocale » (sélectionner le moteur vocal lui-même).

Parleur

Avec Sakrament Talker, vous pouvez transformer votre ordinateur en un livre audio parlant ! Le programme Sakrament Talker prend en charge les formats RTF et TXT et peut reconnaître automatiquement l'encodage du fichier (vous avez probablement parfois remarqué que certains programmes ouvrent un fichier avec des « crackers » au lieu de texte, mais c'est impossible dans Sakrament Talker !).

De plus, Sakrament Talker permet de lire des fichiers assez volumineux et de retrouver rapidement certains fichiers. Vous pouvez non seulement écouter le texte vocal sur votre ordinateur, mais également l'enregistrer sous forme de fichier mp3 (qui peut ensuite être copié sur n'importe quel lecteur ou téléphone et écouté loin de votre PC).

Dans l’ensemble, c’est un très bon programme qui prend en charge tous les moteurs vocaux populaires.

C'est tout pour aujourd'hui. Malgré le fait que les programmes d'aujourd'hui ne peuvent pas encore lire entièrement (100 %) le texte, de sorte qu'une personne ne peut pas déterminer qui le lit : un programme ou une personne... Mais je crois qu'un jour les programmes y parviendront : la puissance des ordinateurs augmente , les moteurs augmentent en volume (y compris de plus en plus, même les tournures de parole les plus complexes) - ce qui signifie que bientôt le son du programme sera impossible à distinguer de la parole humaine ordinaire ?!

Deux étudiants de l'Université Beihai de Pékin ont développé une application pour aider les personnes sourdes en Chine. L'application s'appelle Shouyin, ce qui signifie littéralement « voix des mains ». Il vous permet de traduire en parole les signes linguistiques des sourds en temps réel.

L'application fonctionne en conjonction avec le bracelet intelligent et peut actuellement reconnaître plus de 200 caractères, chaque caractère a été enregistré mille fois par différentes personnes pour améliorer la précision de la traduction. Actuellement, le taux de reconnaissance est de 95 %.

La jeune Nana Wang, l'une des développeurs, a déclaré qu'elle avait été inspirée par un ami sourd et muet avec qui elle ne pouvait communiquer que par messages sur son téléphone portable. En Chine, environ 5 % de la population, soit 70 millions de personnes, sont sourdes. Nul doute que cette candidature connaîtra un grand succès. La sortie officielle de l'application est prévue pour fin mai. Des programmes similaires existent déjà dans d’autres pays du monde. Par exemple, Uni de MotionSavvy et le traducteur de langue sourde de Google Chats.

Les technologies évoluent aujourd’hui à un rythme rapide, notamment dans le domaine social et médical. Ils aident non seulement à faire face à divers types de maux, mais aussi à mieux comprendre votre prochain, même si sa perception du monde diffère de la vôtre. Une application spéciale vous aidera à parler avec une personne sourde-muette, tandis que les technologies VR peuvent aider, par exemple, à comprendre l'autisme, et ainsi vous rapprocher de ceux qui souffrent de cette maladie.

Diverses études ont montré que plus de 99 % des personnes ont entendu parler de l'autisme, mais que seulement 16 % comprennent réellement ce que signifie cette maladie mentale. Et selon une enquête menée au Royaume-Uni, plus de 25 % des personnes autistes ont déjà été invitées à quitter un lieu public tel qu'un restaurant ou un magasin lorsqu'elles voyaient des symptômes de leur maladie.

Pour lutter contre ce problème de désinformation, la British National Autistic Society a décidé de créer Film VR, ce qui aiderait tout le monde à savoir ce que signifie vivre avec un tel diagnostic. Gmbox a écrit à ce sujet.

Cette vidéo virtuelle vous plongera dans le corps d'un jeune garçon autiste et vous montrera le monde à travers ses yeux. Dans le film, vous entrez dans un centre commercial et ressentez l’énorme charge sensorielle de se promener dans cet endroit bondé. Le bruit, l'abondance d'objets divers, de couleurs, le mouvement des gens, leurs voix - tout cela provoque chez le garçon une panique qu'il lui est très difficile de gérer.

Une autre communauté de la maladie d'Alzheimer a également produit un film VR qui vous met dans la peau d'une personne atteinte de démence. Une promenade à travers la démence vous aidera à comprendre comment certaines tâches quotidiennes simples, comme se préparer une tasse de thé, peuvent devenir un véritable défi pour une personne atteinte de la maladie.

Le principal problème de ces applications est que ce créneau n’est pas suffisamment développé. Lors de mes recherches, j'ai consulté plus de 30 applications, et presque toutes étaient conçues pour un public anglophone ou des personnes vivant en Europe ou aux États-Unis. Cependant, les six applications présentées ci-dessous constituent une exception et, j'espère, seront utiles à quelqu'un.

Mode Miracle

Miracle Modus est une application créée par un développeur autiste. À en juger par ses propos et ses critiques sur le Play Market, l'application fonctionne vraiment. Le principe de fonctionnement est à la fois simple et complexe : Miracle Modus dessine diverses lignes et motifs et joue des sons relaxants qui ont un effet apaisant sur les personnes autistes.

Carnet de diabète

Une application qui aide les personnes atteintes de diabète du premier et du deuxième degré. Ici, vous pouvez saisir toutes les informations sur la nourriture que vous avez mangée pendant la journée. Le rapport complet peut ensuite être exporté vers Excel pour le montrer à votre médecin.

Copain migraineux

Permet aux personnes souffrant de migraine d'analyser leur mode de vie et de comprendre quels facteurs conduisent à des maux de tête. L'application suit également votre sommeil afin que vous puissiez voir la corrélation entre les migraines et la qualité du sommeil.

Bosses

Bumps aide les aveugles à apprendre le braille. L'application ne prend en charge que l'anglais, elle ne convient donc qu'à ceux qui souhaitent apprendre à lire non seulement le russe. En plus d'apprendre l'alphabet, Bumps vous permet de saisir différents mots et de voir comment ils sont écrits en braille.

Il existe une application similaire pour Android - Braile Guide.

Signes de propagation

Spread Signs possède une immense bibliothèque de gestes qui aident les personnes sourdes et muettes à communiquer. La base d'applications comprend plus d'une douzaine de langues, dont le russe, l'ukrainien et l'anglais. Vous pouvez apprendre à la fois des gestes désignant des lettres individuelles et des mots entiers.