Mycroft-core: Lokaler STT-Fallback?

Stimme voll und ganz zu! Wenn ich einen der Blog-Beiträge / Newsletter richtig gelesen habe, würde ich sagen, dass dies fest im Umfang enthalten sein sollte.

Hallo,

Siehe Pull-Request #656 und das zugehörige Problem #655. Es implementiert die notwendigen Änderungen in Client/Sprache, um lokales pocketphinx als STT-Gerät zu verwenden.

Es wurde in der spanischen Verinnerlichung entwickelt und getestet, muss jedoch für jede andere von PocketSphinx unterstützte Sprache gültig sein.

Weitere Informationen finden Sie hier auf der Wiki-Seite. Insbesondere das Kapitel mit dem Titel "STT mit spanischer Unterstützung auswählen und konfigurieren".

Es gibt auch Pull Request #438, wenn Sie kaldi verwenden möchten.
Ich bin mir nicht sicher, ob es auf dem Himbeer-Pi funktioniert, aber auf meinem Desktop funktioniert es einwandfrei.

Einige Jahre später, aber eine nicht optimierte Art der Verwendung von Online- und Offline-STTs, abhängig von der Internetverbindung. Wenn es jemandem helfen kann. PocketSphinx persönlich als Offline-STT verwenden

Auf mycroft.stt.__init__.py fügen Sie _from mycroft.util import connected_ hinzu.
Fügen Sie dann in der Methode create() Folgendes hinzu:

if connected() is True: return PocketSphinxSTT() else: try : ...

Dann kann man auf Ihrer mainskill.__init__.py der Methode handle_boot_finished diesen Aufruf hinzufügen:
self.schedule_repeating_event(self.check_connection_switchSTT, None, 30)
Dies ruft check_connection_switchSTT auf, das die Internetverbindung überprüft und Audiodienste alle 30 Sekunden neu startet, wenn sie sich geändert hat.
Meine Funktion sieht persönlich so aus:

def check_connection_switchSTT(self):

    if connected() is True:

        self.newstate = "yes"

    else:

        self.newstate = 'no'

    if self.prevstate != self.newstate:

        self.prevstate = self.newstate

        LOG.info("Internet connectivity changed")

        subprocess.call(['/path/to/stop-mycroft.sh', 'voice'])

        subprocess.call(['/path/to/start-mycroft.sh', 'voice'])

`
zuvor self.prevstate je nach Verbindung während der Initialisierung des Skills definiert haben

Keine sehr gute Möglichkeit, das Problem zu lösen, konnte aber nichts anderes zu diesem Thema finden und musste dringend einen Fallback haben, wenn mein Internet ausfällt. Wenn jemand in den letzten drei Jahren über dieses Problem nachgedacht hat, teilen Sie es bitte mit.

pocketphinx ist eine Sackgasse, es ist so schlimm, dass es nicht einmal als Fallback verwendbar ist

Ich habe https://github.com/MycroftAI/mycroft-core/pull/1184 erstellt , um eine Offline-Taschenphinx STT hinzuzufügen, aber Live-Tests endeten in 99,9% der Fälle damit, dass ich aufgab und nur den Client benutzte

Kaldi Livestreaming ist eine Option, funktioniert etwas besser, ich gebe nur 75% der Fälle auf!

Ihre beste Option ist, Deepspeech / Kaldi selbst zu hosten, aber selbst das ist noch nicht für die Hauptsendezeit bereit ready

Sie könnten an meinem lokalen Pocketphinx-Hörer (begrenzter Wortschatz funktioniert ok) und Kaldi-Spotter interessiert sein

das sind Proof of Concepts, aber nicht wirklich gepflegte Projekte, Pull Requests sind willkommen, um sie auf dem Laufenden zu halten

Ich denke, ein Fallback STT ist sehr sinnvoll, aber erst wenn wir etwas Brauchbares haben, ist es derzeit Ressourcenverschwendung

Ich habe zweitens Probleme mit Pocketphinx, hauptsächlich aufgrund geringer Genauigkeit, persönlich hatte ich viel mehr Glück mit der Verwendung von Kaldi mit https://github.com/jcsilva/docker-kaldi-gstreamer-server

Das letzte Mal habe ich es 2017 versucht, also ymmv, hoffentlich habe ich etwas Zeit, es mir noch einmal anzusehen, ich vermisse mein Mycroft :)

Danke, der lokale Hörer ist in der Tat sehr interessant, ich werde mit einem Update PR geben.

Vosk läuft auf RPI und hat kleine (50 MB) STT-Modelle für derzeit 16 Sprachen. das werde ich jetzt mal ausprobieren...

@domcross siehe vosk hier https://github.com/HelloChatterbox/speech2text/blob/dev/speech2text/engines/kaldi.py

Ich warte nur darauf, dass #2594 zusammengeführt wird, damit ich es hinzufügen kann :)