Mycroft-core: 로컬 STT 대체?

전적으로 동의했습니다! 사실, 내가 블로그 게시물 / 뉴스 레터 중 하나를 올바르게 읽었다면이 범위가 확실해야한다고 말하고 싶습니다.

안녕하세요,

풀 요청 # 656 및 관련 문제 # 655를 참조하십시오. 로컬 pocketsphinx를 STT 장치로 사용하기 위해 클라이언트 / 음성에 필요한 변경 사항을 구현합니다.

스페인어 내재화로 개발되고 테스트되었지만 PocketSphinx에서 지원하는 다른 언어에도 유효해야합니다.

자세한 내용은 여기 위키 페이지를 참조하십시오. 특히 "스페인어를 지원하는 STT 선택 및 구성"이라는 장을 참조하십시오.

kaldi를 사용하려면 pull request # 438도 있습니다.
라즈베리 파이에서 작동할지 확신 할 수 없지만 내 데스크톱에서는 잘 작동합니다.

몇 년 후, 인터넷 연결에 따라 온라인 및 오프라인 STT를 모두 사용하는 최적화되지 않은 방법을 공유합니다. 누군가를 도울 수 있다면. 개인적으로 PocketSphinx를 오프라인 STT로 사용

mycroft.stt.__init__.py에서 _from mycroft.util import connected_를 추가하십시오.
그런 다음 create () 메서드에서 다음을 추가합니다.

if connected() is True: return PocketSphinxSTT() else: try : ...

그런 다음 mainskill.__init__.py에서 다음 호출을 handle_boot_finished 메소드에 추가 할 수 있습니다.
self.schedule_repeating_event(self.check_connection_switchSTT, None, 30)
이것은 인터넷 연결을 확인하는 check_connection_switchSTT를 호출하고 변경된 경우 30 초마다 오디오 서비스를 다시 시작합니다.
내 기능은 개인적으로 다음과 같습니다.

def check_connection_switchSTT(self):

    if connected() is True:

        self.newstate = "yes"

    else:

        self.newstate = 'no'

    if self.prevstate != self.newstate:

        self.prevstate = self.newstate

        LOG.info("Internet connectivity changed")

        subprocess.call(['/path/to/stop-mycroft.sh', 'voice'])

        subprocess.call(['/path/to/start-mycroft.sh', 'voice'])

`
스킬 초기화 중 연결에 따라 이전에 self.prevstate를 정의한 경우

문제를 해결하는 좋은 방법은 아니지만 주제에 대해 다른 것을 찾을 수 없었고 인터넷이 다운되었을 때 폴 백이 필요했습니다. 지난 3 년 동안이 문제에 대해 누구든지 공유해주세요.

pocketsphinx는 막 다른 골목, 폴백으로도 사용할 수 없을 정도로 짜증납니다.

오프라인 pocketsphinx STT를 추가하기 위해 https://github.com/MycroftAI/mycroft-core/pull/1184 를 만들었지 만 라이브 테스트는 제가 포기하고 CLI를 사용하면서 99,9 %의 시간을 기록했습니다.

kaldi 라이브 스트리밍은 옵션이며 약간 더 잘 작동하며 75 % 만 포기합니다!

최선의 선택은 deepspeech / kaldi를 자체 호스트하는 것이지만, 그것조차도 황금 시간대에 준비되지 않았습니다

내 pocketsphinx 로컬 리스너 (제한된 어휘도 괜찮음)와

그것들은 개념 증명이지만 실제로 유지되는 프로젝트는 아닙니다. Pull Requests는 최신 상태로 유지하는 것을 환영합니다.

대체 STT가 많은 의미가 있다고 생각하지만, 일단 사용할 수있는 것이 있으면 현재는 리소스 낭비입니다.

두 번째로 pocketsphinx에 문제가 생겼습니다. 대부분 정확도가 낮기 때문에 개인적으로 https://github.com/jcsilva/docker-kaldi-gstreamer-server 와 함께 kaldi를 사용하는 것이 더 좋습니다.

내가 마지막으로 시도한 것은 2017 년 이었기 때문에 ymmv, 바라건대 다시 볼 시간이 생기면 mycroft가 그리워요 :)

감사합니다. 현지 청취자는 참으로 매우 흥미 롭습니다. 업데이트로 PR하겠습니다.

Vosk 는 RPI에서 실행할 수 있으며 현재 16 개 언어에 대한 작은 (50MB) STT 모델을 가지고 있습니다. 지금 시도해 볼게요 ...

@domcross 는 여기에서 https://github.com/HelloChatterbox/speech2text/blob/dev/speech2text/engines/kaldi.py

# 2594가 병합되기를 기다리고 있으므로 추가 할 수 있습니다. :)