Python & Whisper_mic リアルタイムで音声文字起こし – ストリーミング処理対応 –

こんにちは、Zero-Cheeseです。

この記事では、

ローカル環境で（サーバ、クラウド環境では使用せず）、
PythonとWhisper_micを使用して、
リアルタイム（ストリーミング方式）で、音声から文字起こしを行う方法を

解説しています。

対象読者：

Pythonを、基本レベルで扱える方（入門書を一冊程度理解している方）
リアルタイムで、音声を文字に変換するシステムに、興味がある方

Whisperの基本的な使用法と解説は、下記の記事にて、解説しています。

Whisperに初めて触れる方は、あわせてご参照いただくと、理解が深まると思います。

Python & Whisper: ローカルで音声文字起こし・翻訳方法を解説ローカル環境でのWhisperのセットアップから、音声の文字起こし、翻訳までのステップバイステップで解説しました。簡単に音声ファイルをテキスト化し、多言語への翻訳も可能です。...

whisper_micとは？

whisper_micは、

Whisperを利用して、マイクの音声をリアルタイムで、テキスト化する

パッケージです。

このツールは、言語の自動認識機能を備えていますが、日本語を韓国語に誤認するケースが見られます。

そこで本記事では、この問題を解消し、さらにPythonから実行可能なコードを、紹介致します。

whisper_micのライセンス：

whisper_micは、MITライセンス下で、利用可能です。

これは、商用利用、改変、再配布、有料販売など、幅広い用途で、利用可能です。

（ただし、「著作権表示」と「MITライセンスの全文」の記載が、必要となります。）

環境構築

whisper_micは、pipコマンドを使用して、簡単にインストールできます。

pip install whisper-mic

pipの使い方は、こちらの記事で、詳しく解説しています。

【Python】pipの使い型入門 - コマンドライン、Anaconda、PyCharmからの操作方法を解説 -

【Python】pipの使い方入門 - コマンドライン、Anaconda、PyCharmからの操作方法を解説 -Python入門者を対象に、pipの使い型を解説した記事です。コマンドライン、Anaconda、PyCharmからの操作方法を、わかりやすく解説しました。 ...

リアルタイム文字起こし方法

whisper_mic コードの変更と呼び出し

whisper_mic コードの変更部分

音声言語が「英語」以外の場合、「日本語」に指定するようコードを変更します。

具体的には、whisper_mic/whisper_mic/whisper_mic.pyファイルの、約100行目にあるtranscribe( ) メソッドを、下記のように変更します。

def transcribe(self,data=None, realtime: bool = False) -> None:
        # 他のコード
        if self.english:
            result = self.audio_model.transcribe(audio_data,language='english')
        else:
            result = self.audio_model.transcribe(audio_data,language='japanese')
# コードは続く・・・

10行目が変更部分です。 language引数に、「japanese」を指定しています。

whisper_micの呼出し

whisper_micを呼出すコードは、次の通りです。

Pythonコードのファイル名は、任意で大丈夫です。

from whisper_mic.whisper_mic import WhisperMic

mic = WhisperMic(model='large-v2', verbose=True)
mic.listen_loop()

model引数に指定する「モデル」は、下記の表をご参照下さい。

精度が高いモデルほど、ファイル容量が大きく、処理も重くなります。

モデル名	パラメータ量	英語専用モデル名	多言語モデル名	必要な VRAM	相対速度
tiny	39 M	tiny.en	tiny	〜 1 GB	〜 32x
base	74 M	base.en	base	〜 1 GB	〜 16x
small	244 M	small.en	small	〜 2 GB	〜 6x
medium	769 M	medium.en	medium	〜 5 GB	〜 2x
large	1550 M	無し	large	〜 10 GB	1x
large-v2	1550 M	無し	large-v2	（〜 10 GB）?	（1x）?

※ 多言語モデルは、日本語もサポートしています
※ 相対速度とは、「largeモデル」を基準の 1 とした際の、処理速度の相対指標です

※ large-v2モデルは、largeモデルに対し、2.5倍のエポック数で追加学習され、性能が向上（リンク先論文のP4参照）

実行結果

本コードを実行すると、以下のように、JSONが逐次表示されます。
（わかりやすさのため、1回目と2回目の表示内容に改行を挿入していますが、実際は改行が入りません。）

{'text': 'やる!', 'segments': [{'id': 0, 'seek': 0, 'start': 0.0, 'end': 2.0, 'text': 'やる!', 'tokens': [50364, 7355, 4895, 0, 50464], 'temperature': 0.0, 'avg_logprob': -0.6988972822825114, 'compression_ratio': 0.4666666666666667, 'no_speech_prob': 0.14680470526218414}], 'language': 'japanese'}

{'text': 'あるわぁ、筆圧えぇー、筆圧感知あるんだこれ', 'segments': [{'id': 0, 'seek': 0, 'start': 0.0, 'end': 2.0, 'text': 'あるわぁ、筆圧', 'tokens': [50364, 24719, 9206, 11951, 1231, 7973, 228, 2523, 100, 50464], 'temperature': 0.0, 'avg_logprob': -0.3888755211463341, 'compression_ratio': 1.0161290322580645, 'no_speech_prob': 0.06986737996339798}, {'id': 1, 'seek': 0, 'start': 2.0, 'end': 4.0, 'text': 'えぇー、筆圧感知あるんだこれ', 'tokens': [50464, 6474, 20861, 3384, 1231, 7973, 228, 2523, 100, 9709, 6498, 24719, 26983, 9329, 50564], 'temperature': 0.0, 'avg_logprob': -0.3888755211463341, 'compression_ratio': 1.0161290322580645, 'no_speech_prob': 0.06986737996339798}], 'language': 'japanese'}