研究ソース2件

ゼロから作ったMamba3言語モデルを日本語で話せる全二重音声対話モデルに拡張するまで

Zenn トレンド · 執筆：Taro · 7時間前

要点 · ソース2件をもとに作成

Zennの記事では、ゼロから作ったMamba3言語モデル（NanoMambaLM）を0.13Bから0.26Bにスケールし、事前学習とSFTを行ったことが紹介されている
同記事では、テキストチャットに加えて直接会話できる全二重音声対話モデルへ拡張する過程が扱われている
Qiitaの記事によると、Shizuku AIは2026年11月8日に80ミリ秒ごとに相手の声を聞きながら自分の声を出す日本語音声対話モデル「Shizuku-Duplex」を開発したと発表した

なぜ重要か

Mamba系の状態空間モデルを音声対話に応用する具体的な事例であり、小規模モデルを個人や小規模チームが自作して音声対話まで拡張する現実的な道筋を示している。

影響を受ける人

Mamba系モデルや状態空間モデルに関心のある開発者
日本語音声対話システムを開発する開発者

Mamba3
NanoMambaLM 0.26B
#Mamba
#音声対話
#全二重
#日本語LLM
#機械学習

はじめにこんにちはTaarooです。皆さんMambaしてますか〜自分はですね、前回の記事で作ったMamba3言語モデル（NanoMambaLM）をちょっとスケール(0.13B → 0.26B)して、またゼロから事前学習やSFTをして、ちょっとずつお話ができるようになっていくのを楽しんでました！そうしているうちに、テキストチャットだけじゃなくて直接おしゃべりしたいな～と思うようになりまして...。…

zenn.devで記事全文を読む ↗