こんにちは、Riiidで「教育向けマルチモーダルAI研究」を行っているR.contentチームリードのチェ・スンテクです。
私たちのチームではさまざまな研究を進めていますが、その中でも「話すこと・書くことの言語診断（Spoken and Written Language Assessment）」技術の研究成果を今回のINTERSPEECH 2023学会で発表することになり、その参加記を共有したく本投稿を書くことになりました。
INTERSPEECH 2023 学会
INTERSPEECH 学会情報
「INTERSPEECH 2023」は、早くも24周年を迎えた世界的な音声言語処理学会で、今年は8月20日から4日間、アイルランドのダブリンで開催されました。INTERSPEECH学会では、伝統的な音声信号処理や音声分析、音声インターフェースをはじめ、今では一般の人々にもなじみ深い音声認識や音声合成、対話システム（チャットボット）など、現在産業界で重要に研究されているテーマまで幅広く扱っています。学術発表だけでなく、技術展示やネットワーキングの機会なども提供されるため、学界と産業分野のあらゆる専門家が一堂に会し、楽しく知識を共有する協力の場でもあります。
INTERSPEECH 2023 参加者と学会の雰囲気
INTERSPEECH 2023学会では、メインホールでさまざまなテーマのポスター発表セッションが開かれる一方、別のホールでは口頭発表セッションが並行して進行されます。写真でもわかるように、音声分野の研究者たちは予想以上に多く参加しており、皆が自身の研究成果やドメインに関する専門知識を共有し、他の研究者から学ぼうとする姿勢が強く感じられました。
近年AIへの関心が高まっていることもあり、音声分野は音声認識（Speech-to-Text; STT）からAIスピーカーまで、伝統的にもAIとの関連が深かっただけに、今回のINTERSPEECH 2023学会にはGoogle、Amazon、Metaなど、さまざまなグローバル企業の参加も目立ちました。通常、学会に参加すると、このような企業ブースで自社の研究成果を紹介する資料集を配ったり、来場者にグッズをプレゼントしたりもします。
初日の夕方にはウェルカムレセプション（Welcome Reception）が開かれました。学会側が簡単な軽食とともにワインやビールなどを提供してくれるのですが、参加者たちが大いに浮き立った雰囲気で三々五々集まって話している様子を見ることができました。ダブリンには世界的に最も有名なビール会社の一つであるギネスがあるためか、今回の学会ではDataForceという企業がギネスの生ビールを提供するブースを開いたりもしました。皆、ダブリンでのギネスの名声を知っているからなのか、どのセッションでも見られなかったほどの人だかりができていました。
学会初日のRiiidのポスター発表
Addressing Cold-start Problem for End-to-end Automatic Speech Scoring
今回Riiidで発表した論文のタイトルはAddressing Cold-start Problem for End-to-end Automatic Speech Scoringで、RiiidのTOEIC Speaking採点サービスにおいて最も重要な役割を担っている、TOEIC Speakingのスコア予測AI研究プロジェクトの成果です。（詳しい研究内容は私の個人ブログにまとめてありますので、関心のある方はぜひご覧いただければと思いますが、今回の記事では学会に関する話を中心にしてみようと思います。）
添付した写真は、ポスター発表のために設営を終えて待っているときに撮ったものですが、Riiidからは私ひとりで学会に参加したため、海外の研究者たちとアクティブに交流している写真は撮れず、少し残念な気持ちです。そして実際にRiiidのポスターを見に来てくれた参加者は数え切れないほどでしたが、そのうち20名ほどとは密な会話を交わしました。最も多く受けた質問のtop-3を挙げると、以下のようなものでした。
研究者によっては、データ公開の可否や、より詳細なモデル構造について質問する場合もありましたし、私たちの研究の結果分析に対して、各モデルの特性に応じたインサイトを追加のフィードバックとしてくださる場合もありました。こうした研究者たちの関心と質問を通して、問題解決のためにやはり注目すべきなのはモデルとデータであることを改めて確認できましたし、Riiidが確保しているAI技術力とそのデータを披露すると同時に、学術レベルでのフィードバックを得られたことは良い経験でした。
学会を見て回り、交流しながら得たインサイト
学会参加の最大の目標だった発表セッションを終えた後、熱心に会場を回りながら音声分野の知識を吸収しました。さまざまな分野がありましたが、教育企業でマルチモーダル人工知能を研究しているチームの一員として、特に関心を引かれた領域は大きく、1) 発話診断 & 発音診断、2) 音声モデル & 言語モデル、そして 3) データ不足 & 自己教師あり学習でした。
第一に、発話診断 & 発音診断（Speech Assessment & Pronunciation Assessment）
私たちの論文もこの領域に属するように思いますが、やはり音声分野であるだけに、発音の問題を非常に重要に扱っているという印象を受けました。さまざまな角度から発音を診断しようとする試みがあり、英語ネイティブとESLの差を考慮する研究から始まり、音素・単語・文レベルの情報を活用して発音を診断したり、子どもたちの特性を考慮すべきだとする研究もありました。他のタスクの情報をあわせて活用したり、音声診断データの不均衡をobjective engineeringの観点からアプローチした論文もあります。教育という特性上、Riiidでは不完全な入力データを常に想定することになりますが、そのような状況でも活用できる重要なインサイトを多く得ることができました。
第二に、音声モデル & 言語モデル（Acoustic Model & Language Model）
最近のAI分野では、優れたモデルをひとつ持ってきて徹底的に使い倒すのが主流です。音声学会であるINTERSPEECH 2023も同様に、Speech ModelあるいはAcoustic Modelに関する研究が多く進められていました。さまざまな分析研究がありましたが、その中で興味深く見た研究のひとつが、まさに音声モデルのrepresentationにも文法的な情報が含まれていることを実験的に証明した論文でした。音声モデルは通常、波形データを受け取るため、言語的特性を反映できていないと考えることもできますが、この論文では、まるでNLP分野のBERTのような言語モデルのように、音声モデルにも文法的情報が含まれていることを示したのです。Riiidでも、学生の発話を通して発音だけでなく内容や文法の領域まで診断できるAIを研究していましたが、優れた音声モデルをうまく活用するだけで文法的な部分まで一緒に診断できるという点で、これ以上なく嬉しい論文でした。
ChatGPTをINTERSPEECHの関心領域から分析した論文もありました。音声分野の言語研究における重要な問題の一つは、音声をテキストに変換する過程（Automatic Speech Recognition; ASR）で誤りが追加されうるという点です。通常、このような誤りのために言語モデルがユーザーの実際の発話を誤って理解してしまうことがあります。この論文では、大規模言語モデルであるChatGPTがASR誤りを自らある程度補正して理解できることを実験的に示しました。簡単に言えば、ChatGPTがASR誤りのあるテキストを「うまくいい感じに」処理するという意味です。このほかにも、言語モデルを音声モデルと併用する研究や、人工知能スピーカーに主に搭載される意図検出（intent detection）モジュールに関する研究もありました.
最近、有名なOpen LLM Leaderboardのように音声モデルを評価するためのベンチマークをめぐる議論も活発でした。現在のベンチマークシステムが効果的ではないとする論文もあり、自己教師あり方式で学習された音声モデルの言語学的知識を評価するために新しいベンチマークシステムを提案した論文もありました。Googleは、さまざまな音声モデルのファインチューニング性能を学習なしで測定し比較できる方法論を提示しました。その一方で、INTERSPEECH学会の論文はコードを一緒に公開しないという反省的な研究も目立ちました。NLP分野もGLUEをはじめ多様なベンチマークが提案される中で急速にコミュニティが成長し始めましたが、音声言語学分野でもこのような動きが徐々に増えているように感じられました.
第三に、データ不足＆自己教師あり学習（Low Resource & Self-Supervised Learning）
データがあふれる時代だと言われますが、逆説的にすべてのAI研究者はデータ不足の問題を経験しているはずです。高品質なデータが不足している環境では、自己教師あり学習方式を通じてモデルの性能を高めることが不可欠です。今回の学会でも、似たような試みによってさまざまなタスクで性能を向上させる方法を提示した論文がかなり多く見られました。
データが不足している状況で、よく学習されたモデルを持ってきて性能を高める転移学習（transfer learning）の方法論から、自己教師あり学習（self-supervised learning）による事前学習（pre-training）の方法論まで、さまざまな方法論が議論されました。自然言語処理分野ですでに研究が進んでいた方法論も、音声言語処理分野ではそれら独自の特性を持って新たに研究されており、他分野にはなかった新しいモデル学習方法論が提案されることもありました。
教育分野でも、常にデータ不足が問題になります。今回のINTERSPEECH 2023学会を通じて、産業界と学術界が抱えているデータ不足の問題と、それを解決するためのシンプルでありながら効果的な方法を学ぶことができました。
まとめ
今回のINTERSPEECH 2023学会への参加を通じて、以下のように多くのことを見て感じることができました。
第一に、音声分野のAIについて多くを学ぶことができました。自分にもう少し音声分野の専門性があれば、もっと多くのことを見て、より多くのことを感じられたのではないかという心残りはありますが、すぐに現場へ応用できる技術を学ぶこともでき、長期的に会社が進むべき方向について考えるよい機会にもなりました。
第二に、改めてデータの重要性を実感しました。特にNLPでそうだったと思いますが、AI分野ではデータ（あるいはベンチマーク）が一度作られると、データに飢えた人々が集まり急速に性能を向上させ、その方法論を互いに共有しながら影響力を広げ、最終的には市場そのものが拡大することが頻繁にありました。今回のINTERSPEECH 2023では、以前私が感じていたよりもはるかに多くのデータが集まっていることが目に見えるほどであり、それだけに、さらに速く発展していくAIへの期待を抱かせる経験でした。
最後に、やはりまだオンラインで開催される学会よりも、オフラインで開催される学会のほうが知識を素早く吸収するのに適していると感じました。私は学会場で特別に関心のある発表がある場合を除けば、すべてのポスターに目を通しながら著者の方々に一対一で速成講義を受けることを好むのですが、論文や発表だけでは表れない細かなディテールを専門家に尋ねられる貴重な機会でした。同時に、Riiidで教育用AIを研究するにあたり、オフラインと遜色のない、あるいはそれ以上にパーソナライズされた教育を提供するためには、さらに努力しなければならないとも感じました。
以上で「INTERSPEECH 2023参加およびポスター発表の感想」を終わります。お読みいただきありがとうございました。
