第6回サイレント音声認識ワークショップ

開催日:2019年10月27日(日)
会場:第一工業大学

コンペティション「第2回機械読唇チャレンジ」

  • タスク:日本語25単語発話シーン分類問題

  • 参加条件:
    • 昨年開催の「第1回機械読唇チャレンジ」と学習データおよびテストデータが異なりますが、その他は「第1回機械読唇チャレンジ」と同じです。
    • コンペティション参加申込み手続きを行って下さい。
    • 1名(1グループ)で複数の認識手法の結果を提出していただけます。この場合、複数のIDをそれぞれ登録して下さい(コンペティション参加申込み手続きを複数行って下さい)。
    • 評価方法に従い、認識結果テキストファイル(ここではR-fileと呼びます)を認識結果提出〆切日時までに本Webサイトを利用してアップロードして下さい。R-fileは認識結果提出〆切日時までであれば差し替え可能です。結果は上書きされます。
    • コンペティション用アブストラクトとして、下記項目についてスライド3枚(MS PowerPointファイル)にまとめて、認識結果提出〆切日時までにメール添付で提出して下さい。この資料は、主催者が総括用に利用します。
      1. ユーザ(グループ)ID and/or 氏名
      2. 認識手法の概要
      3. 実験環境
      4. 工夫した点
    • ワークショップの発表申込み手続き(こちら)を行って下さい。
    • ワークショップ用アブストラクトを提出してください。詳細はこちらをご覧下さい。

  • コンペティション参加申込み手続き
    参加申込み手続き〆切日時:2019年9月27日(金)23:59 終了しました。

  • 利用データ:SSSD[+]
    データは無償で配布していますが、利用契約書を提出していただく必要があります。提供データなどの詳細はSSSDのWebサイトでご確認下さい。

  • 評価方法:
    • 学習データ:72名×25単語×10サンプル(合計18,000)の発話シーン and/or 他の公開あるいは独自収集の発話シーン
    • テストデータ:5,000サンプルの発話シーン
      テストデータリスト
      テストデータはSSSDと同じ形式の非公開分です。発話者数、各発話者のサンプル数、各単語のサンプル数などはSSRW2019開催まで非公開です。
      各サンプルの正解値は認識結果提出〆切後に公開します。
    • 参加者が提出したR-fileよりスコアを自動的に算出します。
      R-fileは各サンプルの認識結果(分類結果)の単語番号(0~24、整数値)を1行ずつ記入したものと定義します。今回のテストデータサンプル数は5,000のため、R-fileの行数は5,000行になります。
      下記サンプルR-fileを参考にして下さい。
      サンプルR-file
      ※このサンプルR-fileを評価した場合、スコアは0.036800になります。サンプルR-fileは様式を確認していただくために乱数値で作成しました。
    • (スコア)=(正解サンプル数)/ 5,000
      スコアは0~1の範囲です。スコアが1に近いほど、高い精度を意味します。
    • 認識結果(R-file)の提出および評価 提出期間は終了しました。
      上記よりR-fileを提出して下さい。提出するとスコアを自動計算して、スコアを表示します。

  • コンペティション結果:
    teamData typeScore
    1gotohOnly images0.9066
    2minayOnly images0.8738
    3KU_MelcoBoth feature points and images0.8354
    4mulgrayBoth feature points and images0.8334
    5guasrminOnly images0.7946
    6shimashimaBoth feature points and images0.7848
    7touyu0203Both feature points and images0.7578

  • 認識結果提出〆切日時:2019年9月30日(月)23:59 提出期間は終了しました。
  • アブストラクト提出先:saitoh at ces.kyutech.ac.jp

  • SSRW2019における発表方法:
    口頭発表

  • 参考情報:
    • 第1回機械読唇チャレンジは こちら[+]
    • LF-ROIを用いた3D-CNNによる認識プログラムは こちら[+]

  • 主催者:九州工業大学・齊藤剛史
    問い合わせ先:saitoh at ces.kyutech.ac.jp