AI王 〜クイズAI日本一決定戦〜

リーダーボードはこちらから!

最終報告会(NLP2021-WS)の開催概要はこちらから!

概要

本コンペティションは,日本の(日本語を対象とした)質問応答研究を促進させることを目的としています.クイズ問題を題材とした質問応答データセットを用いて,みんなで人工知能クイズ王(=「AI王」)を開発しましょう!

更新履歴

データ

データダウンロード

データ仕様等の詳細は JAQKET [鈴木ら 2020] のページをご覧ください.開発用セットをこちらで2つに分解してある意図としては,片方を開発中の擬似的なテストセットとして用いただくことを想定しています.

重要日程

最終報告会(2021/03/19): AI王 〜クイズAI日本一決定戦〜 〜大発表会〜

以下は当初(COVID-19の感染拡大前に)予定していたスケジュール案です.記録のために残してあります.

当初は下記の日程でコンペティションを進行する予定でしたが,COVID-19の感染拡大による社会情勢の変化を鑑み,中間説明会/最終報告会の開催の可否・日程を再検討中です.日程が決まりましたら,再度アナウンスを行います.それまでは,パイロット期間としてリーダーボード上でのコンペティションに積極的にご参加ください.

説明資料のアップロード(2020/04/17)

中間説明会(2020/06中)

最終報告会(2020/09/28)

ルール

基本的には,あらゆる情報を使ってクイズの正解率を上げる計算モデルを構築することが目的のコンペです.クイズ問題に対する解答は,必ず与えられたエンティティリスト内の約92万項目のいずれかになります.しかし,膨大な選択肢の中から正解項目を見つけ出すのは困難だと予想されるため,ヒントとして各問題に対して20個の候補項目を付与してあります.正解は,このなかのいずれか1つの項目になります.

評価指標

利用可能データに関するルール

利用可能計算機リソースに関するルール

No private sharing outside team ルール

ベースラインシステム

BERT [Devlin et al. 2019] をベースにした読解に基づく解答モデルをベースラインとして提供しています. Huggingfaceによる実装をベースに,改変を加えたものです.

また,ベースラインを動作させるのに必要な補助データとして,読解対象となりえる Wikipedia記事の本文をまとめたファイルをJSONLフォーマットで提供しています.

リーダーボード

結果報告

本コンペティションへの,たくさんのご参加ありがとうございました!
おかげさまで,招待講演やシステム報告と,大いに盛り上がることができました.以下につきましては,
(1) 前哨戦として,3月18日 17:00 までのリーダーボードの成績,および
(2) 3月19日 のライブコンペ当日に公開された評価データに対する成績
について,優秀な成績を収めた上位三チームへの結果報告です.

リーダーボード 結果報告 (3/18 17:00)

参加チーム数は22,提出総数は408でした.詳細に関しましては,こちら をご覧ください.
入賞おめでとうございます!

ライブコンペティション 結果報告 (3/19 12:30)


参加チーム数は11でした.入賞おめでとうございます!

実行委員

問い合わせ先

Reference