...
AI王-クイズAI日本一決定戦-

人工知能クイズ王を作ろう!

View Detail Project Website
...
SHINRA2020-JP

ウィキペディア構造化プロジェクト

View Detail Project Website
...
SHINRA2020-ML

Categorizing Wikipedia entities to fine-grained ontology

View Detail Project Website

AI王〜クイズAI日本一決定戦〜

本コンペティションは,日本の(日本語を対象とした)質問応答研究を促進させることを目的としています. クイズ問題を題材とした質問応答データセットを用いて,みんなで人工知能クイズ王(=「AI王」)を開発しましょう!

プロジェクトの詳細/訓練・開発データのダウンロードについては以下のサイトを御覧ください.

また,リーダーボード用のテストデータは以下のURLで配布しています.

JAQKET

# Model Code Accuracy (easy / hard / very hard) Entries
1
06 Dec 2020
kat
IR(TF-IDF)x2, BertForMultipleChoice/MultiLen, Heuristic
N/A 0.941 (0.97 / 0.71 / 0.22) 8
2
06 Mar 2021
J.Takayama (大阪大学)
BERT, IR (TF-IDF, Character n-gram)
N/A 0.937 (0.97 / 0.65 / 0.22) 29
3
29 Sep 2020
二宮チーム (NAISTデータ駆動知識処理研究室/NICT)
IR(TF-IDF), NICT BERT + additional pretraining (wikipedia), model ensemble
N/A 0.936 (0.97 / 0.48 / 0.15) 1
4
06 Nov 2020
Takahiro Aso
test
N/A 0.929 (0.96 / 0.55 / 0.22) 4
5
07 Mar 2021
trtd (株式会社AI Shift)
Naive BERT & Simple IR
N/A 0.928 (0.96 / 0.55 / 0.11) 93
6
04 Mar 2021
atfujita
How to use IR?
N/A 0.920 (0.96 / 0.48 / 0.04) 28
7
09 Jun 2020
lai
Longterm-DistilBERT
N/A 0.917 (0.96 / 0.35 / 0.22) 12
8
27 Jan 2021
Gyutan
BERT, IR, ensemble
N/A 0.906 (0.94 / 0.55 / 0.26) 9
9
06 Mar 2021
S-lab (東京工科大学)
BERT + α
N/A 0.905 (0.94 / 0.39 / 0.15) 1
10
01 Nov 2020
c3po
BERT
N/A 0.902 (0.94 / 0.39 / 0.07) 1
11
08 Sep 2020
YFTたろう
BERT
N/A 0.896 (0.94 / 0.32 / 0.19) 15
12
12 May 2020
ntt-md-nlp (NTTメディアインテリジェンス研究所)
N/A 0.884 (0.93 / 0.19 / 0.00) 1
13
24 Feb 2021
shiroz
BERT
N/A 0.864 (0.91 / 0.26 / 0.00) 10
14
16 Dec 2020
oni-lab (大阪大学)
model ensemble
N/A 0.863 (0.91 / 0.13 / 0.00) 7
15
19 Jan 2021
yasu
BERT
N/A 0.848 (0.89 / 0.13 / 0.07) 8
16
02 Mar 2021
himo
BERT
N/A 0.846 (0.89 / 0.29 / 0.07) 6
17
29 Sep 2020
S. Maeda (早稲田大学)
BertForMultipleChoice
N/A 0.844 (0.89 / 0.19 / 0.00) 3
18
05 Jan 2021
Shotaro Ishihara
test
N/A 0.835 (0.87 / 0.29 / 0.07) 9
19
23 Apr 2020
s-miyawaki (東北大学)
Code 0.824 (0.87 / 0.13 / 0.00) 1
20
23 Apr 2020
AI王実行委員会
BERTに基づくベースライン
Code 0.805 (0.85 / 0.10 / 0.00) 1
21
02 Mar 2021
aya17201 (愛知県立大学)
Word match rate
N/A 0.785 (0.82 / 0.26 / 0.11) 8
22
17 Feb 2021
inari
BERT (same baseline)
N/A 0.063 (0.06 / 0.16 / 0.11) 1
23
07 Mar 2021
SSK YMMT
bert
N/A 0.059 (0.06 / 0.13 / 0.04) 8
24
20 Apr 2020
AI王実行委員会
何も出力しないベースライン
N/A 0.000 1

重要日程

  • 2020/4/17: キックオフ
  • 2020/9/28: 最終結果提出締め切り

ルール

  • 人手で問いたデータの投稿は禁止します.その他のルールについては,タスクの公式ウェブサイトを御覧ください.
  • リーダーボード固有ルール: 1日の投稿可能回数は5回です.日本時間の0時にリセットされます.

投稿ファイルの仕様

  • 投稿ファイルは単一のjsonlファイルである必要があります.
  • 以下の要素を含んだ,一行一問のjsonlファイルをご投稿ください.(他に要素があっても構いませんが,評価時には無視されます.)
    {"qid": "問題のID(例:QA20CAPR-1002)","answer_entity":"答え"}

投稿するためには,新規登録ページからアカウントを申請し,ページ上部のフォームからログインしてください.