


SHINRA2020-JP
「森羅プロジェクト」はWikipediaの知識を拡張固有表現に基づき、多くの方の協働の元で構造化しようという 「協働によるリソース構築(Resource by Collaborative Contribution)」のプロジェクトです。
プロジェクトの詳細/データダウンロードについては以下のサイトを御覧ください.
リーダーボードには一部(各カテゴリ200件)の結果をご提出いただきます.提出対象となるページの非構造化データは以下のURLで配布しています.
- test_data_for_learderbord.zip (18.5MB)
SHINRA-JP (Metric: Micro-F1)
# | User | URL | Person | Company | City | Compound | Airport | Average |
---|---|---|---|---|---|---|---|---|
1 26 Jan 2021 |
日本ユニシス (日本ユニシス株式会社) |
N/A | 0.658 | 0.582 | 0.775 | 0.349 | 0.821 | 0.637 |
2 11 May 2020 |
森羅2020実行委員会 サンプル投稿 |
URL | 0.618 | 0.562 | 0.712 | 0.297 | 0.739 | 0.586 |
3 19 May 2020 |
日本ユニシス 森羅2019-JP投稿結果(DrQA-SHINRA) |
URL | 0.613 | 0.579 | 0.71 | 0.195 | 0.74 | 0.567 |
4 27 Jan 2021 |
HUKB (Hokkaido University, Japan) only categoryy |
N/A | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 |
重要日程
- 2020/5/11: 参加募集開始
- 2020/11/10: 森羅2020-JPタスク結果提出締切
ルール
- 人手で構造化を行ったデータの提出は禁止します.
- リーダーボード固有ルール: 1日の投稿可能回数は5回です.日本時間の0時にリセットされます.
投稿ファイルの仕様
- 投稿ファイルは,投稿対象カテゴリの構造化結果を表す(1行1エントリの)jsonファイルを含んだ単一のzipアーカイブである必要があります.
- 最終評価時には,すべてのページに対する構造化結果のご提出をいただくことになりますが, リーダーボードには一部の結果(各カテゴリ200件)をご提出ください.
- 投稿データの仕様は公式ウェブサイトをご覧ください.
html_offset
とtext_offset
のいずれかの形式で構造化データのオフセットを指定してください. 両方を含んだ投稿に対しては,text_offset
で評価をいたします.
Submission.zip (アーカイブのファイル名は任意です) + Person.json + Company.json + City.json + Compound.json + Airport.json
投稿するためには,新規登録ページからアカウントを申請し,ページ上部のフォームからログインしてください.