한국어 GPT-2 성능 평가를 위해서 상식추론문제 (KommonGen)를 사용하려고 합니다.
- https://github.com/nlpai-lab/KommonGen 참고해서 만들었습니다.
ex) test data
| concept set | label |
|---|---|
| 진열 두 창문 앞 그 핫 | 창문 앞에 핫도그 두개가 진열되어 있다. |
| 있 방 의자 책 몇 | 방에 의자 하나와 책 몇권이 있다. |
| 사람 해변 물 속 있 | 해변의 물 속에 사람이 있다. |
| 함께 남녀 주방 일 | 남녀가 주방에서 함께 일하고 있다. |
| 잔디 오토바이 있 | 잔디에 오토바이가 있다. |
ex) generate data
| generate sentence | label |
|---|---|
| 핫도그 두개가 진열되어 있는 그 창문에 대해 이야기하고 있다. | 창문 앞에 핫도그 두개가 진열되어 있다. |
| 책 몇권을 가지고 있는 방 의자에 대해 이야기하고 있다. | 방에 의자 하나와 책 몇권이 있다. |
| 해변에 있는 사람 중에 물 속에 있는 사람이 있다. | 해변의 물 속에 사람이 있다. |
| 주방 일을 함께하며 함께 일하고 싶어 한다. | 남녀가 주방에서 함께 일하고 있다. |
| 잔디 오토바이가 있다고 하자 잔디에 있다고 한다. | 잔디에 오토바이가 있다. |
result
