• gitlab에 올려둔 문제 관련 파일 & 개발 현황 참고해야할수도 있을것 같아서 메모합니다

ㄴ recommend-server
    ㄴ data
        ㄴ news
            ㄴ news_level.csv
        ㄴ story
            ㄴ story_all.csv
            ㄴ story_pt02.csv
            ㄴ story_pt03.csv
        ㄴ problem_data          - 1차적으로 구현 완료된 문제 데이터셋
            ㄴ pt0211
            ㄴ pt0221
            ㄴ pt0222
            ㄴ pt0312
        ㄴ word_dictionary //1차적으로 정제된 단어사전 (불필요한 단어 일부 필터링 필요)
        ㄴ word_dictionary_with_definitions 

• news_level.csv

  • 뉴스 데이터 정제 후 1~7레벨로 라벨링
  • 여기서 문단 ID 확인 가능

• story_all.csv

  • 모든 동화 데이터 정제후 1~7레벨로 라벨링
  • 여기서 동화 원문 ID 확인 가능 (srcText)

• story_pt02.csv

  • 유형2 독해 - 동화 명시적 유형 분류한 셋

• story_pt03.csv

  • 유형3 추론 - 동화 함축적 유형 분류한 셋

• problem_data 폴더

  • 4개의 유형에 대해서 문제 생성 완료! → 몽고디비에 넣어서 테스트 가능함
  • 다만 Question Type = QT01 (객관식) 추가 안해뒀음 → 돌아와서 최종 작업할게요

• word_dictionary

  • 1차적으로 정제된 단어사전 (불필요한 단어 일부 필터링 필요)
  • 확인해보니 불필요한 단어가 좀 있음 (특히 인명, 지명이 좀 들어있어서 수작업으로 빼야함…)

• word_dictionary_with_definition

  • 국립국어원API를 통해 각 단어의 사전적의미를 추가한 데이터셋
  • pt0111 유형 - 사전적의미를 보고 단어를 고르시오 문제를 만드려고 했으나, 사전적의미가 엉망인 경우가 다수 발견되어 보류 상태

• 문제 데이터셋 현황