📑데이터셋 제작하기

KoAlpaca 학습용 데이터셋을 만든 과정을 안내합니다.

KoAlpaca 데이터셋은 버전별로 다른 내용을 담고 있습니다.

사용 목적에 따라, 단일 버전의 단독 사용(ex: v1.1 만 학습에 사용) 혹은 여러 버전의 데이터셋을 합쳐서 사용하는 등의 방식으로 사용하시면 됩니다.

데이터셋 종류 및 특성

  • v1.0 데이터셋은 Stanford Alpaca를 번역한 JSON 데이터셋입니다.

  • 약 5만개의 Instruction - Input - Output 쌍으로 이루어져 있습니다.

  • 대체로 짧은 길이의 질문과 답변으로 이루어져 있습니다.

예시:

// ...
  {
    "instruction":"주어진 주제에 대해 짧은 단락을 작성하십시오.",
    "input":"재생 에너지 사용의 중요성",
    "output":"재생 에너지는 지속 가능한 발전성, 약간의 투자비용 효율성, 고 유지보수 비용을 갖추고 있어 자연에서 나오는 변화나 문제에도 대처할 수 있는 좋은 대안입니다."
  },
  {
    "instruction":"인공 지능의 개념을 간단한 용어로 설명하십시오.",
    "input":"",
    "output":"인공지능은 기계를 사용하여 인간의 지능적인 작업을 자동화하고, 정보 처리 작업을 수행하는 분야입니다."
  },
  {
    "instruction":"배달 회사를 위한 앱을 디자인하십시오.",
    "input":"",
    "output":"주문, 결제, 주소, 배송시간 등의 정보를 입력받을 수 있는 사용자 친화적인 인터페이스와 빠른 배송과 데이터 보안 시스템 구축 등을 고려한 배달 회사용 앱을 디자인할 수 있습니다."
  },
  {
    "instruction":"주어진 구절을 요약하십시오.",
    "input":"최근 연구에 따르면 지구 기후 변화는 오늘날 세계가 직면한 가장 중요한 과제 중 하나입니다. 지구 온난화의 결과로는 해수면 상승, 기상이변, 생물 다양성 손실 등이 있습니다. 기후 변화는 화석 연료 연소와 같은 인간 활동으로 인해 발생하며, 이를 방치할 경우 지구에 장기적이고 파괴적인 영향을 미치게 됩니다.",
    "output":"지구 기후 변화의 영향으로는 해수면 상승, 기상이변, 생물 다양성 손실 등이 있으며, 이는 화석 연료 연소와 같은 인간 활동으로 인해 발생합니다."
  },
// ...
page데이터셋 v1.0 제작 과정

  • v1.1 데이터셋은 네이버 지식인 기반으로 생성한 JSONL 데이터셋입니다.

    • JSON이 Line-by-line으로 된 JSONL 파일입니다.

  • 약 2만2천개의 Question - Answer 쌍으로 이루어져 있습니다.

  • 대체로 1-2 문장의 질문과, 상대적으로 긴 답변으로 이루어져 있습니다.

예시:

{"instruction":"양파는 어떤 식물 부위인가요? 그리고 고구마는 뿌리인가요?","output":"양파는 잎이 아닌 식물의 줄기 부분입니다. 고구마는 식물의 뿌리 부분입니다. \n\n식물의 부위의 구분에 대해 궁금해하는 분이라면 분명 이 질문에 대한 답을 찾고 있을 것입니다. 양파는 잎이 아닌 줄기 부분입니다. 고구마는 다른 질문과 답변에서 언급된 것과 같이 뿌리 부분입니다. 따라서, 양파는 식물의 줄기 부분이 되고, 고구마는 식물의 뿌리 부분입니다.\n\n 덧붙이는 답변: 고구마 줄기도 볶아먹을 수 있나요? \n\n고구마 줄기도 식용으로 볶아먹을 수 있습니다. 하지만 줄기 뿐만 아니라, 잎, 씨, 뿌리까지 모든 부위가 식용으로 활용되기도 합니다. 다만, 한국에서는 일반적으로 뿌리 부분인 고구마를 주로 먹습니다.","url":"https:\/\/kin.naver.com\/qna\/detail.naver?d1id=11&dirId=1116&docId=55320268"}
{"instruction":"스웨터의 유래는 어디에서 시작되었나요?","output":"스웨터의 유래는 14세기경 북유럽항구지역에서 어망을 짜던 기술을 의복에 활용하면서 시작되었습니다. 노동자들의 방한복에서 시작된 스웨터는 여가생활과 스포츠의 붐에 힘입어 대중화되었습니다. 이후, 겨울철 이너웨어의 대명사가 되었습니다. 스웨터는 짜서(Knit) 만든 옷을 말하며, 어부들의 방한복으로 짜여졌던 스웨터 중에서도 스코틀랜드 해안지방의 여인들은 바다로 나가는 남편이나 연인, 자식들에게 무사히 돌아올 것을 기원하며 로프나 닻 무늬를 정성껏 짜넣었다고 합니다. 그 실용성과 정성이 오늘에까지 이어지고 있습니다.","url":"https:\/\/kin.naver.com\/qna\/detail.naver?d1id=11&dirId=11080102&docId=47833655"}
page데이터셋 v1.1 제작 과정

Last updated