Online Learning 작동 방식
- 새로운 문서들을 수집하여 학습 세트 또는 테스트 세트에 할당합니다.
- 학습 세트를 사용하여 학습 세션을 시작합니다.
- 스킬을 테스트합니다.
1단계. 문서가 수집되는 방식
-
온라인 학습은 수동 검토 작업자로부터 첫 번째 수정된 문서를 받는 즉시 문서 수집을 시작합니다.
- Document skill의 경우, 적어도 하나의 field 영역이 수정된 첫 번째 문서가 됩니다.
- 분류 스킬의 경우, 문서 유형이 변경된 첫 번째 문서가 됩니다.
-
첫 번째 문서가 수집된 뒤에는 다음 문서들이 수집됩니다.
- 수동 검토를 거친 모든 문서.
- 수동 검토를 거치지 않은 일부 문서(이 문서들의 비중은 학습 세트와 테스트 세트를 합친 전체 문서 수의 33%를 넘지 않습니다).
-
새 문서가 수집되면, 학습 세트 또는 테스트 세트에 배치됩니다.
- 학습 세트에 포함될 수 있는 문서의 최대 개수는 10,000개입니다. 테스트 세트에 포함될 수 있는 문서의 최대 개수는 1,000개입니다.
- 학습 세트의 문서 수가 30개에 도달할 때까지는 문서가 학습 세트에만 배치됩니다. 이 수에 도달하면, 문서는 학습 세트 또는 테스트 세트에 배치됩니다.
- 두 세트가 모두 가득 찰 때까지, 각 새 문서는 학습 세트에 배치될 확률이 80%, 테스트 세트에 배치될 확률이 20%입니다.
- 두 세트 중 하나가 가득 차면, 다른 세트도 가득 찰 때까지 새 문서는 나머지 세트에만 배치됩니다.
- 두 세트가 모두 가득 찬 후에도, 새 문서는 여전히 두 세트 중 어느 한 세트에 배치될 수 있으며, 이 경우 기존의 가장 오래된 문서를 대체합니다.
- 두 세트가 모두 가득 찬 상태에서는, 각 새 문서가 두 세트 중 하나에 배치될 확률이 20%, 폐기될 확률이 80%입니다.
- 두 세트가 모두 가득 찬 상태에서 폐기되지 않은 각 새 문서는 학습 세트에 배치될 확률이 80%, 테스트 세트에 배치될 확률이 20%이며, 두 세트 중 해당 세트에 있는 가장 오래된 기존 문서를 대체합니다.
단계 2. 학습 세션이 시작되는 시점
- 스킬 버전이 게시된 후 첫 번째 학습 세션인 경우, 문서 세트가 기존 문서 수의 10%에 해당하는 새 문서를 수신하면 세션이 시작됩니다. 예를 들어, 문서 세트에 총 95개의 문서가 있는 경우, 새 문서 10개가 추가되면 새 학습 세션이 시작됩니다.
- 마지막 학습 세션이 성공적이었고 스킬이 업데이트된 경우, 새 세션은 첫 번째 세션과 동일한 조건에서 시작됩니다.
- 마지막 학습 세션이 실패했고 스킬이 업데이트되지 않은 경우, 문서 세트가 기존 문서 수의 5%에 해당하는 새 문서를 수신하면 새 학습 세션이 시작됩니다. 예를 들어, 문서 세트에 총 95개의 문서가 있는 경우, 새 문서 5개가 추가되면 새 학습 세션이 시작됩니다.
3단계. 스킬 테스트 방식
- 테스트 세트에 문서가 20개 이상 있는 경우, 스킬은 테스트 세트에서 테스트됩니다.
- 테스트 세트에 문서가 20개 미만인 경우:
- Document skill은 학습 세트와 테스트 세트 모두에서 테스트됩니다.
- 분류 스킬의 경우, 문서 세트에 문서가 충분하지 않은 경우(각 클래스에 문서가 5개 미만인 경우), 스킬은 학습 세트와 테스트 세트 모두에서 테스트됩니다. 문서가 충분한 경우에는 교차 검증을 사용하여 정확도를 평가합니다.