챌린지에 대한 각종 문의는 아래 FAQ를 참고해 주세요.
<aside> 💡
챌린지 결과 공개 (2024. 10. 02.)
Normal track과 crazy track의 순위 결과를 위 표와 같이 공개합니다.
자세한 결과는 아래의 링크를 통해 확인 가능합니다.
챌린지 순위를 표와 같이 최종적으로 확정 짓습니다. (2024. 10. 04.)
</aside>
<aside> 💡 훈련 및 평가용 데이터 셋 공개(2024. 08. 12)
2024 KSNVE AI Challenge - Google Drive
</aside>
<aside> 💡 긴급 공지 (2024. 08. 09.)
챌린지에 사용되는 데이터 셋에서 베어링 신호에 비해 과하게 큰 노이즈가 더해지는 오류, 평가용 데이터 셋의 도메인이 다른 오류가 발견되었습니다. (낮은 신호 대 잡음 비)
이를 수정한 훈련, 검증, 평가용 데이터셋이 8월 12일자로 재배포될 계획입니다.
참여자분들이 모델을 개발하고 검증할 시간이 부족할 것으로 예상되어, 챌린지 최종 접수 일정은 8월 30일에서 9월 20일로 연기되었습니다.
자세한 사항은 아래의 일정표를 참고해주시기 바랍니다.
운영진의 실수로 인해 참여자 여러분께 불편을 끼쳐드리게 되어 진심으로 사과의 말씀을 드립니다.
</aside>
<aside> 💡 기존 데이터로도 이미 좋은 성능을 확보하셨을 참가자 분들을 위해서, 챌린지를 두 가지 트랙으로 운영합니다.
[챌린지 1] Normal data track: 8월 12일에 재배포 된 데이터로 진행되는 챌린지 트랙[챌린지 2]** **Crazy data track**: 5월 18일에 배포된 데이터로 진행되는 챌린지 트랙| 5월 18일 | 챌린지 공개 (데이터 셋, 기본 모델 공개) | | --- | --- | | 5월 23일 | 챌린지 소개 (한국소음진동공학회 춘계학술대회) | | 8월 12일 | 훈련 및 검증 데이터 셋 재배포 평가용 데이터 셋 공개 | | 9월 20일 | 챌린지 최종 접수 (21:00) | | 10월 4일 | 참가팀 순위 발표 | | 10월 24일 | 챌린지 우승팀 시상 (한국소음진동공학회 추계학술대회) |
<aside> 💡 목차
</aside>
<aside> 📌 Short-cut
❗(new) 사전 신청 등록
제 1회 소음진동 AI 챌린지 Baseline Model
</aside>
기계 설비의 회전 부품은 다양한 속도 조건하에서 운영되며, 그 결함을 탐지하기 어려운 경우가 많습니다.
특히, 회전 기계의 핵심 요소인 구름 베어링은 내/외륜의 결함이나 구슬의 손상 등 다양한 원인으로 파손이 발생할 수 있으며, 그 이상 유무를 조기에 진단하는 것이 필요합니다.
2024 한국소음진동공학회 AI챌린지는 인공지능 모델을 훈련하여, 다양한 속도 조건(680 RPM ~ 2460 RPM)을 갖는 구름 베어링의 진동 데이터 세트를 활용하여 이상(anomalous) 베어링을 딥러닝 기반으로 탐지하는 것을 목표로 합니다.
본 대회의 최종 목표는 다양한 속도 조건 하에서 계측된 베어링의 진동 데이터를 사용하여, 베어링들의 이상 유무를 식별할 수 있는 이상 탐지 모델을 개발하는 것입니다.
그림 1. 회전 기계 테스트베드 배치도
그림 2. 구름베어링구조
(a)
(c)
(b)
(d)
그림 3. 베어링 상태: (a) 정상, (b) 내륜 결함, (c) 외륜 결함, (d) 구체 결함
진동 데이터는 train 과 eval , 그리고 대회 제출용인 test로 나누어서 제공됩니다.
<aside>
💡 모델의 학습을 위해 eval 및 test 데이터는 사용하실 수 없습니다.
</aside>
train 용으로는 결함이 없는 정상 베어링의 데이터가 제공되며 .csv 파일로 제공됩니다.eval 용 데이터는 개발하신 모델의 성능 점검을 위해 함께 제공해드리는 것으로, 각 베어링의 각 상태 별 (normal, inner, outer, ball) .csv 파일로 제공됩니다.test 데이터는 eval 데이터와 함께 대회 제출용으로, 훈련한 모델로 이상 진단을 수행하여 결과를 제출하는 용도로만 사용하시면 됩니다..csv 파일은 1초 길이의 데이터를 가지며, 각 진동 데이터 파일에는 x축과 y축 가속도 계 데이터에 대한 두 개의 열이 포함되어 있습니다.2024 KSNVE AI Challenge - Google Drive
8월 12일에 새로 배포된 데이터로 진행되는 챌린지 트랙입니다.
정상적인 크기의 노이즈가 포함되어 있습니다.
5월 18일에 1차 배포되었던 데이터로 진행되는 챌린지 트랙입니다.
(주의) 매우 높은 크기의 노이즈가 포함되어 있어, Normal data track (Track 1)으로 참가를 권장합니다.
Test dataset
참가자들이 개발한 모델의 공정한 평가를 위한 데이터 셋입니다.
test 데이터는 label이 없는 .csv 파일이 제공됩니다.
train 데이터와 마찬가지로, 하나의 .csv 파일은 1초 길이의 데이터를 가집니다.
eval 및 test 데이터를 훈련용 모델에 입력하여 그 결과를 제출해야 하며, 결과로는 입력 데이터 별로 이상 정도를 나타내는 Anomaly Score를 제출하시면 됩니다.평가 지표
모델의 평가 지표는 **ROC-AUC (AU-ROC)**입니다. ROC-AUC는 정상/비정상을 구분짓기 위한 결정 경계(decision boundary)와 관계없이, 오직 정상/비정상 데이터의 분포가 얼마나 잘 분리되어 있는가를 평가할 수 있는 지표입니다.
.csv 파일을 사용하여 organizing committee에서 산출합니다 (참가자 별도 계산 및 제출 불필요).
그림 4. 평가 지표 (ROC-AUC)
<aside> 📌 Submission requirement
</aside>
eval 데이터 셋을 평가한 결과 (eval_score.csv)와 test 데이터 셋으로 평가한 결과 (test_score.csv)를 기준으로 참가자들의 모델 성능을 평가합니다 (그림 5).eval.py와 test.py로 추출한 anomaly score 파일을 제출해야 합니다.eval 및 test 데이터에 대한 모델의 출력값(anomaly score)을 제출해야 합니다(그림 5).
그림 5. 제출 절차
.csv 파일로 제출해야 하며, 1열에는 test 혹은 eval 데이터의 [File name] 을 그대로 기입해 주시면 되며, 2열에는 각 file 별 score 값을 기입해야 합니다 (그림 6, 그림 7).<aside> 💡 본 챌린지에 대한 추가 문의 사항이 있으시면 [email protected] 로 문의해주시기 바랍니다.
</aside>