완벽한 스미싱 분류 모델을 향해서 (2)

 

완벽한 스미싱 분류 모델을 향해서 (1)

앞전에 얘기했던 것 처럼 정상 데이터의 종류가 너무 적었다는 판단이 들었다.

1.  [URL]이 들어있는 정상 문자 데이터를 모았다.
2. 구어체가 아닌 택배/금융/카드/보험/배달 등등의 정상 문자 데이터를 모았다.

광고 문자도 어떻게 보면 스미싱은 아니니.. 넣어도 되는걸까? 싶었지만, 확실한 정상 문자를 넣어서 학습시키고자 뺐다.

train_2.csv

검색을 하다보니 기존 데이터에 없던 스미싱 문자 데이터도 발견해 함께 정리했다.

• 운송장번호 → [INVOICE]
• 송하인|보내는분 → [SENDER] (NAME말고 SENDER로 한 이유는, 브랜드명으로 보내는 경우가 많았기 때문)
• 이름 → [NAME]
• 주소 → [ADDRESS]
• 링크 → [URL]
• 날짜 → [DATE]
• 시간 → [TIME]
• 번호 → [CALL]
• 상품명 → [GOODS]
• 코드 등의 기타 숫자 → [NUMBER]

이런 규칙으로 마스킹을 진행 했는데, 고민인 부분은 "아시아나 항공"과 "LG U+" 등의 기업명이다. 기업명 또한 마스킹 해야하는건지 .. 

마스킹 범위에 대한 고민이 있다. 이 부분에 대해서는 기업명 마스킹한 데이터 | 기업명 마스킹하지 않은 데이터로 나눠 학습시켜보고 더 좋은 결과가 나오는 모델로 적용시켜야겠다.

 

아, 그리고 조금 더 양질의 데이터가 있으면 좋을 것 같아 KISA에 추가 데이터를 요청했는데 우리가 개발을 마무리해야하는 시점까지 받아볼 수 있을지 없을지 확실하지 않아서 스마트 치안 빅데이터 플랫폼에서 데이터를 추가로 구매할 예정이다.

물론 이에 따라 구분의 정확도를 높일 수 있는 정상 문자 데이터도 함께 더 수집해야한다.

특히, 정상문자와 스미싱 의심 문자가 교묘하게 비슷한 경우가 많기 때문에 구분을 위해 이렇게 정부부처, 공공기관 등에서 사례로 제공하는 것들로 수집중이다. 

[SK텔레콤] 이심(eSIM) 무료 간편 교체 안내드립니다.
[Web발신]
[SKT] 이심(eSIM) 무료 간편 교체 안내

유심 교체를 예약해 주신 고객님께 안내드립니다.

고객님은 현재 이심(eSIM)으로 교체 가능한 기기를 사용하고 계십니다.
이심 또는 유심 교체 중 고객님께서 원하시는 방식을 선택하실 수 있습니다. 

이심은 휴대폰에 내장된 디지털 SIM을 이용하는 방식으로 유심과 동일한 역할을 합니다.
이심 교체를 신청하시면 유심을 기다리거나 매장에 방문하실 필요 없이 바로 교체하실 수 있습니다. 

■ 이심 간편 교체 안내
- 1회 교체 비용은 무료입니다.
- 이심 교체가 완료되면 유심 교체 예약은 자동으로 취소됩니다.
* 이심 교체 가능 시간: 월~토요일 오전 8시~오후 9시 (공휴일 제외)

■ 이심 교체 전 확인 사항
- Wi-Fi가 연결된 상태에서 신청 가능합니다. 
- 연락처 백업, 티머니 잔액 확인, 다른 SIM 사용 제한 해지(기존에 설정한 고객님) 등은 아래 URL의 유의 사항을 확인해 주시기 바랍니다. 

▶ 이심 간편 교체 신청 바로 가기: https://m.shop.tworld.co.kr/nf/index_nf_yp_change.html

자세한 설명이 필요하시면 T 월드 웹/앱 또는 고객센터에 문의해 주시기 바랍니다.

■ 문의: 고객센터 1525(무료) 

이용에 불편함이 없도록 최선을 다하겠습니다.

SK텔레콤 드림

train_2.csv 데이터를 추가해서 학습시킨 결과, 이전에는 스미싱(label 1)일 확률이 85% 된다고 판별했던 모델이 정상데이터(label 0)일 확률이 99%라고 판단했다. 실제로 저 문자는 SK텔레콤에서 공식으로 보낸 문자다!

trainer.save_model("./bert-smishing-model")
tokenizer.save_pretrained("./bert-smishing-model")

코랩 환경에서 학습 및 테스트를 진행하고 있는데, 모델을 코랩 로컬에만 저장하고 드라이브나 허깅페이스에 저장하지 않아서 다시 학습시켜야하는 문제가 발생했었다 .. 😱 그래서 이번엔 확실하게 드라이브 저장 / PC에 zip으로 저장 / 허깅페이스에 모델 업로드 까지 완료 👍🏻

sseul2/bert-smishing-model · Hugging Face