skywolf46/backfire-borderline

Backfire Borderline (Rev 232)

맞불 경계선 모델은 후속 모델에 전달하기 용이하도록 주제를 기반으로 적당히 본문을 분할하는 것을 목표로 합니다.

기존의 모델 형태와는 다르게 KEEP / CLOSE 형태로 출력하며, 이를 통해 현재 부분에서 본문을 끊어야 할지, 아니면 계속 이어가야할지를 반환합니다.

이 프로젝트는 발화 특이점 프로젝트의 일부입니다.

빠른 시작

Python 3.11 이상을 사용합니다. 모델 저장소를 로컬 폴더로 다운로드하거나 복제한 뒤, 사용할 CPU·GPU 환경에 맞는 PyTorch 패키지를 설치하고 다음 명령을 실행합니다.

cd bfb232
python -m pip install -r requirements.txt
python bfb232.py --model . --language ko --input input.txt --output result.json

Python에서는 이 레포지토리를 같은 경로에 둔 상태에서 다음과 같이 사용합니다.

from bfb232 import BFB232

model = BFB232.from_pretrained(".", device="auto")
text = "여섯 살 적에 나는 "체험한 이야기"라는 제목의, 원시림에 관한 책에서 기막힌 그림 하나를 본 적이 있다. 맹수를 집어삼키고 있는 보아 구렁이 그림이었다. 위의 그림은 그것을 옮겨 그린 것이다..."
result = model.segment(text, language="ko")
for segment in result["segments"]:
    print(segment["start"], segment["end"], repr(segment["text"]))
assert "".join(s["text"] for s in result["segments"]) == text

language에는 한국어 ko 또는 영어 en을 지정해야 합니다. 언어 자동 감지나 혼합 언어 판별은 제공하지 않습니다 - 입력된 데이터를 기반으로 판별함을 추천합니다.

배포 구성

항목	내용
기반 모델	파인 튜닝된 jhu-clsp/mmBERT-small
인코더 파라미터 수	140,493,696
체크포인트	232번째 실험본 (시드 1026914109)
분할 판정	close_logit - keep_logit >= 임계값이면 CLOSE
임계값	한국어 −1.234375, 영어 −1.4140625

입력·출력 포맷

• CRLF·CR 줄바꿈은 내부적으로 LF로 정규화하며, 반환하는 구간에는 원문의 줄바꿈과 공백을 보존합니다.
• 분할 후보 위치마다 KEEP(이어 붙이기) / CLOSE(구간 끝내기)를 판단하고, 원문을 보존한 구간을 반환합니다.

주의사항

• 해당 프로젝트는 작업의 속도를 위해 ChatGPT 6 Astra를 이용하여 코드가 작성되었습니다. 일부 코드에서 불필요한 호출이 발생할 수 있습니다.