Repository navigation
⚙️[기능추가][AI] Event News Context 뉴스 크롤링 파이프라인 추가 #377
Description
📝 현재 문제점
퀀트봇의 매매 전략 고도화를 위해 비정형 데이터인 '뉴스(News)'를 수집, 정제하고 LLM(대형 언어 모델)을 활용하기 위한 뉴스DB구축을 목표로 한다.
🛠️ 해결 방안 / 제안 기능
- Data Collection (크롤링 및 메타데이터 수집): 타겟 언론사 및 포털에서 원시 데이터 확보
- Data Cleansing (정제 및 필터링): 노이즈 제거 및 중복 기사 통합
⚙️ 작업 내용
- 기존
news_data.py개선 {ticker} stock, 회사명 기반 미국 뉴스 검색- 공시 전 24시간부터 공시 후 48시간까지 뉴스 검색
- 제목·매체·게시 시각·URL 저장
- URL 정규화
- 동일 기사 및 재전송 기사 중복 제거
- 동일 보도자료 기반 기사 그룹화
- 공시와 뉴스의 관련도 점수 계산
- 관련도가 낮은 일반 종목 뉴스 제외
- 원문 수집 실패율 및 기사 누락률 기록
- 기사 본문 수집 실패 시 제목·요약 기반 폴백 처리
- 인포맥스 뉴스 API가 제공될 경우 연결 어댑터 작성
🙋♂️ 담당자
- AI : 박종원
- 백엔드: 박종원
- 프론트엔드: X
- 디자인: X
Activity
[-][기능추가][AI] Event News Context 뉴스 크롤링 파이프라인 추가[/-][+]⚙️[기능추가][AI] Event News Context 뉴스 크롤링 파이프라인 추가[/+]