LLM 모델 비교 분석 리포트

daily_report_20260703_084942.json  |  생성: 2026-07-03 11:06:44  |  분석: claude-opus-4-8

Claude 분석
모델별 원문 비교

LLM 버전 비교 분석 (opus-4-5 발송본 대비 4.7·4.8)

먼저 전체적인 구조를 짚고, 섹션별 표 비교 후 종합 권고를 드리겠습니다.

0. 핵심 관찰: 치명적 결함 하나

reports 섹션에서 4.7·4.8 모두 [Claude 호출 실패 — Gemini 폴백 비활성화됨]으로 완전 누락되었습니다. 4.5는 4개 소제목의 완결된 리포트를 생성했습니다. 이것이 이후 모든 판단의 대전제입니다. 애널리스트 리포트 종합은 데일리 리포트의 핵심 가치 중 하나이므로, 이 실패가 재현성 있는 문제라면 4.7·4.8 채택은 원천적으로 불가합니다.


1. 섹션별 비교표

news

관점 4.5(발송본) 4.7 4.8
사실 정확성 코스피 "8,000선 무너짐" 서술만, 정확한 지수 레벨 없음 "7,600선"·시총 60% 쏠림 등 수치 보강 "7,600대"·"시총 60%"·"149조 순매도 중 日 95조 매수" 등 최다
환각 위험 낮음(보수적) 중(프리마켓 "2%,3%" 등 원본 확인 필요 수치 추가) 중상("1만피~1만5000피 전망" 등 낙관 전망 삽입, 검증 부담↑)
간결성 ★★★★ 담백 ★★★ 길어짐 ★★ 가장 김, 정보 과밀
형식/경어체 양호 양호 양호
정보 우선순위 명확(핵심만) 양호 상충 정보 나열로 초점 분산

판정: 정보량은 4.8>4.7>4.5. 그러나 4.8은 상반 전망(폭락+"1만5000피")을 함께 실어 독자 혼선 위험. 4.7이 정보량-신뢰도 균형에서 우세.

telegram

관점 4.5(발송본) 4.7 4.8
사실 정확성 시티 목표가 46→53만원 등 구체적, 수치 풍부 셀트리온·삼성 컨센서스 등 개별 기업 보강 삼성 "매출178.7조/영업익86조" 등 구체 수치
환각 위험 낮음 낮음 삼성 영업익 "86조원"은 검증 필요(분기 영업익 86조는 비현실적 → 오독/환각 의심)
간결성 ★★ 매우 김(과다) ★★★ 압축 양호 ★★★★ 가장 압축적
정보 우선순위 AI 논란 심층 야간선물·순환매 중심 명확 순환매+AI 균열 균형

판정: 4.5는 지나치게 길고, 4.7·4.8이 가독성 개선. 단 4.8의 "영업익 86조원"은 심각한 수치 환각 소지로 감점.

insurance_news

관점 4.5(발송본) 4.7 4.8
태그별 큐레이션 회사별 정확 매칭 삼성생명 태그 신설 등 확장 항목 수 최소화
관련성 높음(보험사별 직접 이슈) 삼성생명에 코스피 급락·국민연금 리밸런싱 배치 = 태그 적합성 약함 각 항목 "리스크 관점" 한 줄 해석 부가(유용)
간결성 ★★★ ★★ 항목 과다 ★★★★
후퇴 요소 태그-기사 부정합 항목 수 축소로 커버리지 감소

판정: 4.8의 "시사점" 코멘트가 실무적으로 유용하나 커버리지 축소. 4.7은 태그 정합성 후퇴.

global_news_brief / global_news

관점 4.5(발송본) 4.7 4.8
사실 정확성 "5월 172→129천" 등 정확 세부 딜(록히드·저지마이크스) 확대 시간당임금·실업수당 등 미시지표 정확
환각 위험 낮음 중(정보 확장분 검증 부담) 낮음
global_news 완결성 문장 중간 잘림("북미") 중간 잘림("CXMT·YMT") 중간 잘림("반도체 수")
구조/링크 링크·출처 정연 3항목 균형·출처 표기 항목별 3문장 정형화, 가장 정돈됨

판정: 세 버전 모두 global_news 말미 truncation 발생(공통 결함). brief에서는 4.8의 지표 정확도·정형성이 가장 우수.

beige_book / fed_speeches

관점 4.5(발송본) 4.7 4.8
beige_book 발송본 없음 완결 생성 완결+마진압박·스태그플레이션 해석 심화
fed_speeches 관련성 필터 Daly·Hammack만 동일 [NOT_RELEVANT] 태그로 Lagarde·Bailey 명시 제외 = 필터링 투명성 우수
경어체 평서체("판단합니다") "~하십니다"(과잉 존대, 어색) "~하셨습니다"(자연스러운 간접인용)

판정: beige_book은 4.5가 아예 없어 4.7·4.8이 명백한 개선. fed_speeches는 4.8이 최우수(관련성 태깅+자연스러운 경어체). 4.7의 "~하십니다"는 형식 후퇴.

executive / insight

관점 4.5(발송본) 4.7 4.8
executive 수치 금가격 등 포함 AI 항목 추가·코스피 -7.89% 명시 2년물·선물 호가까지 최다, 코스피 종가 7,648.09
insight 깊이 5개 테마, 안정적 서사vs실물 괴리·BIS 인용 등 분석력↑ 디플레(ARK) vs 인플(연준) 대립 프레이밍 등 통찰 최상
환각 위험 낮음 중(BIS 인용 등 소스 확인 필요) 중(YouTube/ARK 등 소스 다양, 검증 부담)

판정: insight는 분석 깊이에서 4.8≥4.7>4.5. executive는 4.8이 수치 정밀도 최상이나 금 가격 누락(4.5는 포함).


2. 종합 스코어 (5점 만점)

섹션 4.5 4.7 4.8
news 3.8 4.2 3.9
reports 4.5 실패 실패
telegram 3.5 4.2 3.8(수치 환각 감점)
insurance 4.2 3.8 4.0
global brief 4.0 4.2 4.4
global news 3.8 4.0 4.2
beige_book 0(없음) 4.2 4.5
fed_speeches 3.8 3.5 4.5
executive 4.0 4.2 4.3
insight 4.0 4.4 4.5

3. 개선/후퇴 요약

4.7의 개선점: news/telegram 정보 밀도, insight 분석력(서사-실물 괴리 관점). 4.7의 후퇴점: reports 완전 실패, 경어체 과잉("~하십니다"), 보험 태그 정합성 저하, 처리시간 최장(global 110초).

4.8의 개선점: fed_speeches 관련성 태깅(최우수), beige_book 심화, insight 통찰력, 미시지표 정확성, 처리속도 최단. 4.8의 후퇴점: reports 완전 실패, telegram "영업익 86조" 환각 의심, news 상반 전망 병치로 초점 분산, 보험 커버리지 축소.


4. 최종 권고

현 시점 발송용 기본 모델은 opus-4-5 유지를 권고합니다.

근거: 1. reports 섹션이 4.7·4.8 모두에서 완전히 실패했고, 이는 폴백 비활성화 상태에서 재현될 경우 발송 자체가 불가능한 구조적 리스크입니다. 2. 4.8은 개별 섹션 품질(insight·fed_speeches·beige_book)에서 가장 우수하나, telegram 수치 환각 의심·news 전망 병치라는 신뢰도 리스크가 잔존합니다. 3. 4.5는 보수적이라 정보량은 적지만 환각 위험이 가장 낮고 전 섹션 완주했습니다.

단, 조건부 전환 로드맵을 제안합니다:

요약하면 "오늘 발송은 4.5, 다음 스프린트 목표는 reports 실패·telegram 환각을 잡은 4.8로의 전환" 입니다.