LLM 버전 비교 분석 (opus-4-5 발송본 vs 4-7 vs 4-8)

먼저 전체적인 인상을 요약하면, 4.7·4.8은 4.5 대비 정보 포착률(recall)과 분석 깊이에서 뚜렷이 개선되었으나, 동시에 길이 팽창·검증 불가 수치 삽입·경어체 일탈 등 새로운 리스크를 안고 있습니다. 섹션별로 짚겠습니다.

1. news 섹션

항목	4.5(발송본)	4.7	4.8
분량	792자	1,169자	1,267자
사실 정확성	양호	양호	양호
환각	없음	없음	없음
정보 우선순위	핵심만 압축(반도체·환율·금리·물가)	순환매·증권사 코멘트 추가, 리콜/드론/전용기 등 하위 뉴스까지 편입	4.7과 유사하나 "149조 매도·95조 매수" 등 구체 수치 강조
간결성	★ 우수	중 (하위 뉴스로 다소 산만)	중 (문단 구성은 4.7보다 정돈)

평가: 4.5는 "발송용 브리핑"으로서 가장 읽기 쉽습니다. 4.7·4.8은 recall이 높아졌지만 리콜·전용기·안티드론 등 우선순위 낮은 뉴스가 본문에 섞이며 밀도가 떨어졌습니다. 4.8이 문단 주제화(외국인 이탈/환율/금리/목표가)를 더 명확히 해 4.7보다 구조적 우위.

2. reports 섹션 (Gemini 출력 동일 입력)

항목	4.5	4.7	4.8
고용 예상치	11.4만	11.3만	11.4만
외국인 순매도	"4조 원 넘는"	4.4조/전기전자 3.5조 세분화	4.4조
추가 정보	표준적	ADR 상장 언급	커브 스티프닝·CME 페드워치·매도 사이드카·한계기업/전력 인프라 리스크
정확성 리스크	낮음	예상치 수치 흔들림(11.3 vs 11.4)	"매도 사이드카 발동" 등 원문 확인 어려운 디테일

평가: 동일 입력임에도 4.8이 리스크 요인(신용·전력 인프라)까지 확장해 가장 풍부합니다. 다만 4.7은 예상치를 11.3만으로 표기해 4.5/4.8(11.4만)과 불일치 — 원문 대조 시 감점 요인. 4.8은 "매도 사이드카 발동" 등 원문에 명시 안 된 정황을 추가한 정황이 있어 환각 경계 대상.

3. telegram 섹션

항목	4.5	4.7	4.8
분량	1,306자	1,108자	1,149자
특징	필라델피아 -5.44%, AMD -4.26%, 애플 폴더블 4.84%, 시티 삼성 목표가 46→53만원 등 풍부한 수치	야간선물·NDF·삼성 2Q 영업익 86조 등 압축	티커(XBI/IGV/DRAM/EWY)·국채선물 틱까지 세밀
환각 리스크	높음 — 애플 4.84%, AMD -4.26%, 시티 목표가 46→53만원은 원문 telegram에 근거 불명확	낮음	낮음

평가: 이 섹션은 4.5가 오히려 위험합니다. "애플 4.84% 급등·폴더블 출하 확대," "AMD -4.26%," "시티 46→53만원" 등은 첨부 telegram 원문에서 확인되지 않는 수치로, 다른 소스와 혼입되었거나 환각일 가능성이 큽니다. 4.7·4.8은 원문(마이크론 -5.5%, 샌디스크 -14.2%, 필라델피아 -5.4%)에 충실. 원문 충실도는 4.8 > 4.7 > 4.5.

4. insurance_news 섹션

항목	4.5	4.7	4.8
분량	1,316자	1,548자	812자
환각	심각	있음	없음
문제점	원문에 없는 기사 다수 인용: "건강보험 전략 바꾼 생보사(ekn)", "KDB생명 매각(biz.chosun)", 현대해상 킥스 58.8% 등 → URL·수치 모두 원문 미존재 = 명백한 환각	원문 링크 내에서 선택했으나 요약에 "잠재 신용리스크" 등 해석 가미	원문 링크만 사용, 가장 안전
우선순위	한화/교보/공통 구성	각 사별 2건씩 균형	핵심만 압축

평가: 가장 결정적인 차이 지점입니다. 4.5 발송본은 원문에 존재하지 않는 기사·URL·구체 수치(58.8%, 4,500억, 41% 등)를 만들어냈습니다. 이는 발송된 결과물이라는 점에서 실무상 가장 위험한 환각입니다. 4.7도 원문 링크를 쓰되 일부 해석을 덧붙였고, 4.8은 원문 링크에 충실하며 환각이 가장 적습니다.

5. global_news_brief 섹션

항목	4.5	4.7	4.8
카테고리 구성	7개	7개	8개(인플레이션 별도)
수치 정확성	예상치 11.3만으로 표기(reports에선 11.4만 → 내부 불일치)	임금 3.5%, 실업수당 등 추가	임금 0.3%/3.5%, 실업수당 21.5만 등 원문 정확 반영
환각	낮음	낮음	낮음
완성도	마지막 항목 중간 절단("상쇄"에서 끊김)	완결	완결

평가: 4.5는 내부 수치 불일치(reports 11.4만 / brief 11.3만)와 문장 절단이 있습니다. 4.8이 임금·실업수당 등 매크로 디테일을 가장 정확히 잡았습니다.

6. global_news (5,000자+ 롱폼)

항목	4.5	4.7	4.8
완결성	미완(테슬라 항목에서 절단)	미완(인도 증시에서 절단)	미완(싱가포르 항목에서 절단)
항목 다양성	표준	트럼프 연준 재편, 호르무즈 추가	하메네이 장례식, 블랙스톤 데이터센터 철회 등 차별적 픽

평가: 세 버전 모두 길이 제한에 걸려 절단됨 → 이 섹션은 모델 문제가 아니라 출력 토큰 상한 설정 문제로 판단됩니다. 콘텐츠 질만 보면 4.8이 지정학 다양성에서 우위.

7. beige_book / fed_speeches / executive / insight

섹션	4.5	4.7	4.8
beige_book	[발송본 없음] — 파이프라인 누락	769자, 6개 항목 구조화	869자, "저채용·저해고" 등 원문 표현 정확 반영
fed_speeches	Lagarde/Bailey 미표기(누락)	Lagarde·Bailey를 `[NOT_RELEVANT]`로 명시적 필터링	4.7과 동일 필터링, 경어체 일관
fed 경어체	표준 경어체	"~하십니다" 존칭 남용 (연준 총재 발언에 부적절)	표준 경어체(적절)
executive	표준	커브 스티프닝 등 추가	전 영업일 명시·WTI 해석 추가
insight	4개 테마	5개 테마, 소스 교차인용(KB·유진·다올)	5개 테마, "세 갈래 해석 병존" 등 메타분석 수준

평가 포인트: - beige_book 누락은 4.5 발송본의 명백한 결함입니다. 4.7·4.8 모두 정상 생성. - fed_speeches에서 4.7의 "~하십니다" 존칭은 형식 위반입니다. 연준 총재 발언 요약에 극존칭은 기관 브리핑 톤에 부적합. 4.8은 표준 경어체 유지 → 형식 준수 우위. - insight는 4.7·4.8이 4.5를 확실히 능가. 특히 4.8의 "동일 지표에 대한 견조/착시/약화 세 갈래 해석"은 분석 부가가치가 가장 높습니다. 다만 4.7·4.8 모두 원문에 없는 소스("ARK", "Eurodollar University", "Thoughtful Money", "258조 달러 그림자 금융")를 인용 → executive/insight 입력에 하위요약이 포함된다는 점을 감안해도 출처 검증이 어려운 환각 리스크 존재.

종합 스코어카드

평가축	4.5(발송본)	4.7	4.8
사실 정확성	△ (수치 불일치)	○	◎
환각 억제	✗ (insurance·telegram 환각)	○	◎
간결성	◎	△	○
경어체/형식	○	△ (존칭 남용)	◎
정보 우선순위	○	○	◎
완결성(누락)	✗ (beige_book 누락)	◎	◎
분석 깊이	○	◎	◎
속도	—	중	가장 빠름

최종 권고

opus-4-8을 기본 발송 모델로 채택할 것을 권고합니다.

근거: 1. 환각 억제가 가장 우수 — 4.5 발송본이 insurance_news·telegram에서 원문에 없는 기사·URL·수치를 생성한 반면, 4.8은 원문 링크·수치에 가장 충실했습니다. 금융 브리핑에서 환각은 다른 어떤 장점도 상쇄하는 치명적 결함입니다. 2. 형식 준수 — 4.7의 존칭 남용 문제가 없고 경어체가 일관됩니다. 3. 누락 없음 + 분석 깊이 — 4.5의 beige_book 누락 문제가 해결되었고, insight 품질이 최상급입니다. 4. 속도도 가장 빠름 — 대부분 섹션에서 4.7보다 처리 시간이 짧습니다.

단, 도입 전 필수 보완 사항:

길이 상한 재조정: global_news 롱폼이 세 모델 모두 절단됨 → 출력 토큰 상한을 상향하거나 항목 수를 사전 제한해야 합니다.
news 섹션 간결화 프롬프트: 4.8도 4.5 대비 다소 길어짐 → "하위 우선순위 뉴스(리콜·전용기 등) 배제" 지시 추가.
executive/insight의 인용 출처 검증: 하위요약 유래 소스(그림자 금융 258조 등)가 실제 입력에 있는지 QA 파이프라인에서 사후 검증 권장.

대안 운용:

만약 간결성이 최우선인 채널(예: 짧은 알림)에는 4.8을 유지하되 길이 압축 프롬프트를 별도 적용.
4.7은 insight 교차인용 등 강점이 있으나 존칭 이슈와 수치 불일치(11.3만) 때문에 그대로 발송용으로는 권하지 않습니다.

한 줄 결론: "4.5는 읽기 쉽지만 신뢰할 수 없고(환각+누락), 4.7은 깊지만 형식이 흔들리며, 4.8이 정확성·형식·깊이·속도의 균형이 가장 좋다 → 4.8 채택 + 길이/출처 QA 보완."