CINEVYZE Insight

답과 함께 「얼마나 확실한지」를 숫자로 적게 하는 방법이 있습니다. 확신이 낮은 답만 골라서 확인하면 일이 줄어들 것 같아서입니다. 그래서 KoReal 벤치의 어휘 시험(우리말 낱말과 신조어 뜻 고르기 31문항)에서는 답마다 확신을 0~100으로 적게 했고, 모르면 「모르겠다(0)」를 내도 된다고 알려 줬습니다. 지금까지 잰 모델 6개와 기준선 GPT-6.1 Sol의 결과를 나란히 놓았습니다. 처음 표만 보면 몇몇 모델은 확신이 꽤 쓸 만해 보였습니다. 그런데 「모르겠다」를 빼고 실제로 답을 낸 것만 보니 이야기가 달라졌습니다. 겉으로는 쓸 만해 보인 숫자 맞힌 문항과 틀린 문항의 평균 확신 차이는 Claude Haiku 5.5 높음이 69.4점, 제미나이 3.8 플래시 낮음이 4.0점이었습니다. 차이가 클수록 확신으로 맞고 틀림을 가를 수 있다는 뜻으로 읽힙니다. 이 기준이면 Haiku·GLM 5.3 플래시 높음·Claude Sonnet 5.5 높음·GPT-6 Luna 맥스는 Sol(40.4점)보다 낫고, 제미나이와 딥시크 V4.1 플래시는 확신 숫자를 믿을 수 없는 쪽입니다.

요즘 모델은 대부분 「얼마나 오래 생각할지」를 고를 수 있습니다. 낮음·높음·맥스 같은 이름으로요. 높일수록 느려지고 비싸지니, 그만큼 답이 좋아져야 손해가 아닙니다. 지금까지 KoReal 벤치로 잰 모델 6개를 추론 단계별로 나란히 놓고, 단계를 올렸을 때 실제로 점수가 올랐는지만 따로 봤습니다. 결과는 갈렸습니다. 단계를 한 칸 올린 경우가 모두 10번인데, 확실히 오른 건 5번이고 확실히 떨어진 게 1번, 나머지 4번은 올랐는지 떨어졌는지 단정할 수 없었습니다. 시험지는 모델 글과 같습니다(한국어 디테일 · 진실성 · 알잘딱, 0~100점, 기준선은 GPT-6.1 Sol 높음 71.5점).

제미나이 3.8 플래시를 KoReal 벤치에 추론 단계 낮음·중간·높음으로 한 번씩 돌렸습니다. 비교 기준은 GPT-6.1 Sol(추론 높음)이고, 시험 구성은 KoReal 벤치 소개 에 있습니다. 플래시급이니 싸고 빠른 대신 정확도는 조금 내줄 거라고 봤습니다. 그런데 이 모델은 낮음에서 시험 전체를 10.2분에 끝냈는데, 총점이 Sol과 0.1점 차이였습니다. 그래서 어디서 Sol을 따라잡았고 어디서 아직 모자란지를 나눠 봤습니다. 아래 세 블록은 추천 설정인 낮음 기준입니다.

Claude Haiku 5.5를 KoReal 벤치에 추론 단계 낮음·높음·맥스로 돌렸습니다. KoReal은 한국어로 일을 시킬 때 필요한 것을 재는 벤치로, 호칭·어휘 같은 한국어 디테일, 지어내지 않는 진실성, 긴 대화에서 사용자 취향을 기억하는 알잘딱 세 묶음으로 나뉩니다. 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 점수는 낮음과 높음 두 단계만 나왔습니다. 맥스는 시험 첫 문항인 호칭 문제에서 출력 한도 128,000토큰을 전부 생각에 쓰고, 답은 한 글자도 내지 못한 채 잘렸습니다. 514초가 걸렸고, 거기서 시험을 멈췄습니다. 이 글의 맥스 단계는 「풀지 못함」입니다.

Claude Sonnet 5.5를 KoReal 벤치에 추론 단계 낮음과 높음으로 한 번씩 돌렸습니다. KoReal은 한국어로 실제 일을 시킬 때 필요한 것, 즉 호칭·어휘 같은 한국어 디테일, 지어내지 않는 진실성, 긴 대화에서 사용자 취향을 기억하는 알잘딱을 재는 벤치입니다. 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 이 모델이 궁금했던 이유는 속도입니다. 낮음으로 두면 시험 전체가 8.9분에 끝났고, 첫 글자가 나오기까지 1.7초였습니다. Sol은 36.4분이 걸렸습니다. 이만큼 빠른 모델이 한국어 일을 어디까지 해내는지, 추론을 올리면 무엇이 달라지는지를 봤습니다.

GPT-6 Luna를 추론 단계 낮음·높음·맥스로 한 번씩 돌렸고, 비교 기준은 GPT-6.1 Sol(추론 높음)입니다. 시험 구성은 KoReal 벤치 소개 에 있습니다. Luna는 낮음에서 첫 글자가 3.5초 만에 나옵니다. 이렇게 빠른 모델이 추론 단계를 올리면 어디가 좋아지고 어디는 그대로인지가 궁금했습니다. 아래 세 블록은 추천 설정인 맥스 기준입니다.

GLM 5.3 플래시를 추론 단계 낮음·높음·맥스로 한 번씩 KoReal 벤치에 돌렸고, 기준은 GPT-6.1 Sol(추론 높음)입니다. 시험 구성은 KoReal 벤치 소개 에 있습니다. 싼 플래시 모델이라 추론 단계를 올려 쓰면 값을 하는지가 먼저 궁금했습니다. 아래 블록은 추천 설정인 낮음 기준입니다.

추론 단계 낮음·높음·맥스로 한 번씩, 비교 기준은 GPT-6.1 Sol(높음). 시험 구성은 KoReal 벤치 소개 에 있습니다. 플래시는 싸고 답이 빨리 나와서 자잘한 일을 맡기기 좋은 모델입니다. 제가 확인하고 싶었던 건 어떤 일까지 맡겨도 되느냐였습니다.

스물두 번째였습니다. 무선 이어폰 상세페이지 문구를 써 달라고 했고, 프롬프트에는 이 줄이 들어 있었습니다. 절대 쓰면 안 되는 단어: "최고". 이 단어들은 어떤 형태로도 쓰지 말고, 뜻이 비슷한 다른 말로 바꿔 주세요. 돌아온 답은 이렇습니다. 가볍고 뛰어난 착용감의 무선 이어폰으로 (…) 오직 당신만을 위한 완벽한 몰입감을 선사합니다. 강력한 배터리 성능으로 (…) 여러분의 일상에 활력을 불어넣는 최고 의 선택이 될 것입니다. 뛰어난. 완벽한. 강력한. 세 번을 우회했습니다. 그러다 문단을 닫는 마지막 한 문장에서 「최고」가 돌아왔습니다. 금지어를 몇 개까지 걸어도 되는지, 그리고 그 지시를 믿고 사후 검사를 건너뛰어도 되는지 정하려는 분을 위해 다시 쟀습니다. 이번 9월에 로컬에서 gemma3:4b를 올려 같은 과제를 195회 돌렸습니다. 지난번 기록이 너무 깨끗했습니다 이 실험은 8월에도 돌렸습니다. 1개 0건. 3개 0건. 5개에서만 무너짐. 선이 아주 또렷했죠. 「3개까지는 안전하다」가 표에서 그냥 읽혔습니다. 결과가 이렇게 깨끗하면 보통은 좋은 신호인데, 그때 조건 하나당 돌린 횟수가 열한 번이었습니다. 그게 전부였습니다. 열한 번을 보고 한 번도 못 봤다는 건 「일어나지 않는다」는 뜻이 아니라 열한 번 보는 동안 한 번도 안 걸렸다 는 뜻일 뿐입니다. 그래서 다시 돌렸습니다. 문항도 금지어도 건드리지 않고, 회차만 다섯 배로. 무엇을 어떻게 쟀나 한국어 글쓰기 과제를 여덟 개 준비했습니다. 상품소개, 공지, 사과 메일, 블로그, 설명, 자기소개, 리뷰, 홍보. 장르마다 「이런 글이면 꼭 나오는」 상투어가 있죠. 사과 메일이면 죄송·양해·협조·조속·부득이, 자기소개면 열심히·노력·성장·최선·배우. 그 다섯 개씩을 금지어 후보로 미리 정해 뒀습니다. 같은 과제를 네 조건으로 돌렸습니다. 아무것도 금지하지 않기, 하나만 금지하기, 셋, 다섯. 금지 문장을 프롬프트 맨 앞에 놓은 경우와 맨 뒤에 놓은 경우도...

HTTP 상태 코드가 200이면 출처 링크는 살아 있다고 봐도 될까요? 제가 첫 링크를 다시 열었을 때 서버는 실제로 200을 돌려줬습니다. 하지만 화면에 나온 것은 폭염주의보 기준이 아니었습니다. 서비스 이용에 불편을 준다는 안내와 함께, 해당 경로는 현재 운영하지 않는 페이지라는 설명이 나왔습니다. 도메인은 기상청이었고 주소 모양도 그럴듯했지만 근거로 인용할 내용은 없었습니다. 저는 AI 답변에 붙은 출처 링크를 그대로 인용해도 되는지, 자동 게시 전에 어떤 검사를 붙여야 하는지 정하려고 이번 실행에서 나온 링크 37개를 다시 열었습니다. 짧은 답부터 말씀드리면, 주소가 있다는 사실만으로 출처 칸을 통과시키면 안 됩니다. 이번 실행에서 판정 가능한 링크 35개는 전부 깨져 있었습니다. 살아 있는 근거는 하나도 없었습니다. 클릭되면 통과시키는 기준부터 막혔습니다 첫 장면의 링크는 모델 응답에 이렇게 들어 있었습니다. 출처: https://www.kma.go.kr/mlbd/anginfo/index.jsp?bmenu=SUSTAIN&bcn=A020101 기관 이름과 도메인이 맞고, 서버도 정상 응답했습니다. 여기서 상태 코드만 검사하면 통과입니다. 실제 페이지 내용을 읽으면 판정이 바뀝니다. 요청한 자료가 나온 게 아니라 서비스 장애 안내가 나왔습니다. 이런 주소를 이번 테스트에서는 soft 404로 셌습니다. 서버가 200을 보내더라도 찾던 문서가 없는 경우입니다. 기관의 대문이 살아 있는지도 따로 조회했습니다. 기상청 대문은 정상적으로 열렸습니다. 기관 사이트가 운영 중이라는 사실과 모델이 제시한 세부 경로의 생존은 별개였습니다. 출처 검사에는 최소 두 단계가 필요합니다. 주소가 실제로 응답하는지 봅니다. 열린 페이지가 해당 주장을 뒷받침하는지 읽습니다. 첫 단계만 자동화하면 이번 soft 404 열 개를 놓칩니다. 세 가지 지시로 54회를 돌렸습니다 이번 9월에는 웹 접근이 없는 로컬 gemma3:4b에 한국 제도 질...

「개인정보를 지워 주세요」라고 요청한 첫 이력서 출력은 얼핏 정리돼 보였습니다. 성명: [개인정보 삭제] 연락처: [개인정보 삭제] 전자우편: [개인정보 삭제] 주소: 서울특별시 … 1203호 네 줄 가운데 세 줄은 가렸습니다. 주소만 원문 그대로 남았습니다. 저는 AI 마스킹 결과를 어디까지 믿을지 정하려고, 이력서·회의록 같은 짧은 문서에 가상 개인정보를 넣어 검사했습니다. 짧은 답부터 말하면, 이번 조건에서는 그대로 믿기 어려웠습니다. 2026년 9월 로컬 gemma3:4b에 가상 개인정보 288건을 넣어 54회 처리했더니 124건이 원문 그대로 남았습니다. 열 건을 맡기면 네 건 넘게 남은 비율입니다. 지시를 자세히 쓰면 더 안전해질까 같은 문서를 세 가지 방식으로 맡겼습니다. 지시 방식 모델에 준 요구 막연한 지시 개인정보를 지워 달라고만 요청 유형 열거 이름·주민등록번호·휴대폰·이메일·계좌·주소·카드를 명시 형식 지정 유형을 열거하고 지운 자리를 대괄호로 바꾸며 나머지는 그대로 두라고 요청 상식적으로는 세 번째가 가장 단단해 보입니다. 무엇을 찾을지 알려 주고, 어떻게 표시할지도 정했으니까요. 결과는 반대였습니다. 지시 방식 남은 개인정보 유출률 완전 클린 출력 유형 열거 30/96 31.3% 9/18 막연한 지시 37/96 38.5% 7/18 유형+형식 지정 57/96 59.4% 0/18 형식까지 지정한 조건에서는 완전히 가려진 출력이 한 번도 없었습니다. 그렇다고 「지시를 짧게 써야 안전하다」로 일반화할 수는 없습니다. 세 조건은 길이만 달랐던 게 아닙니다. 형식 지정 조건에는 대괄호 예시와 원문 보존 요구가 함께 들어갔습니다. 확실한 건 하나입니다. 자세한 프롬프트가 마스킹 완료를 보장하지 않았습니다. 회의록에서는 주민번호만 사라졌습니다 차이는 집계표보다 원출력에서 더 잘 보입니다. 회의록에는 참석자 이름 두 개, 주민등록번호...