product feedback · Upstage Solar

Solar를 써보며
남긴 제품 피드백

도서관 검색 AI(BookToss)를 Upstage Solar 위에서 빈 폴더부터 만들며, 직접 부딪힌 경험을 구조화된 피드백으로 정리했습니다.

모든 항목은 실제 작업 기록(commit·issue)에 연결돼 있어 재현·검증할 수 있습니다. 비공개 raw 로그(upstage-notes.md)에서 검증된 인상만 골라 옮겼습니다.

한 줄 요약

OpenAI 호환 설계 덕에 진입 마찰이 거의 0이었고 (카드 등록 없이 키 발급 → base_url 한 줄 교체로 첫 호출 성공), Chat/Reasoning은 짧은 단발 질문에서도 그럴듯하게 잘 추측했습니다. 다만 "그게 추측"임을 모델이 표시하지 못하는 지점이 있었고, 이는 Upstage가 이미 Groundedness Check로 풀고 있는 문제와 맞닿아 있었습니다.

1. Console / 개발자 경험 (DX)

관찰. Upstage Console에서 UPSTAGE_API_KEY 발급이 막힘없이 끝났습니다. 특히 신용카드 정보 입력 없이 키가 나왔습니다.

좋았던 점

결제수단 등록은 "일단 한번 써볼까"를 가장 크게 가로막는 단계인데, 그게 없으니 발급 → 첫 호출까지의 심리적 장벽이 거의 사라졌습니다. OpenAI 등 다른 LLM 콘솔에서 카드 등록에 멈칫했던 경험과 분명히 대비됐습니다.

그리고 OpenAI 호환. 새 SDK를 배울 필요 없이 기존 openai 라이브러리에 base_url 한 줄만 바꿔 붙였습니다. OpenAI 사용 경험이 있으면 학습 비용이 사실상 0이었습니다.

from openai import OpenAI
client = OpenAI(
    api_key=os.getenv("UPSTAGE_API_KEY"),
    base_url="https://api.upstage.ai/v1",   # 이 한 줄이 전부
)
resp = client.chat.completions.create(
    model="solar-pro2",
    messages=[{"role": "user", "content": prompt}],
)

증거: PR #9 · solar.py

2. Chat / Reasoning (solar-pro2)

관찰. 첫 호출로 아직 출시되지 않은 서비스 "BookToss"를 한 문장으로 소개해 달라고 시켰습니다. 모델은 준 단서(이름 + "도서관 검색 서비스")만으로 자연스러운 한 문장 카피를 생성했습니다.

좋았던 점

추측 자체는 훌륭했습니다. 이름 "BookToss"(Book + Toss)에 담긴 의미를 합리적으로 읽어, 존재하지 않는 서비스인데도 그럴듯한 소개를 만들어냈습니다. 한국어 표현도 매끄러웠습니다.

아쉬웠던 점 / 관찰된 한계

잘 맞혔지만, 그게 "추측"이라는 사실을 스스로 표시하지 못했습니다. 근거가 주어지지 않은 단발 질문에서도 확신하는 어조로 답합니다. 이는 특정 모델의 결함이라기보다, 평가 방식이 "모르겠다"보다 "그럴듯한 추측"을 보상해 온 LLM 일반의 알려진 성질에 가깝습니다 (OpenAI Why Language Models Hallucinate, 2025).

증거: issue #7 · 머지 커밋 25db28c

3. 제품팀에 드리는 열린 질문

위 한계를 알아보다가, Upstage가 바로 그 문제를 제품으로 이미 풀고 있다는 걸 발견했습니다 — Groundedness Check API는 (context, answer) 쌍이 실제로 근거에 뒷받침되는지 외부에서 채점합니다. "추측을 추측이라 표시하지 못하는" 문제를, 모델 안이 아니라 바깥의 검증기로 푸는 접근입니다.

Open Question

① solar-pro2 자체에 abstention(불확실하면 "모르겠다") 또는 verbalized-confidence(헤지 표현) 방향이 내장돼 가는지, 아니면 Groundedness Check를 별도로 붙이는 것이 권장 경로인지 궁금합니다.

② 근거가 없는 짧은 단발 프롬프트에서, 모델이 스스로 "이건 근거 없는 추측"이라고 신호를 주는 방향의 계획이 있는지 궁금합니다.

참고: Upstage Groundedness Check 문서 · (Almost) Zero hallucination with RAG and Groundedness Check

이 피드백이 나온 맥락

BookToss는 서울 100여 개 도서관을 한 번에 검색하는 AI 에이전트를, Solar를 두뇌로 빈 폴더부터 버전 단위로 쌓아가는 프로젝트입니다. 위 인상들은 v0.0.2(Solar 첫 터미널 호출) 작업 중 실제로 받은 것이며, 더 깊은 사용(Streamlit 연동, RAG)으로 가며 계속 갱신할 예정입니다.

→ BookToss 전체 빌드 튜토리얼 보기