Poster session
포스터 세션은 Application, Machine Learning, Reinforcement Learning, Theory…. 등으로 나누어져 있고, 전체적으로 Application 쪽에 내가 볼만한 것들이 있어서 그쪽 위주로 구경을 했다.
World Model, physical AI, Evaulation 등의 내용이 그나마 내가 관심을 가질만한 주제였고, 나와 직접적으로 관련있는 Agent 개발에 관련된 것들은 찾기 힘들었다. (아무래도 machine learning 학회니..) 또 막상 일하는 것과 연관되어 있는 걸 찾아서 갔더니, metrics에 대한건 없고 입장만 나열해둔 것들이 많아서 조금 실망한 경우도 있었다. 그래도 그 중에서 설명 들은 것 위주로 가져와 보았다.
CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation
요즘 로봇 학습의 주류는 VLA(Vision-Language-Action) 모델이다. 방대한 로봇 데이터로 모델을 통째로 학습시키는 방향이다. 반면 CaP-X (Code-as-Policy)는 “모델을 데이터로 학습시키는 대신, LLM이 코드를 짜서 로봇을 제어하게 한다”는 생각이다.
Key Result
- 아직 인간 엔지니어를 못 이긴다: 비전언어 모델이 다른 도메인에서는 인간에 필적하는데, 로봇을 제어하는 코드를 짜는 일에서는 여전히 인간에 못 미친다. Gemini 3 Pro, o4-mini, GPT-OSS-120b같은 최신 모델들이 이 점을 찍고 있지만, 인간 라인에는 닿지 못했다.
- 설계자 스캐폴딩 의존성: 인간이 만들어준 추상화 (고수준 API)가 있으면 모델 성능이 좋아지지만, 이 사전 지식을 하나씩 걷어내면 성능이 뚝뚝 떨어진다. 즉 지금의 성능 상당 부분은 모델 실력이 아니라 scaffold 덕이라는 얘기다.
- Test-time compute로 격차를 메운다: 멀티턴 피드백·visual differencing·앙상블 추론 같은 런타임 연산을 키우면, 저수준 primitive만으로도 견고성이 크게 오른다. 저수준+멀티턴이 고수준 single-turn을 능가할 정도.
- CaP-RL: 검증 가능한 보상으로 강화학습(GRPO)을 붙이니 cube lift 성공률 25%→80%, 시뮬에서 학습한 정책이 실물 Franka로 격차 거의 없이 전이된다.
Hallucinations Undermine Trust; Metacognition is a Way Forward
이 포스터는 새 기법이 아니라 “환각 문제를 바라보는 프레임 자체를 바꾸자”는 주장이었다. 지금까지 LLM의 factuality 개선은 대부분 지식 경계를 넓히는 것에서 왔지, 그 경계를 인식하는 능력(아는 것과 모르는 것의 구별)은 별로 나아지지 않았다. 그리고 그 경계를 인식한다는 건 근본적으로 어려울 수 있다. 왜냐하면 모델에게 정답과 오답을 가르는 판별력이 부족하다면, “환각 제거 vs 유용성 보존”은 피할 수 없는 트레이드오프가 된다.
환각 = 오류가 아니라 ‘자신만만한 오류(confident error)’.
Key Result
- Calibration ≠ Discrimination: “LLM은 자기가 뭘 아는지 안다”는 기존 연구들은 calibration을 보여준 것이지 discrimination을 보여준 게 아니다. 모든 답에 0.6을 부여하는 모델은 완벽히 calibrated지만 판별력은 0. 실증적으로 현실적 factual QA에서 AUROC는 0.70–0.85에 머문다.
- Utility Tax는 실재한다: 판별력이 부족하면 환각을 없애는 유일한 길은 기권인데, 시뮬레이션에서 25% 오류율 모델이 환각률 5%를 달성하려면 유효한 답의 52%를 버려야 한다. SimpleQA Verified에서 실제 frontier 모델들이 두 클러스터로 갈리는 게 보인다 (factuality 우선·utility 희생(Claude 계열) vs utility 우선·낮은 기권(GPT-4.1, Gemini Flash 계열)). 하지만 그림에서 보는 것처럼 어느 쪽도 이상점(perfect discrimination)에 못 간다.
- Faithful Uncertainty: 환각을 “자신만만한 오류”로 재정의하면 answer-or-abstain 이분법 밖에 길이 생긴다. 적절히 헤징된 오류는 환각이 아니라 가설이다. 단, 균일한 헤징은 무의미하고, 언어적 불확실성(말하는 것)을 내재적 불확실성(믿는 것)과 개별 사례 수준에서 정렬해야 한다. 여기서 핵심 논증은 모델이 자기가 언제 틀렸는지는 완벽히 알 수 없어도, 언제 불확실한지는 알 수 있다는 것이다
- 에이전트 시대의 제어 계층: 불확실성 인식이 없으면 언제 도구를 부를지(남용/미사용), 검색 결과와 자기 믿음이 충돌할 때 뭘 믿을지 판단할 수 없다. Metacognition은 도구로 우회되는 게 아니라 도구를 통제하는 제어 계층이 된다.
EpiCache: Episodic KV Cache Management for Long-Term Conversation on Resource-Constrained Devices
LLM이 긴 대화를 기억하려면 KV 캐시를 유지해야 하는데, 이게 대화 길이에 선형으로 무한정 자란다. 기존 해법은 post-prefill eviction은 전체 컨텍스트를 일단 다 처리한 뒤에 줄이니 피크 메모리가 그대로 치솟고(100K 토큰에서 30GB+), query-dependent eviction은 현재 질문에 필요한 것만 남기니 나중 턴에 필요한 증거를 미리 버려서 멀티턴에서 실패하고, block prefill에 기존 eviction을 붙이면 메모리는 잡히는데 정확도가 떨어진다.
결국 딜레마는 미래에 무슨 질문이 올지 모르는 상태에서, 압축 시점에 뭘 버릴지 어떻게 아는가?이다.
Key Idea
미래 질문과 의미적으로 유사한 상위 10% 발화를 기준으로 압축하면 실제 질문을 알고 압축한 것과 거의 같은 정확도가 나온다. 그런데 대화는 자연스럽게 반복되는 주제(에피소드)를 중심으로 돈다. 그러니 질문 자체를 예측할 필요가 없다. 대화의 에피소드 구조만 발견하면 된다. “미래 질문 예측”이라는 불가능한 문제를 “주제 클러스터링”이라는 가능한 문제로 바꾼 것.
방법은 3단계 (전부 training-free)
- Stage 1 (1회): 대화 기록을 임베딩 → K-means로 E개 에피소드로 클러스터링, 에피소드별 대표 세그먼트를 “patched prompt”로 선정
- Stage 2 (E회): 전체 기록을 블록 단위로 prefill하되(메모리 상한 유지), 에피소드별 prompt를 가이드로 관련 top-M 토큰의 KV만 남김 → 주제별 압축 KV 캐시 E세트를 오프라인 저장
- Stage 3 (질문마다): 질문 임베딩 → 가장 가까운 에피소드에 cos 유사도 매칭 → 해당 캐시만 로드해서 디코딩
비유하면, 대화 전체를 통째로 기억하는 대신 주제별 노트 여러 권을 만들어 두고 질문이 오면 맞는 노트만 꺼내 보는 방식이다. 사실상 RAG를 텍스트가 아니라 KV 캐시 수준으로 내린 것이기도 하다(실제로 RAG 베이스라인을 상회한다).
Key Result
- LongMemEval, Realtalk, LoCoMo 세 LongConvQA 벤치마크에서 최대 +30점, 4-6배 압축에서 full-KV 정확도에 근접
- 하단 표: 300턴·90K 히스토리에서 Full KV는 턴당 31.1초·피크 36.3GB, EpiCache는 턴당 1.8초·9.6GB (QA 정확도 46.2 vs 45.6, 거의 무손실)
- 여러 에피소드에 걸친 정보가 필요한 질문(multi-episodic)에서도 견고함 유지
AlienLM: Alienization of Language for API-Boundary Privacy in Black-Box LLMs
블랙박스 API로 LLM을 쓰면 민감한 프롬프트·응답·파인튜닝 데이터를 제공자에게 평문으로 넘겨야 한다. 데이터 보존 opt-out을 켜도 평문은 외부 인프라에서 처리되고, 유출되면 즉시 읽힌다. AlienLM은 이 API 경계의 노출을 줄이는 문제를, “번역” 문제로 재정의한다. 핵심 발상은 LLM에게 사람이 못 읽는 인공 언어(“외계어”)를 가르칠 수 있다면, 의미는 그대로 전달하면서 평문 노출은 없앨 수 있다.
- Alien Language: 토큰 사전에 대한 전단사 순열. 클라이언트가 전송 전 평문을 외계어로 바꾸고, 응답을 다시 평문으로 무손실 복원한다. bijection seed가 곧 비밀 키.
- 최적화된 bijection: 아무렇게나 섞지 않고, 표면 문자열은 최대한 다르게(사람이 못 읽게) + 임베딩 공간에서는 최대한 가깝게(모델이 배우기 쉽게) 최적화한다. 블랙박스라 대상 모델 임베딩을 못 보니, 오픈소스 모델의 임베딩을 proxy로 쓴다(“모델이 달라도 토큰 간 상대 유사도는 보존된다”는 성질에 기댐).
- AAT (Alien Adaptation Training): 외계어로 번역한 입출력 쌍만 표준 파인튜닝 API에 올려 모델을 적응시킨다. 모델 내부 접근이 전혀 필요 없어 지금의 상용 API에 그대로 배포 가능하고, 비용은 $100~150 수준.
적용의 한계
- 파인튜닝 API가 필수: AAT가 파인튜닝 전제라, 파인튜닝을 안 여는 최신 플래그십 모델엔 못 쓴다. 모델이 바뀔 때마다 다시 적응시켜야 한다.
- 성능 19% 손실: 평문 대비 81% 유지. 정밀함이 중요한 작업엔 부담.
- 안전 정렬 훼손: AAT가 모델의 거부 행동을 무너뜨려서, 컴플라이언스·거버넌스 관점에선 오히려 새 리스크가 된다.
- 메타데이터 노출: 외계어로 바꿔도 메시지 길이·토큰 수·타이밍·구조(“코드처럼 보임”)는 그대로 샌다.
- 클라이언트가 단일 실패점: translator와 시드가 유출되면 전부 무효. 키 관리(누가·어디에 보관하는지)가 보안의 전부가 된다.
- 대안 대비 애매한 위치: 온프렘/사내 배포 모델을 쓰면 API 경계 자체가 사라지고, PII만 문제면 로컬 마스킹이 더 단순하며, 계약(제로 데이터 보존)으로 푸는 길도 있다. AlienLM은 “외부 상용 API를 꼭 써야 하고 + 파인튜닝이 되고 + 성능·안전성 손실을 감수·관리할 수 있는” 좁은 교집합에서만 유효하다.
요즘 우리 회사도 그렇고 기업들 내에서 외부 LLM 사용할 때 보안 때문에 제약이 많아서 유심히 들었는데 물론 한계점도 많이 있지만 재미있는 아이디어라는 생각이 들었다.
그 외 몇 몇 사진들
키 컸으면.. 나도 듣고 싶어요
멋있다… 손글씨 …힙하다..
사진으로 보이는 것보다 100000배 사람 많음 …