JIT-Agent

Zhang et al.·2026·arXiv:2608.25593

핵심 아이디어

JIT-Agent는 “Just-in-Time Harness Evolution”의 약자다. AOT(ahead-of-time)가 아니라 JIT이다—모든 태스크 인스턴스마다 새 하네스를 즉석에서 생성한다.

하네스는 모델을 감싸는 실행 환경이다. ReAct, Plan-and-Execute, 메모리 시스템 같은 스캐폴드. 기존 방식은 하네스를 미리 최적화해서 여러 태스크에 재사용했다. JIT-Agent는 정반대로 움직인다. 27B 메타 에이전트(Qwen3.6 기반)가 태스크를 보고, 그 순간 그 태스크에만 맞는 실행 가능한 하네스를 합성한다. 백본 가중치는 얼어 있다. 생성된 하네스가 오프더셀프 agentic LLM을 감싸서 작동한다.

이것이 Model-as-a-Harness다. 모델이 곧 하네스 제너레이터다.

메커니즘

JIT-Agent-27B는 네 가지 모듈을 다룬다: 메모리, 플래닝, 액션, capability orchestration. HarnessFactory 레이어에는 13개 스캐폴드가 구현되어 있다—ReAct, Plan-and-Execute, ReSum, Flash-Searcher, GAM, MemoBrain, AggAgent, OAgent, AgentFold, HiAgent, DeepAgent, ROMA, AOrchestra. 메타 에이전트는 이 레고 블록들을 조합해서 즉석 하네스를 만든다.

학습은 세 단계로 진행된다.

Stage I: Customization
티처 SFT와 preference 학습. 보상, 레이턴시, 비용을 동시에 고려한다. 메타 에이전트가 “이 태스크는 빠른 메모리가 필요하니 Flash-Searcher 기반으로, 저 태스크는 깊은 플래닝이 필요하니 DeepAgent 기반으로” 선택하도록 배운다.

Stage II: Repair
생성 실패한 케이스를 최대 2회까지 패치한다. 문법 오류나 조합 충돌을 고친다. 디플로이 시점의 제너레이터는 이 repair 단계를 거친 상태다.

Stage III: Evo-GDPO
Group-decoupled PPO를 archive frontier와 대결시킨다. 제너레이터는 디플로이 시 동결되지만, 스트리밍 모드에서는 하네스 뱅크만 업데이트된다. 실시간으로 하네스 아카이브가 진화한다.

같은 라인의 MemEvolve(메모리)와 TodoEvolve(플래닝)을 이어간다.

실적

논문 Table 3에서, GLM-5.2는 9벤치 평균 74.1 → 81.8 (+7.7). DeepSeek-V4-Flash는 66.7 → 75.5 (+8.8).

V4-Flash + JIT vs GPT-5.6 비교에서 DeepSearchQA +9.1, PinchBench +8.7, OdysseyBench +4.3. GLM-5.2 DeepPlanning-Travel은 62.8에서 83.0으로 +20.2. V4-Flash DeepPlanning-Shopping은 59.1에서 83.9로 +24.8.

Table 4의 통제된 하네스 대결에서, JIT는 6개 세팅 모두에서 비용/토큰이 가장 낮았다. 예를 들어 V4-Flash DeepSearchQA에서 JIT 85.1 vs NanoBot 80.4, 비용 0.066vs0.066 vs 0.131. 하지만 승리만 있는 것은 아니다—V4-Flash AgentIF에서 JIT 63.8 vs Claude Code 66.9 (−3.1). Qwen3.6-Flash DeepSearchQA에서 JIT 70.3 vs NanoBot 74.2 (−3.9).

논문은 네 모듈 공간이 production Claude Code / DeepSeek Harness보다 작다고 직접 밝힌다.

AOT vs JIT 구분

AutoSaddler 같은 AOT 하네스 최적화는 추적에서 진단하고 패치를 추출해서 재사용 가능한 아티팩트를 프리컴파일한다. 한 번 최적화하면 여러 태스크에 적용한다.

JIT-Agent는 per-instance다. 각 태스크마다 새로 쓴다. 27B 메타 모델을 인퍼런스할 여유가 있을 때 AOT보다 더 정밀한 맞춤이 가능하다는 주장이다.

참고

← 하네스 허브로 돌아가기