HTML is All You Need (for Agents to Make Graphics) - Amol Kapoor, Nori

핵심 요약

• 코딩 에이전트는 코드를 작성하는 것 외에도 거의 모든 것을 할 수 있지만, 이를 위해서는 에이전트처럼 사고해야 하며, 특히 시각적 결과물 생성에 능숙하지 않다는 인식이 있습니다.
• 슬라이드, 문서, 비디오와 같은 시각적 결과물 생성은 인간에게는 직관적이지만, 에이전트가 픽셀 기반의 GUI 도구(PowerPoint, Figma 등)를 사용할 때는 공간 이해력 부족으로 인해 결과물이 좋지 않습니다.
• SVG를 이용한 펠리컨 자전거 타기 그림 생성 테스트에서 모델들이 좋지 않은 결과를 보여주는 것은 모델 자체의 공간 추론 능력 부족이 아니라, SVG라는 텍스트 기반의 저수준 표현에 대한 이해 부족 때문입니다.