Pulse · AI 뉴스

환각 없는 GUI 정밀 정렬: 회귀 없는 레이아웃 인식 매칭

Mind2Web · 2026-08-10

연구진은 추상적인 사용자 지시를 GUI 요소 좌표로 변환하는 GUI 정렬 문제 해결을 위해 새로운 프레임워크를 제안했어요.

이 프레임워크는 기존 모델의 한계인 의미론적 풍부함 부족과 MLLM의 좌표 환각 문제를 해결하기 위해 설계됐어요.

연구진은 고정된 MLLM으로 지시사항을 구조화된 시각적 설명으로 변환하고, 레이아웃 정보를 활용한 GUI 정렬 모델로 정밀한 위치를 찾아 좌표 회귀 없이 정렬하도록 했어요.

##GUI##MLLM##정렬##정밀도##환각
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기