AI가 컴퓨터 업무의 66.3%를 성공했다면, 무인 자동화를 맡겨도 될까요?
공개 컴퓨터 업무 평가인 OSWorld에서 기록한 66.3%는 AI가 서로 다른 과제를 한 번씩 끝낸 비율입니다. 같은 업무를 매일 반복해 누락·중복 없이 마쳤다는 운영 지표가 아닙니다.

🍎 바쁘다면 알짜배기만이라도 !
- 공개 컴퓨터 업무 평가인 OSWorld에서 기록한 66.3%는 AI가 서로 다른 과제를 한 번씩 끝낸 비율입니다. 같은 업무를 매일 반복해 누락·중복 없이 마쳤다는 운영 지표가 아닙니다.
- 장시간 업무를 다룬 후속 평가에서는 최고 성능 모델도 108개 과제 중 완전 완료율이 20.6%였습니다. 업무 단계가 길어지고 중간에 처리할 상태가 많아지자 완전히 끝낸 과제가 줄었습니다.
- 무인 자동화 승인은 공개 벤치마크 점수보다 실제 업무의 연속 실행, 최종 결과 대조, 실패 뒤 복구 시험을 보고 결정해야 합니다.
66.3%라는 숫자와 야간 무인 업무
운영 책임자가 컴퓨터 사용 AI의 시연을 보고 야간 주문 정리를 맡기려 합니다. 화면에서 파일을 열고, 여러 프로그램을 오가며, 결과 파일까지 만드는 모습을 한 번 확인했습니다. Stanford AI Index 2026은 OSWorld라는 공개 평가에서 AI의 과제 성공률이 **66.3%**까지 올랐다고 전합니다.
여기서 컴퓨터 사용 AI는 사람이 마우스와 키보드로 하던 일을 화면을 보고 대신 수행하는 에이전트입니다. 공개 시험에서 한 과제를 끝낸 능력과, 같은 업무를 정해진 시각마다 사람 없이 운영하는 능력은 따로 확인해야 합니다.

OSWorld 1.0의 과제 369개와 한 번의 성공
OSWorld 1.0은 웹·사무용 프로그램·파일 작업을 포함한 369개 컴퓨터 과제를 준비하고, 각 과제의 시작 상태와 완료 조건을 따로 정했습니다. 실행 뒤 프로그램 상태와 결과물을 검사하므로, 에이전트가 스스로 “완료했다”고 말하는 것만으로 성공 처리하지 않습니다.
Stanford AI Index가 인용한 66.3%는 이런 구조화된 과제의 성공률입니다. 보고서가 제시한 인간 기준선은 72.35%로, 차이는 6.05%포인트입니다. 이 수치는 컴퓨터 조작 능력이 빠르게 좋아졌다는 근거이지만, 한 번 성공한 과제가 다음 날에도 같은 계정·데이터·화면 상태에서 성공한다는 뜻은 아닙니다.
OSWorld 2.0에서 드러난 장시간 업무의 차이
OSWorld 2.0은 사람이 끝내는 데 중앙값 1.6시간이 걸리는 장시간 업무 108개를 평가했습니다. AI가 화면을 클릭하거나 프로그램에 명령한 횟수는 과제당 평균 318회였고, 1.0의 약 30회보다 열 배가 넘었습니다.
에이전트가 취할 수 있는 행동은 과제마다 최대 500회였습니다. 가장 높은 결과도 완전 완료율 20.6%, 중간 작업까지 반영한 부분 점수 54.8%였습니다. 주문서 10개 중 8개를 입력했더라도 최종 제출과 결과 대조가 끝나지 않았다면, 운영에서는 완료로 처리할 수 없습니다.
두 평가의 과제·모델·단계 제한이 달라 66.3%와 20.6%를 성능 하락률로 계산할 수는 없습니다. 확인할 수 있는 사실은 평가가 긴 실제 업무에 가까워질수록 완전 완료와 부분 진행을 따로 봐야 한다는 점입니다.
벤치마크 성공률과 운영 성공률의 구분
무인 자동화에서 필요한 수치는 “서로 다른 과제 중 몇 개를 한 번 풀었나”가 아니라 “예정된 실행 중 최종 결과까지 맞게 끝난 실행이 몇 개인가”입니다. 재실행도 새로운 성공으로 더하지 않고 최초 일정 한 건에 포함해야 합니다. 입력 파일이 늦게 오거나 로그인 세션이 만료된 날도 전체 예정 실행에서 빼지 않아야 운영 성공률이 부풀지 않습니다.
Gartner의 2026년 10월 분석도 정답이 하나뿐이거나 오류가 큰 손실을 만드는 업무에는 현재 AI 에이전트가 덜 적합하다고 설명합니다. 반대로 여러 결과가 허용되고 사람이 오류를 바로잡을 수 있는 업무는 적용 범위가 넓습니다. 공개 벤치마크는 후보 도구를 고르는 자료이고, 운영 성공률은 업무를 맡길 범위를 정하는 자료입니다.
무인 운영 승인에 필요한 같은 업무의 반복 시험
무인 운영을 승인하기 전에는 실제 업무와 같은 입력 형식·계정 권한·실행 시각으로 반복 시험해야 합니다. 시험 기록에는 시작 여부, 최종 완료 여부, 처리 건수, 누락·중복, 사람이 개입한 시점이 각각 남아야 합니다. 허용 실패율은 업무마다 다르지만, 발주·결제처럼 잘못 실행한 뒤 되돌리기 어려운 업무는 최종 결과 대조와 실패 복구를 모두 통과한 실행만 성공으로 세야 합니다.
AI가 판단해야 하는 문구 해석과 정해진 규칙으로 검사할 수 있는 최종 건수 대조도 분리하는 편이 낫습니다. 해석 결과가 흔들려도 발주 수량·거래처·총액이 승인 내용과 다르면 실행을 멈출 수 있기 때문입니다. 최종 결과를 별도 규칙으로 확인할 수 없는 업무라면, 66.3%라는 공개 점수만으로 야간 무인 실행을 승인하지 않는 것이 이 글의 판단입니다.
공개 벤치마크가 충분한 경우
공개 벤치마크가 쓸모없다는 뜻은 아닙니다. 여러 모델이 같은 과제를 수행한 결과는 후보를 좁히고 발전 속도를 확인하는 데 유용합니다. 실제 업무가 일회성 조사나 초안 작성처럼 정답이 하나로 정해지지 않고, 잘못된 결과를 사람이 검토해 버릴 수 있으며, 민감한 계정이나 되돌리기 어려운 실행을 다루지 않는다면 반복 운영 시험 없이도 보조 도구로 사용할 수 있습니다.
반대로 같은 주문·결제·발주 업무를 매일 사람 없이 실행한다면 기준이 달라집니다. 실제 업무의 연속 실행과 실패 복구가 확인됐고 최종 결과를 독립적으로 대조할 수 있다면, 공개 벤치마크의 낮은 점수만으로 도입을 막을 이유도 없습니다. 승인 근거는 모델 이름이나 시연 장면이 아니라 그 업무가 끝났다는 기록이어야 합니다.






