컴퓨터 유즈, 어디에 켜고 어디서 끌까 — GPT-6 Astra로 마케터 업무 6개를 돌려본 뒤 정리한 기준

들어가며

신제품 출시 전 시장 조사를 맡았다고 해 보겠습니다. 네이버 지도에서 방문할 매장을 찾아 저장하고, 쿠팡에서 경쟁 제품이 어떻게 보이는지 훑고, 인스타그램에서 참고할 브랜드 계정과 협업 후보를 고르고, 핀터레스트에서 비주얼 방향을 잡습니다. 그리고 정리한 결과를 팀 카톡방에 올립니다.

이 일들은 전부 공통점이 하나 있습니다. AI에 시킬 만한 연결 창구가 없습니다. 네이버 지도 저장 리스트, 쿠팡 검색 결과 화면, 인스타그램 탐색, 카카오톡 단체방은 일반 사용자가 쓸 수 있는 API나 MCP(AI가 다른 프로그램과 대화하는 표준 연결 방식)가 없거나, 있어도 조건이 붙어 있습니다. 그래서 지금까지는 사람이 브라우저를 열고 하나씩 클릭해야 끝났습니다.

컴퓨터 유즈(Computer Use)는 바로 이 구간을 위한 기능입니다. AI가 화면을 직접 보면서 검색하고, 클릭하고, 입력하고, 스크롤합니다. 기능 자체는 예전부터 있었습니다. 다만 느리고 중간에 자주 멈춰서, 실제 업무에는 아직 이르다는 평이 많았습니다.

이 글에서는 2026년 9월에 나온 GPT-6 Astra로 위 여섯 가지 업무를 한 번 돌려본 결과를 바탕으로, 어떤 업무에 컴퓨터 유즈를 켜고 어디서 끄는지 고르는 기준을 정리했습니다. 각 작업에 걸린 시간과 사용량, 프롬프트에 반드시 넣어야 했던 요소, 결과를 믿기 전에 확인한 것도 함께 다룹니다.

컴퓨터 유즈는 마지막 골목에서만 쓰는 기능입니다

AI를 다른 프로그램과 연결하는 방법은 크게 두 갈래입니다.

첫째는 연동입니다. API, CLI(명령줄 도구), MCP처럼 프로그램끼리 데이터를 직접 주고받는 방식입니다. 빠르고 정확하고 반복에 강합니다. 고속도로에 가깝습니다.

둘째는 화면 조작입니다. AI가 사람처럼 화면을 보고 마우스와 키보드를 움직입니다. 느리고 화면 구조가 바뀌면 흔들립니다. 하지만 연동 창구가 없는 앱에도 들어갈 수 있습니다. 고속도로에서 내려 목적지까지 걸어 들어가는 마지막 골목입니다.

OpenAI 공식 문서도 같은 순서를 권합니다. 대상 앱에 전용 플러그인이나 MCP 서버가 있으면 그쪽을 먼저 쓰고, 화면을 직접 보고 조작해야 하는 경우에만 컴퓨터 유즈를 쓰라고 안내합니다. 공식 문서가 꼽는 적합 사례는 이렇습니다.

반대로 이미 연동 창구가 있는 일은 컴퓨터 유즈로 하면 손해입니다. 유튜브 채널 지표는 Analytics API가 있고, 재무제표 숫자는 OpenDART가 XBRL 원본을 제공합니다. 메일과 캘린더는 커넥터가 있습니다. 스프레드시트 계산은 수식이 정확합니다. 이런 일에 화면을 긁게 하면 느리고 오류만 늘어납니다.

💡 전부를 컴퓨터 유즈에 맡기는 것이 아닙니다. 화면을 봐야만 되는 구간에만 켜고, 이미지 생성이나 파일 정리처럼 화면이 필요 없는 일은 각자 잘하는 도구에 넘깁니다. 한 업무 흐름 안에서 두 방식을 섞어 쓰는 것이 기본형입니다.

이번에 무엇이 달라졌나

OpenAI가 발표한 수치부터 봅니다. OSWorld 2.0 지연 시뮬레이션에서 GPT-6 Astra는 72.6%를 기록했고, 과제당 약 40분이 걸렸습니다. 이전 모델 GPT-5.6 Sol은 65.7%, 약 75분이었습니다. 점수는 올랐고 시간은 약 47% 줄었습니다.

여기서 두 가지를 분리해서 읽어야 합니다.

첫째, 이 수치는 OpenAI가 발표한 값입니다. 벤치마크 환경과 여러분이 실제로 쓰는 한국 서비스 화면은 다릅니다. 네이버 지도나 쿠팡에서 같은 성공률이 나온다는 보장은 없습니다.

둘째, 속도 개선은 모델 하나의 힘이 아닙니다. OpenAI는 같은 발표에서 Codex 하네스(모델이 화면을 조작하는 실행 환경)도 함께 업데이트했다고 밝혔습니다. 두 개선을 합쳐 Mind2Web 기준 1.9배 빠르다는 수치가 나옵니다.

그래서 직접 돌려봤습니다. 가상의 K-beauty 스타트업 마케터가 톤업 선크림 출시 전 조사와 시안 제작을 한다는 시나리오였습니다. 아래는 그 한 번의 실행 기록입니다. 벤치마크가 아니라 한 계정에서 한 번 돌려본 결과라는 점을 전제로 봐 주십시오.

화면을 조작한 네 작업을 합치면 약 68분입니다. 사람이 직접 했다면 비슷하거나 더 걸렸을 일들이고, 그 시간 동안 다른 일을 할 수 있었습니다. 이전 세대와 가장 다른 점은 조작 화면이 별도 팝업 창으로 뜬다는 것이었습니다. 예전에는 AI가 내 화면을 점유해서 그 동안 컴퓨터를 쓸 수 없었습니다.

사용량은 시작 68%에서 끝나고 63%가 됐습니다. 주간 한도 기준 약 5%입니다. Pro 플랜 기준이라 Plus 플랜에서는 체감이 다를 수 있습니다. 이 부분은 뒤에서 다시 다룹니다.

켤 곳과 끌 곳을 고르는 네 가지 질문

여섯 업무를 고를 때 쓴 필터입니다. 네 질문에 전부 "예"가 나오는 업무만 컴퓨터 유즈 후보로 남겼습니다.

이 필터에 여섯 업무를 넣어 보면 이렇습니다.

• 네이버 지도 저장 리스트: 지역 검색 API는 있지만 저장 리스트를 만드는 공개 API는 확인하지 못했습니다. 저장은 화면에서 해야 합니다. 통과.
• 쿠팡 검색 화면: 개발자 센터는 판매자용 API 중심이고, 일반 소비자 검색 결과를 가져오는 공개 API는 확인하지 못했습니다. 노출 순서와 광고 여부는 눈으로 봐야 합니다. 통과.
• 인스타그램 계정 탐색: 공식 해시태그 API는 비즈니스 계정, Facebook 로그인, 앱 심사 조건이 붙고 7일에 30개 해시태그 제한이 있습니다. 사람이 앱에서 검색하며 훑는 것과 같은 일을 하지 못합니다. 통과.
• 핀터레스트 비주얼 조사: 파트너용 검색 API는 베타이고 모든 앱에 열려 있지 않습니다. 비주얼 판단은 화면을 봐야 합니다. 통과.
• 시안 3장과 HTML 보드: 화면을 볼 필요가 없습니다. 이미지 생성과 파일 작성은 전문 도구가 맡습니다. 컴퓨터 유즈 끔.
• 카카오톡 전달: 메시지 API는 "나에게 보내기"와 조건이 붙은 "친구에게 보내기" 중심이고, 기존 단체방에 올리는 공개 경로는 확인하지 못했습니다. 통과. 단, 보내는 순간은 사람이 확인합니다.

⚠ 네 질문을 다 통과해도 예외 없이 적용하는 규칙이 하나 있습니다. 되돌릴 수 없는 마지막 동작은 사람이 확인한 뒤에 실행합니다. 저장, 전송, 결제, 예약, 게시가 여기 들어갑니다. 공식 문서도 계정·결제·권한 관련 설정은 사람이 곁에 있으라고 안내합니다. 이번 실행에서 카카오톡 전송은 테스트용 팀 대화방을 따로 만들어 진행했고, 전송 뒤 대화방 이름과 올라간 메시지를 화면에서 다시 읽어 확인했습니다.

프롬프트에 꼭 들어가야 했던 것

컴퓨터 유즈 프롬프트는 일반 채팅보다 길어집니다. 대신 매번 새로 쓰는 것이 아니라 뼈대가 같습니다. OpenAI 공식 가이드는 좋은 프롬프트의 네 요소로 목표, 맥락, 제약, 완료 조건을 꼽습니다. 여기에 화면 작업 특성상 두 가지를 더 넣었습니다. 무엇을 어디에 저장할지, 그리고 끝나고 무엇을 다시 열어 확인할지입니다.

쿠팡 단계 프롬프트를 뼈대만 남기면 이렇습니다.

컴퓨터 유즈를 사용해서 Chrome에서 쿠팡 검색 화면을 조작해줘.

목표
톤업 선크림 경쟁 상품이 온라인 매대에서 어떻게 보이는지 파악한다.

대상 앱·화면
Chrome 브라우저 한 흐름. 쿠팡 검색 결과 첫 화면만 본다.

결과물
research/02-coupang-shelf.xlsx 에 관찰 표를 저장한다.
열은 노출 순서, 광고 여부, 브랜드/제품, 용량, 가격, 평점, 리뷰 수, URL, 관찰 시각.
research/02-coupang-insight.md 에 가격대와 반복되는 표현 패턴을 요약한다.

기록 기준
첫 화면에 보이는 상품 카드 최대 20개만 관찰한다.
광고·스폰서 노출과 일반 노출을 반드시 분리해서 표기한다.
화면에서 안 보이는 값은 "확인 불가"로 적는다. 추정하지 않는다.
사람이 보는 화면 그대로 조작한다. 대량 자동 수집은 하지 않는다.

완료 조건
최대 20행 표와 요약 파일이 저장되어 있고, 각 행에 광고 여부와 관찰 시각이 있다.

검증
저장한 엑셀의 각 행을 화면과 다시 대조한다.

요소별로 왜 필요했는지 짚어 봅니다.

대상 앱·화면을 한 곳으로 좁힙니다. 공식 문서는 한 번에 하나의 앱이나 흐름만 주라고 권합니다. "쿠팡과 네이버쇼핑을 둘 다 보고 비교해줘"라고 하면 창을 오가며 시간이 늘고 어느 화면 값인지 섞입니다.

결과물은 파일로 받습니다. 화면에서 읽은 값은 시간이 지나면 달라집니다. 채팅창에 답만 받으면 다음 주에 다시 볼 수 없습니다. 엑셀이나 마크다운 파일로 받고, 각 행에 출처 URL과 관찰 시각을 같이 남기게 합니다.

"안 보이면 확인 불가"를 명시합니다. 이 한 줄이 가장 효과가 컸습니다. 인스타그램은 좋아요 수를 숨긴 계정이 많습니다. 이 규칙이 없으면 AI가 0이나 그럴듯한 값을 채워 넣을 수 있습니다. 평균 좋아요를 계산할 때도 실제로 보이는 게시물만 분모로 쓰고 그 개수를 함께 적게 했습니다.

끝나면 다시 열어보게 합니다. 핀터레스트 단계에서 이 항목이 실제로 작동했습니다. 엑셀에 썸네일 이미지를 넣으라고 했는데, AI가 미리보기에서는 썸네일이 표시되지 않는 것을 보고 실제 엑셀 프로그램을 열어 확인하는 장면이 나왔습니다. 검증 항목을 넣지 않았다면 "저장했습니다"로 끝났을 것입니다.

빠진 정보는 물어오게 둡니다. 시안 생성 단계에서 제품 브리프를 따로 주지 않았습니다. Astra는 작업을 시작하기 전에 용량과 SPF 수치를 물어왔습니다. OpenAI는 이번 모델이 결과를 바꿀 수 있는 정보가 빠졌을 때만 질문하고, 사소한 빈칸은 합리적으로 가정한다고 설명합니다. 단계마다 확인을 받으면 자동화가 아니라 수동 작업이 되니, "결과가 달라지는 값이 비었을 때만 한 번 물어라"고 적어 두는 편이 낫습니다.

💡 프롬프트는 한 번 만들면 검색어와 파일명만 바꿔 다시 씁니다. 위 뼈대에서 톤업 선크림을 여러분 제품으로, 쿠팡을 여러분이 보는 매대로 바꾸면 됩니다. 처음 한 번은 길게 써 두는 것이 이후 다섯 번을 짧게 만듭니다.

결과를 믿기 전에 사람이 확인한 것

화면을 읽어 만든 결과는 두 가지 이유로 틀릴 수 있습니다. AI가 잘못 읽었거나, 화면 자체가 그 시점에만 그렇게 보였거나입니다. 그래서 각 단계 결과를 받은 뒤 아래를 확인했습니다.

표현도 조심했습니다. 쿠팡 결과를 "판매순위 Top 20"이라고 부르지 않았습니다. 이 계정, 이 검색어, 이 시점에서 관찰한 상위 노출 상품입니다. 인스타그램 후보도 "성과 좋은 인플루언서"가 아니라 공개 화면에서 캠페인 적합성을 검토할 후보입니다. 화면에서 읽은 값은 그 시점의 표시값일 뿐이라는 점을 파일 이름과 열 이름에도 남겼습니다.

한 가지 더 있습니다. 차단 화면이나 CAPTCHA가 나오면 우회하지 않고 멈춥니다. 컴퓨터 유즈는 사람이 브라우저에서 직접 보는 것과 같은 수준의 저빈도 조사에만 씁니다. 프록시를 돌리거나 대량으로 반복 수집하는 용도가 아닙니다. 이번 실행에서 차단은 없었지만, 프롬프트에 "대량 자동 수집은 하지 않는다"를 미리 넣어 두었습니다.

사용량과 추론 강도, 어떻게 잡을까

여섯 작업을 마치고 사용량이 5% 줄었다고 앞서 적었습니다. 이 숫자를 그대로 믿기보다 어떻게 읽어야 하는지가 중요합니다.

OpenAI 공식 문서는 사용량이 모델 선택, 문맥 길이, 추론 강도, 도구 사용, 검색, 캐싱에 따라 달라진다고 설명합니다. 프롬프트 길이만으로는 예측할 수 없다는 뜻입니다. 컴퓨터 유즈는 스크린샷을 반복해서 읽기 때문에 문맥이 빠르게 쌓입니다. 같은 작업이라도 화면이 복잡하거나 스크롤이 길면 더 씁니다.

그래서 추론 강도를 작업마다 다르게 잡았습니다.

공식 가이드도 같은 방향입니다. 범위가 명확하고 빠른 작업은 낮게, 복잡한 변경이나 디버깅은 medium이나 high, 길고 에이전트형인 작업은 extra high를 권합니다. 화면 작업 대부분은 medium으로 충분했습니다. 분류 기준을 스스로 적용해야 하는 인스타그램 단계만 high가 필요했습니다.

Plus 플랜(월 20달러)을 쓰는 분은 사용량이 더 민감하게 느껴질 것입니다. 이럴 때는 두 가지를 권합니다. 첫째, 네 가지 질문 필터를 더 엄격하게 적용해 화면을 봐야만 되는 작업만 남깁니다. 둘째, 한 번 잘 돌아간 프롬프트를 스킬로 굳힌 뒤 더 작은 모델로도 되는지 시험합니다. OpenAI는 Terra나 Luna로 바꾸면 사용 한도를 더 오래 쓸 수 있다고 안내합니다. 단, 화면 판독 정확도가 유지되는지는 직접 확인해야 합니다.

반복할 일이면 스킬로 굳힙니다

캠페인마다 같은 조사를 반복한다면, 이번에 쓴 프롬프트 여섯 개를 스킬로 만들어 둘 수 있습니다. 스킬은 ChatGPT와 Codex가 특정 작업을 할 때 따르는 재사용 가능한 작업 설명서입니다. 공식 문서는 세 가지 방법을 안내합니다.

스킬이 되면 제품명과 검색어만 바꿔 같은 기준으로 조사를 다시 돌릴 수 있습니다. 광고 분리, 확인 불가 표기, 파일 구조 같은 기준이 매번 같아집니다.

다만 오해하기 쉬운 점이 하나 있습니다. 스킬을 만들어도 화면 조작이 사라지지 않습니다. 스킬은 "어떻게 볼지"를 고정할 뿐, 네이버 지도나 쿠팡 화면을 읽는 일은 여전히 컴퓨터 유즈가 합니다. 시간이 0이 되는 것이 아니라, 매번 프롬프트를 다시 쓰고 기준을 다시 설명하는 시간이 사라지는 것입니다.

스킬로 만든 뒤 사람이 손봐야 하는 부분은 별도 글에서 정리했습니다. 고정값을 변수로 바꾸고, 숫자를 검산하고, 빈칸을 상상으로 채우지 않게 하는 작업입니다.

시작하기 전에 준비할 것

처음 써 보는 분을 위한 순서입니다.

1. 환경 확인. ChatGPT 데스크톱 앱(macOS 또는 Windows)에서 컴퓨터 유즈를 켭니다. macOS는 화면 기록과 손쉬운 사용 권한을 허용해야 합니다. Windows는 대상 앱이 화면에 보여야 하고 작업 중 전경을 차지합니다.
2. 로그인은 사람이 먼저. 네이버, 인스타그램, 핀터레스트, 카카오톡은 미리 로그인해 둡니다. 컴퓨터 유즈는 관리자 인증이나 보안 권한 팝업을 대신 승인하지 못합니다.
3. 민감한 앱은 닫아 둡니다. 공식 문서 권고입니다. 작업에 필요하지 않은 은행 앱, 관리자 화면은 닫고 시작합니다.
4. 첫 작업은 되돌릴 수 있는 것으로. 검색해서 표로 정리하는 일부터 시작합니다. 저장·전송이 들어가는 작업은 프롬프트에 "전송 전 대상과 문구를 보여달라"를 넣고, 결과를 눈으로 확인한 뒤 진행합니다.
5. 끝나면 파일을 직접 엽니다. AI의 "완료했습니다"가 아니라 저장된 파일과 화면을 보고 판단합니다.

🎯 여러분 업무 중에 "API도 연동도 없어서 결국 내가 화면을 열었어야 했던 일"이 하나쯤 있을 것입니다. 그 일을 네 가지 질문에 넣어 보십시오. 네 개 다 "예"라면, 위 프롬프트 뼈대에 검색어와 파일명만 바꿔 한 번 돌려 보십시오. 걸린 시간과 사용량을 적어 두면 두 번째부터는 켤지 끌지 바로 판단할 수 있습니다.

참고 자료 및 출처

OpenAI 문서는 영어로 제공됩니다. 원문 링크를 ChatGPT나 Claude에 붙여 넣고 "한국어로 요약해 줘"라고 요청하면 핵심을 빠르게 확인할 수 있습니다.