GitHub Copilot computer useで古い業務ソフトを動かす前に読む話

研修の場でよく出る相談があります。何社かで聞いた話を、総務担当の佐藤さん(仮名)との会話にまとめるとこうなります。

佐藤さん「毎朝、古い販売管理ソフトから数字を拾ってExcelに貼っているんです。ソフトの会社に聞いたら、外から操作する仕組みは無いと言われて」

API(ほかのソフトから操作するための公式の出入り口)もない、コマンドで動かす方法もない。画面を人が見て、クリックして、コピーするしかないソフトです。こういうソフト、職場にひとつはありませんか。

10月1日にGitHubが出した機能を、10月8日時点の公式情報で確かめます。

「画面を見て操作するAI」が出たと聞いて

筆者「GitHub Copilotに、デスクトップのアプリを人の代わりに操作する機能が入ったんですよ。computer useといいます」

GitHub Copilotは、GitHubが出しているAIの開発支援ツールです。今回の機能は公開プレビュー(正式版の前に試せる段階)で、macOSとWindowsの手元のパソコンで動かすセッションに限り、Copilot CLI(ターミナルという文字で操作する黒い画面で動かす版)とGitHub Copilotアプリで使えます。慣れていない人はアプリのほうが始めやすいです。

GitHub Copilot can now interact with desktop apps with computer use(GitHub Changelog・英語)

github.blog

できる操作は、画面の読み取り、クリック、文字の入力と修正、キー操作、スクロール、ドラッグ、複数アプリをまたぐ手順です。

発表文は、API、コマンド、MCP連携(AIに外部サービスをつなぐ共通の方式)のどれも持たない古いソフトの作業も自動化の対象に広がる、としています。佐藤さんの販売管理ソフトは、まさにこれです。

昔、画面操作の自動化で痛い目を見た

佐藤さん「でも、そういうのって前にRPA(パソコン操作を記録して自動で繰り返すツール)で試して挫折したんですよね」

私も数年前、画面の座標を記録して再生するツールで請求書の転記を組みました。ソフトの更新でボタンの位置が少しずれただけで、全部止まりました。

GitHub Copilot computer useは座標の再生ではなく、AIがその都度画面を見て判断します。ただ、公式ドキュメントも弱点をはっきり書いています。画面がバージョンやOSで違うと失敗する、違うボタンや入力欄を選ぶ、動きのある画面が苦手、タイミングで結果がぶれる。

About computer use(GitHub Docs・英語)

docs.github.com

APIやコマンドで直接できる作業ならそちらのほうが安定する、ともあります。画面操作は他に手段が無いときの最後の手段です。

動かすまでの手順

佐藤さん「で、どうやって始めるんですか」

必要なのはGitHubのアカウントと、GitHub Copilotの契約です。公式のプラン表では、無料のCopilot Freeを含むすべてのプランにCopilot CLIとCopilotアプリが入っています。ただしcomputer useの対象プランは、10月8日時点の発表とドキュメントに書かれていません。

Plans for GitHub Copilot(GitHub Docs・英語)

docs.github.com

Copilot CLIは、ターミナルで copilot と打つと起動し、初回は /login でGitHubにサインインします。その会話の画面(セッション)でこう打ちます。

/computer on

状態を見るのは /computer show、止めるのは /computer off です。

GitHub Copilotアプリなら、設定を開いてComputer Useを選び、Enable Computer Useをオンにします。アプリの中でも /computer on が使えます。

Using computer use in the GitHub Copilot app(GitHub Docs・英語)

docs.github.com

macOSでは「アクセシビリティ」と「画面収録」の許可を、案内に沿って与えます。

頼むときは欲しい結果、使うアプリ、守ってほしい条件を伝えるとうまくいく、と公式は書いています。たとえば「販売管理ソフトの日次売上画面から、店舗別の合計をExcelの今日の行に入れる。ソフトの数値は書き換えない」のような形です。

承認と組織設定、ここは飛ばさない

佐藤さん「勝手に変な操作をされたら怖いんですけど」

Copilotは既定でアプリを操作する前に承認を求めます(アプリ版ではTool Permissionsの設定に従います)。選べるのは、今回のセッションだけ許可する、そのアプリを常に許可する、断る、の3つ。常に許可した内容は手元のパソコンに保存され、同じパソコンのCLIとアプリの両方に効きます。一覧から外すこともできますが、すでに動いているセッションで与えた許可までは取り消されません。

操作中に止めたいときは、Copilot CLIならEscキーを2回、アプリならStopを押すかEscキーです。

公式ドキュメントの注意書きは、かなり具体的です。