# OpenAI CodexがMacで「自分の手」を手に入れた——画面を見て、クリックして

何が起きたか

# OpenAI CodexがMacで「自分の手」を手に入れた——画面を見て、クリックして、開発を自動化する新機能 AIがコードを書くだけの時代は終わったのかもしれない。 OpenAIが4月16日、AIコーディングエージェント「Codex」の大型アップデートを発表した。

最大の目玉は、Mac上でデスクトップアプリを自律的に操作できるようになったことだ。 AIが独自のカーソルを動かし、画面を見て、クリックし、タイピングする。 開発者は見ているだけでいい（というと大袈裟だが、かなり近い）。

画面を見て動く「Computer Use」とは 「Computer Use」——直訳すると「コンピュータの使用」——は、AIが人間と同じようにコンピュータを操作する機能だ。CodexはMacの画面を認識し、自分専用のカーソルでアプリを操作できる。 具体的にどういうことか。例えば、開発者が「このアプリのテストを実行して」と指示すると、Codexはターミナルを開き、コマンドを入力し、結果を確認する。フロントエンドの変更を繰り返しテストする場合も、Codexがブラウザを開いてスクリーンショットを撮り、修正が必要かどうかを判断する。 ここが面白いのだが、Codexは複数のエージェントを並列実行できる。つまり、あるエージェントがテストを実行している間に、別のエージェントがドキュメントを書いている——といったことが可能だ。しかも、ユーザーが自分の作業をしている間も、バックグラウンドで動作する。自分のカーソルとCodexのカーソルが競合することはない（これは地味に嬉しい配慮だ）。 OpenAIは、この機能が「アプリのテスト」「フロントエンド変更の反復」「ユーザーフローの確認」などに役立つとしている。要するに、定型的な操作をAIに任せられるわけだ。

AIが「あなた」を覚える——メモリ機能と自動化 Codexは、ユーザーの好みや作業パターンを記憶できるようになった。使用している技術スタック、頻繁に行うワークフロー、個人的なコーディング規約——これらを覚えておき、次回の作業に反映する。 例えば、「うちはTypeScriptで、テストはJestを使って、コミットメッセージは日本語で書く」というルールがあれば、Codexはそれを毎回指示されることなく実行する。正直なところ、この手の「コンテキストを覚えてくれる」機能は、あるとないとで生産性が段違いになる。毎回同じ説明をしなくて済むからだ。 自動化も強化された。Codexは会話スレッドを使って、一時停止した作業を再開できる。「明日続きをやって」と指示すれば、翌日同じ文脈で作業を継続する。さらに、将来の作業をスケジュールすることも可能だ。「来週の月曜日にこのタスクを進めて」と言っておけば、指定した日にCodexが勝手に動き出す（少し不気味でもあるが）。 また、Codexはプロジェクトの文脈、メモリ、接続されたプラグインから情報を収集し、「次はこれをやるべきでは？」と作業を提案する機能も追加された。AI側から能動的に動くようになったわけだ。

アプリ内ブラウザと画像生成——視覚的な作業もサポート Codexにはアプリ内ブラウザが搭載された。ユーザーはブラウザ上のページに直接コメントを残し、AIにより精密な指示を出せる。「このボタンの色を変えて」という指示も、具体的な位置を示しながら伝えられるわけだ。 将来的には、このブラウザ機能がさらに拡張される予定だ。Webサイトを開き、ユーザーフローをたどり、スクリーンショットを撮り、出力を検査する——つまり、WebアプリのE2Eテスト（End-to-Endテスト、最初から最後までの動作確認）をAIが自律的に実行できるようになる。 画像生成機能も追加された。Codexは「gpt-image-1.5」を使って、アプリ内で画像を生成できる。製品コンセプトのビジュアルやモックアップを作成するのに役立つという。コードだけでなく、プレゼン資料やプロトタイプの画像もAIに任せられる時代になったわけだ。

90以上の新プラグインと細かな改善 Codexには90以上の新しいプラグインが追加された。これらは「スキル」「アプリ統合」「MCPサーバー（Model Context Protocol、AIモデルと外部ツールを接続するプロトコル）」を組み合わせ、Codexの文脈収集能力とアクション能力を拡張する。 要するに、外部ツールとの連携が大幅に強化されたということだ。GitHub、Jira、Slack——開発者が日常的に使うツールとCodexが直接やり取りできるようになれば、コピペやコンテキスト切り替えの手間が減る。 その他、以下の改善も行われた：

• 複数のターミナルタブをサポート - GitHubのレビューコメントに対応 - PDFやスプレッドシートなどのドキュメントをサイドバーでリッチプレビュー これらは地味だが、実際の開発現場では嬉しい改善だ。ターミナルを何個も開いて作業するのは日常茶飯事だし、GitHubのレビューコメントを行き来するのも面倒な作業の一つだ。

日本のユーザーにどう関係するか このアップデートは本日からCodexデスクトップユーザーに順次ロールアウトされている。<a href="https://www.amazon.co.jp/s?k=ChatGPT+#+OpenAI+CodexがMacで「自分の手」を手に入れた——画面を見て、クリックして&tag=None" rel="nofollow noopener sponsored" target="_blank" class="affiliate-link" data-platform="amazon">ChatGPT</a>アカウントでサインインすれば利用可能だ。 ただし、いくつかの制限がある。パーソナライゼーション機能（メモリなど）は、Enterprise、Education、EU、UKのユーザーにはまだ提供されていない。また、「Computer Use」機能もEUとUKでは利用できない。 日本のユーザーはどうなるか。現時点では、日本は制限対象地域に含まれていない。つまり、ChatGPTアカウントを持っていれば、本日から新機能を試せる可能性が高い（ただし、ロールアウトは段階的なので、すぐに反映されない場合もある）。

つまりどういうことか OpenAIはCodexを「コードを書くAI」から「開発作業を代行するAI」へと進化させた。画面を見て、アプリを操作し、作業を記憶し、スケジュールを組む——もはや単なるコード生成ツールではない。 もちろん、過度な期待は禁物だ。AIが完全に自律的に動くようになっても、人間が確認し、修正し、判断するプロセスは残る。ただ、定型的な作業の多くをAIに任せられるようになれば、開発者はより本質的な問題に時間を使えるようになる。 個人的には、Computer Useが実用レベルでどこまで使えるのかが気になる。AIがカーソルを動かして操作する——というのは、理屈では便利だが、実際には誤操作や予期せぬ挙動もありそうだからだ。とはいえ、この方向性自体は間違いないだろう。AIが人間の作業を代行する範囲は、確実に広がっている。 あとは、EUやUKでComputer Useが使えない理由が気になるところだ。規制上の懸念なのか、技術的な問題なのか。このあたりは今後の報告を待ちたい。

背景

AI分野では新機能の発表そのものよりも、どの業務に使えるのか、既存のワークフローにどう組み込めるのかが評価を左右する。今回の発表も、性能だけでなく実運用での使い勝手まで見ておく必要がある。

重要なポイント

読者にとっての論点は、機能の新しさよりも導入判断に値する差があるかどうかだ。企業や開発者にとっては、既存ツールとの競合や置き換え余地まで含めて見ていく必要がある。

今後の焦点

続報では、提供条件、料金体系、既存モデルとの差、実際の利用例がどこまで示されるかを確認したい。