「Yahooニュースのトップ見出しを3つ読み上げて」——この程度のタスクなら簡単に見えます。しかし実際に実行したところ、16ステップで打ち切りとなり、見出しの抽出に到達しませんでした。
この検証では、OpenAIのComputer Useを実機で動かし、初手の指示設計がどれだけ結果を左右するかを確認しました。
この検証の概要
検証時期 | 2026年5月27日〜28日 |
|---|---|
対象 | OpenAI Computer Use（3系統の提供形態） |
実行環境 | Dockerコンテナ + VNC可視化 |
結果 | ループ機構は安定動作。ただし初回タスクは失敗 |
提供状況 | チャットUI版はGA（3社中唯一） |
結論：動くことと、意図どおり動くことは別
実機で確認できたことを、順に整理します。
ステップ実行・スクリーンショット取得・座標クリック・タイピング・スクロール・ドラッグはすべて基本動作しました。ループ機構（screenshot → action → screenshot の往復）も安定しています。
つまり仕組みとしては問題なく動いています。それでもタスクは失敗しました。
失敗の原因
- デフォルトの開始URLが検索エンジンで、検索ステップから始まる必要があった
- 検索語を誤訳し、結果ページで迷子になった
- 「読み上げて」という指示が画面操作系モデルには曖昧で、要約・抽出のどちらをすべきか判断できなかった疑い
3つ目が本質的です。人間には自然な言い回しでも、操作を実行するモデルにとっては何をすべきか特定できません。「読み上げる」は音声出力なのか、テキスト抽出なのか、要約なのか。
対策は明確です。URLを直接指定し、タスク指示を抽出系の語彙で書けば実用範囲に乗るという感触が得られています。
ニュース系の素朴な見出し取得タスクでさえ、初手の指示設計が結果を大きく左右します。
デバッグにはVNC可視化が効く
実行環境の構成で有効だった点です。
VNC経由でブラウザ操作の様子をリアルタイムに可視化でき、デバッグが容易でした。
「なぜ失敗したか」は、ログだけでは分かりません。実際にどこをクリックし、どのページに迷い込んだかを目で見られると、原因の特定が速くなります。
接続時の注意点も記録されています。生のVNCプロトコル用ポートはブラウザでは開けません。ブラウザから見る場合はnoVNC用のポートを使う必要があります。
3系統の提供形態
OpenAIは他社と異なり、複数の入り口を用意しています。
形態 | 内容 | 対象 |
|---|---|---|
チャットUI上のエージェント | ビジュアル/テキストブラウザ・ターミナル・API | エンドユーザー（ノーコード） |
API の | 開発者がVM等を用意し、スクリーンショット→アクションのループを実装 | 開発者 |
デスクトップアプリ（macOS） | macOS GUIを操作 | 開発者・パワーユーザー |
コンシューマ向けの面が唯一GAに到達している点が、3社比較での明確な優位性です。
他社はAPI経由が前提で、エンドユーザーがそのまま使える形にはなっていません。
サンドボックス連携がSDKにネイティブ実装
開発者向けの特徴です。
Agents SDKが外部サンドボックスをネイティブサポートしています（2026年4月の更新）。複数のサンドボックスサービスに対応しています。
Computer Useを安全に動かすには隔離環境が必須ですが、その環境の用意がSDK側で用意されているかどうかは、実装コストに直結します。
安全設計：確認要求のリコール率
公式が示している数値です。
High-risk actionのゲーティングにおいて、確認要求のリコール率は92%とされています。
つまり危険な操作の92%は確認を求めるということです。裏を返せば、8%は確認なしで通る可能性があるとも読めます。
「確認フローがあるから安全」ではなく、「確認フローがあっても隔離環境で動かす」という設計が必要です。
料金と利用制限
項目 | 内容 |
|---|---|
モデル料金 | $2.50〜$5.00 / 入力1M、$15.00〜$30.00 / 出力1M（モデルによる） |
専用モデル | 入力 $3.00 / 出力 $12.00 per 1M |
チャットUI版のメッセージ数 | 上位プランで月400、その他有料プランで月40 |
メッセージ数の制限は無視できません。月40メッセージでは、業務での継続利用は難しい水準です。本格的に使うならAPI経由になります。
懸念点
- 専用モデルが2026年7月23日に廃止予定で、移行が必要
- 同時実行・タイムアウト・per-tool-call料金の具体数値が公式に不明
- デスクトップアプリのComputer Useは一部地域が対象外（EEA / UK / スイス除外、macOS限定）
1つ目は導入判断に直結します。廃止予定のモデルを前提に実装すると、移行作業が確定します。新規で始めるなら、後継の構成を選ぶべきです。
3社の中での位置づけ
項目 | OpenAI | Anthropic | |
|---|---|---|---|
機能範囲 | チャットUI＋API＋デスクトップで広域 | デスクトップ全般 | ブラウザ＋Android |
コスト（入/出 per 1M） | $2.50 / $15 | $5 / $25 | $1.25〜2.50 / $10〜15 |
使いやすさ | ノーコードで使える面がある | コンテナデモ前提 | クラウド統合 |
提供状況 | チャットUI版はGA | Public Beta | Preview |
OpenAIの強みは「入り口の広さ」です。エンドユーザーから開発者まで、それぞれに合った形が用意されています。
よくある質問
簡単なタスクなら確実に動きますか？
動くとは限りません。「ニュースの見出しを3つ読み上げて」という素朴なタスクでも、16ステップで打ち切りとなりました。URLを直接指定し、抽出系の語彙で指示することが必要です。
失敗の原因はどう調べますか？
VNC経由で操作の様子をリアルタイム可視化すると特定が速くなります。ログだけでは、どこをクリックしてどう迷ったかが分かりません。
ノーコードで使えますか？
チャットUI上のエージェントが使えます（3社中唯一GA）。ただしメッセージ数に制限があり、上位プランで月400、その他有料プランで月40です。
これから実装する場合の注意点は？
専用モデルが2026年7月23日に廃止予定です。これを前提に実装すると移行作業が確定するため、後継の構成を選ぶべきです。
まとめ
- 仕組みが動くことと、意図どおり動くことは別。ループ機構は安定していたが初回タスクは失敗した
- 失敗の主因は指示の曖昧さ。「読み上げて」は操作系モデルには特定できない
- 対策はURLを直接指定し、抽出系の語彙で書く
- VNCによる可視化がデバッグを大きく助ける
- 3系統の提供形態を持ち、コンシューマ向けの面が唯一GA
- 確認要求のリコール率は92%。確認フローがあっても隔離環境は必要
- 専用モデルは2026年7月23日に廃止予定。新規実装では後継構成を選ぶ
AIに操作を任せるとき、うまくいかない原因はモデルの能力より指示の曖昧さにあることが多くあります。人間相手なら通じる言い方が、そのまま通じるとは限りません。
株式会社AI棒では、こうしたAI活用の検証を日々行い、企業の業務自動化を支援しています。ご相談はお問い合わせフォームから、継続的な伴走支援についてはAI参謀をご覧ください。