メモ
コンピューターの使用はパブリック プレビュー中であり、変更される可能性があります。
コンピューターの使用について
Copilot は、アクセス可能なアプリケーション コンテンツとビジュアル コンテキストの読み取り、コントロールのクリック、テキストの入力と編集、キーの押下、スクロール、ドラッグ、およびアプリケーション間のワークフローの移動によって、ユーザーに代わってデスクトップ アプリケーションと対話できます。
コンピューターの使用は、GitHub Copilot CLIおよび macOS と Windows のGitHub Copilot appで利用できます。
Copilot は、可能な限りバックグラウンドでアプリケーションと連携するため、他のアプリケーションで作業を続けることができます。
コンピューターの使用により、API、コマンドライン インターフェイス、または MCP 統合を提供しないレガシー ソフトウェアや GUI のみのソフトウェア内のワークフローを含め、Copilot が自動化できるタスクの範囲が広がります。
コンピューターの使用は、次のようなタスクを完了するのに役立ちます。
- 従来のデスクトップ アプリケーションでの情報の確認と要約。
- プレゼンテーション内の内容の更新
- GUI 専用ソフトウェアでの情報の入力または更新。
- マルチステップ ワークフローの一部としてアプリケーション間で情報を移動する。
ヒント
コンピューターの使用は、ビジュアル インターフェイスとの対話を必要とするタスク用に設計されています。 API、MCP サーバー、ターミナル コマンド、ファイルシステム ツール、または専用ブラウザーツールでタスクを直接実行できる場合、通常は、それらのツールの方が、より構造化された情報と予測可能な結果を提供します。
Capabilities
有効にすると、コンピューターの使用により Copilot が次のことを実行できるようになります。
- ビジュアル コンテキストが必要な場合は、オペレーティング システムのアクセシビリティ ツリーまたはスクリーンショットを使用して、アクセス可能なアプリケーションのコンテンツとビジュアル コンテキストを読み取れます。
- コントロールをクリック。
- テキストを入力および編集します。
- キーを押し、スクロールし、項目をドラッグします。
- アプリケーション間でワークフロー間を移動します。
エージェントは、プロンプトに沿って処理を進める中で、これらのツールを選択します。 セッションでツールのアクティビティを確認できます。
コンピューター使用アクセスの制御
既定では、コンピューター利用は無効になっています。 エージェントがツールを使用するには、その前に有効にする必要があります。
コンピューターの使用可否は、セッションが実行されている Copilot サーフェスのツールのアクセス許可設定に従います。 これらの設定では、Copilot がデスクトップ アプリケーションを制御する前に承認を求めるかどうかを指定します。 サーフェスごとにツールの権限設定を変更できます。 アプリケーションへのアクセスの承認を求められたら、現在のセッションについてアクセスを許可したり、今後のセッションの承認を保存したり、アクセスを拒否したりできます。
特定のアプリケーションに対して常に許可を選択した場合、Copilotはその決定をローカルに保存します。 決定は、同じコンピューター上の GitHub Copilot CLI と GitHub Copilot app の両方に適用されます。 アプリでは、常に許可されているアプリの一覧を確認し、個別の許可を削除できます。 アプリケーションを削除すると、アプリと CLI の両方で、そのアプリケーションに対して今後のセッション用に保存されている承認が削除されます。 進行中のセッションですでに付与されているアクセスは取り消されません。
ツールの使用を拒否するアクセス許可ルールは、自動承認または保存された承認よりも優先されます。
エンタープライズ管理者は、管理設定を使用してコンピューターの使用を無効にすることができます。 ローカルでのコンピューターの使用を有効にしても、エンタープライズ ポリシーは無効になりません。 構成の詳細については、エンタープライズ管理設定を参照してください。
コンピューターの動作が予期せず不安定になった場合、実行中の操作を中断できます。 GitHub Copilot CLIで、Esc キーを 2 回押します。 GitHub Copilot appで[停止]をクリックするか、Esc キーを押します。
macOS では、Computer Use により、次の許可の付与手順が案内されます。
- アプリケーションのコントロールを操作するためのアクセシビリティ権限。
- 視覚的なコンテキストが必要な場合にアプリケーションウインドウを調べるための画面収録の許可。
制限事項とリスク
コンピューター操作は、アプリケーションのバージョン、オペレーティング システム、ウィンドウの状態によって変化するインターフェイスを解釈します。 間違ったコントロールを選択したり、間違った場所にテキストを入力したり、標準以外のコントロールや動的コントロールや複雑なワークフローで問題が発生したりする可能性があります。 タイミングやウィンドウの状態の変化により、異なる結果が生じたり、コンピューターの使用時に同じ操作が繰り返されたり、操作を続行できなくなることがあります。
警告
コンピューターを使用すると、デスクトップ アプリケーション間の対話を自動化できますが、セキュリティ リスクも発生します。 あいまいな指示や画面上に表示された予期しない内容により、デバイス、データ、または接続されたアカウントに影響を及ぼす意図しない操作が行われるおそれがあります。これには、個人、金融、またはエンタープライズ システムへのアクセスも含まれます。 コンピューターの使用は人間の判断に代わるものではありません。 特に、データを変更したり他の人に影響を与えたりする操作を許可する前に、対象アプリケーション、要求されている権限、および結果を確認してください。
アプリケーション ウィンドウには、他のユーザーに関する情報を含む機密情報が表示される場合があります。 コンピューターの使用は、目に見えるコンテンツを Copilot のコンテキストとして提供してもよいと思えるアプリケーションやタスクのみにしてください。
[常に許可] をアプリケーションに対して選択した場合、その後のコンピューター使用操作で、再度確認を求められることなく制御できます。 機密情報を含むアプリケーションや影響の大きいアクションをサポートするアプリケーションには、常に許可 を選択しないでください。
責任ある使用に関する包括的な情報については、アプリケーション カード: GitHub Copilot エージェント を参照してください。
次のステップ
コンピューターの使用を有効にして使用するには、次を参照してください。