ビジョン
Claude 3および4ファミリーのモデルには、Claudeが画像を理解し分析できる新しいビジョン機能が搭載されており、マルチモーダルインタラクションのための刺激的な可能性を開きます。
このガイドでは、Claudeでの画像の扱い方について、ベストプラクティス、コード例、および留意すべき制限事項を説明します。
ビジョンの使用方法
Claudeのビジョン機能は以下の方法で利用できます:
- claude.ai。ファイルのようにして画像をアップロードするか、チャットウィンドウに画像を直接ドラッグ&ドロップします。
- Console Workbench。画像を受け付けるモデル(Claude 3および4モデルのみ)を選択すると、すべてのユーザーメッセージブロックの右上に画像を追加するボタンが表示されます。
- APIリクエスト。このガイドの例を参照してください。
アップロードする前に
基本と制限
1回のリクエストで複数の画像を含めることができます(claude.aiでは最大20枚、APIリクエストでは最大100枚)。Claudeは回答を作成する際に、提供されたすべての画像を分析します。これは画像を比較または対比する場合に役立ちます。
8000x8000 pxより大きい画像をアップロードすると、拒否されます。1つのAPIリクエストで20枚以上の画像を送信する場合、この制限は2000x2000 pxになります。
画像サイズの評価
最適なパフォーマンスを得るには、画像が大きすぎる場合はアップロード前にリサイズすることをお勧めします。画像の長辺が1568ピクセルを超える場合、または画像が約1,600トークンを超える場合、まずアスペクト比を維持したままサイズ制限内に収まるようにスケールダウンされます。
入力画像が大きすぎてリサイズが必要な場合、モデルのパフォーマンスが向上することなく、time-to-first-tokenのレイテンシが増加します。いずれかの辺が200ピクセル未満の非常に小さい画像はパフォーマンスが低下する可能性があります。
time-to-first-tokenを改善するには、画像を1.15メガピクセル以下(かつ両方の寸法で1568ピクセル以内)にリサイズすることをお勧めします。
以下は、APIが受け付ける一般的なアスペクト比の最大画像サイズで、リサイズされないものの表です。Claude Sonnet 3.7モデルでは、これらの画像は約1,600トークンを使用し、1,000枚あたり約$4.80のコストがかかります。
アスペクト比 | 画像サイズ |
---|---|
1:1 | 1092x1092 px |
3:4 | 951x1268 px |
2:3 | 896x1344 px |
9:16 | 819x1456 px |
1:2 | 784x1568 px |
画像コストの計算
Claudeへのリクエストに含める各画像は、トークン使用量にカウントされます。おおよそのコストを計算するには、おおよその画像トークン数に使用するモデルのトークンあたりの価格を掛けます。
画像のリサイズが不要な場合、次のアルゴリズムでトークン数を見積もることができます:トークン = (幅px * 高さpx)/750
以下は、Claude Sonnet 3.7のトークンあたり300万入力トークンあたり$3の価格に基づいた、APIのサイズ制限内のさまざまな画像サイズの概算トークン化とコストの例です:
画像サイズ | トークン数 | 画像あたりのコスト | 1,000枚あたりのコスト |
---|---|---|---|
200x200 px(0.04メガピクセル) | ~54 | ~$0.00016 | ~$0.16 |
1000x1000 px(1メガピクセル) | ~1334 | ~$0.004 | ~$4.00 |
1092x1092 px(1.19メガピクセル) | ~1590 | ~$0.0048 | ~$4.80 |
画像品質の確保
Claudeに画像を提供する際は、最良の結果を得るために以下の点に注意してください:
- 画像形式:サポートされている画像形式(JPEG、PNG、GIF、またはWebP)を使用してください。
- 画像の鮮明さ:画像が明確で、ぼやけたりピクセル化したりしていないことを確認してください。
- テキスト:画像に重要なテキストが含まれている場合は、読みやすく、小さすぎないことを確認してください。テキストを拡大するためだけに重要な視覚的コンテキストをトリミングしないでください。
プロンプト例
Claudeとのテキストベースのやり取りに効果的なプロンプト技術の多くは、画像ベースのプロンプトにも適用できます。
これらの例は、画像を含むベストプラクティスのプロンプト構造を示しています。
ドキュメントクエリの配置と同様に、Claudeは画像がテキストの前に来る場合に最も効果的に機能します。テキストの後や、テキストの間に配置された画像でもうまく機能しますが、ユースケースが許す場合は、画像→テキストの構造をお勧めします。
プロンプト例について
以下の例は、さまざまなプログラミング言語とアプローチを使用してClaudeのビジョン機能を使用する方法を示しています。Claudeに画像を提供する方法は3つあります:
image
コンテンツブロックでbase64エンコードされた画像として- オンラインでホストされている画像へのURL参照として
- Files API(一度アップロードして複数回使用)を使用
base64の例のプロンプトでは、これらの変数を使用しています:
以下は、base64エンコードされた画像とURL参照を使用してMessages APIリクエストに画像を含める方法の例です:
base64エンコードされた画像の例
URLベースの画像の例
Files API画像の例
繰り返し使用する画像や、エンコードのオーバーヘッドを避けたい場合は、Files APIを使用します:
詳細なコード例とパラメータの詳細については、Messages APIの例を参照してください。
制限事項
Claudeの画像理解機能は最先端ですが、いくつかの制限事項があります:
- 人物の識別:Claudeは画像内の人物を識別(つまり名前を特定)するために使用できません。そのような要求には応じません。
- 精度:Claudeは低品質、回転した、または200ピクセル未満の非常に小さい画像を解釈する際に、幻覚を見たり間違いを犯したりする可能性があります。
- 空間的推論:Claudeの空間的推論能力には限界があります。アナログ時計の文字盤の読み取りやチェスの駒の正確な位置の説明など、正確な位置特定やレイアウトを必要とするタスクでは苦戦する可能性があります。
- カウント:Claudeは画像内のオブジェクトのおおよその数を提供できますが、特に小さなオブジェクトが多数ある場合、常に正確であるとは限りません。
- AI生成画像:Claudeは画像がAI生成かどうかを知らず、質問された場合に誤った回答をする可能性があります。偽物や合成画像の検出にClaudeを頼らないでください。
- 不適切なコンテンツ:Claudeは利用規約に違反する不適切または露骨な画像を処理しません。
- ヘルスケアアプリケーション:Claudeは一般的な医療画像を分析できますが、CTやMRIなどの複雑な診断スキャンを解釈するようには設計されていません。Claudeの出力は、専門的な医学的アドバイスや診断の代わりとはなりません。
特にハイステークスなユースケースでは、Claudeの画像解釈を常に慎重に確認し検証してください。人間の監視なしに、完璧な精度や機密性の高い画像分析を必要とするタスクにClaudeを使用しないでください。
FAQ
ビジョンをさらに深く掘り下げる
Claudeを使って画像でのビルドを始める準備はできましたか?以下は役立つリソースです:
- マルチモーダルクックブック:このクックブックには、画像の使用開始と画像での最高品質のパフォーマンスを確保するためのベストプラクティス技術に関するヒントがあります。チャートの解釈と分析やフォームからのコンテンツ抽出などのタスクを実行するために、画像を使ってClaudeに効果的にプロンプトを与える方法をご覧ください。
- APIリファレンス:画像を含むAPIコールの例を含む、Messages APIのドキュメントをご覧ください。
その他のご質問がある場合は、サポートチームにお問い合わせください。また、開発者コミュニティに参加して、他のクリエイターとつながり、Anthropicの専門家からサポートを受けることもできます。