Daydreaming in Brookline, MA

RFC3507 (ICAP)読書メモ

1 はじめに

ウイルススキャンサーバーで使われる ICAP (Internet Content Adaption Protocol)の概要が知りたかったので、 RFC 3507を読んでみます。概要プラスアルファくらいまで。 https://tools.ietf.org/html/rfc3507

私の独り言をクオートでつぶやきます。

2 Abstract

ICAPは、HTTPのサービスに対して、シンプルなオブジェクトベースのcontent vectoringを提供する。

content vectoring protocol (CVP)は初耳でした。ファイヤーウォールを通過しようとするデータをフィルタリングするプロトコル、だそうです。

ICAPは、その本質としては、HTTPメッセージに"remote procedure call"を実行するためのlight weightなプロトコルである。 ICAPクライアントはICAPサーバーにHTTPメッセージを送って、何らかの変換等の処理("adaptation"という)をさせることができる。サーバーはメッセージに対して変換サービスを実施し、通常は変更されたメッセージと共にクライアントにレスポンスを返す。 通常、アダプトされるメッセージはHTTPリクエストまたはHTTPレスポンスである。

つまり、ICAPクライアントが転送したメッセージに、ICAPサーバーが手を加えて返すしかけ、ということですね。

3 ICAP Overall Operation

3.1 リクエスト修正モード

"request modificaiton" (reqmod) モードでは、ICAPクライアントはHTTPリクエストをICAPサーバーに送る。 ICAPサーバーは以下をしてもよい(may)。

  1. リクエストの修正したバージョンを送り返す。ICAPクライアントはそれから、元のサーバーにコンタクトして修正されたリクエストを処理するか、別のICAPサーバーで更に修正するために、修正されたリクエストをパイプラインしてもよい。
  2. HTTPレスポンスをリクエストに対して返す。これはエラーを返す時に使える。
  3. エラーを返す。

ICAPクライアントはこれら三つのレスポンスタイプを全て扱えなくてはならない。しかし、エラーの扱いについては多少の自由が与えられている。エラーをすぐに返す、リトライする、など。

コンテントフィルタリングのアプリケーション例を使って、この方法を説明する。 元のサーバー上にあるウェブページに対するクライアントの要求を受けた代理(surrogate)について考えてみる。

ICAPクライアントとして働くこの代理は、クライアントの要求をICAPサーバーに送り、そこでURIベースのコンテントフィルタリングを行う。 要求されたURIへのアクセスが許可されるなら、その要求はICAPクライアントに修正なしで戻される。しかしICAPサーバーが、要求されたリソースへのアクセスを許可しないなら、サーバーは以下のいずれかをしても良い:

  1. リクエストを修正し、元のURIの代わりにエラーメッセージを含むページをポイントする
  2. HTTPエラーを示す、カプセル化されたHTTPレスポンスを返す

この方法は、様々な種類のアプリケーションで使うことができる。 典型的なデータの流れは以下のようになる。

origin-server
    | /|\
    |  |
 5  |  |  4
    |  |
   \|/ |              2
ICAP-client    -------------->   ICAP-resource
(surrogate)    <--------------   on ICAP-server
    | /|\             3
    |  |
 6  |  |  1
    |  |
   \|/ |
   client
  1. クライアントはICAPクライアント(=代理)に、オリジンサーバー上にあるオブジェクトへのリクエストを行う。
  2. 代理はそのリクエストをICAPサーバーに送る
  3. ICAPサーバーは、リクエストに対するそのICAPリソースのサービスを実行し、修正されたリクエストを送るか、リクエストに対するレスポンスをICAPクライアントに返す。

もしステップ3においてリクエストを戻したら、

  1. 代理はそのリクエスト(元々のクライアントリクエストとは異なるかもしれない)をオリジンサーバーに送る
  2. オリジンサーバーはリクエストに対するレスポンスを返す
  3. 代理はそのリプライ(ICAPサーバーまたはオリジンサーバーからの)をクライアントに返す

ウイルススキャンで言うと、例えばエンドユーザーのPCがファイルサーバーにファイルをアップロードする時にスキャンするモードです。ファイルサーバーにウイルスが入らないようにする。

3.2 レスポンス修正モード

"response modificaiton" (respmod)モードでは、ICAPクライアントはHTTPレスポンスをICAPサーバーに送る。(ICAPクライアントが送るレスポンスは、普通はオリジンサーバーによって生成されたものである) ICAPサーバーはそれから以下をしても良い:

  1. 修正版のレスポンスを返す
  2. エラーを返す

レスポンス修正方式は、HTTPレスポンスをクライアントに渡す前に行う事後処理(post-processing)を意図している。例として、特殊デバイスに表示するためのHTMLフォーマッティングや、言語翻訳、ウイルスチェック等がある。典型的なデータの流れは以下のようになる。

origin-server
    | /|\
    |  |
 3  |  |  2
    |  |
   \|/ |            4
ICAP-client    -------------->   ICAP-resource
(surrogate)    <--------------   on ICAP-server
    | /|\            5
    |  |
 6  |  |  1
    |  |
   \|/ |
   client
  1. クライアントはICAPクライアント(=代理)に、オリジンサーバー上にあるオブジェクトへのリクエストを行う。
  2. 代理はそのリクエストをオリジンサーバーに送る
  3. オリジンサーバーはリクエストに対するレスポンスを返す
  4. 代理はオリジンサーバーのリプライをICAPサーバーに送る
  5. ICAPサーバーは、オリジンサーバーのリプライに対してそのICAPリソースのサービスを実行し、修正された可能性のあるリプライをICAPクライアントに返す
  6. 代理はそのリプライ(ICAPサーバーまたはオリジンサーバーからの)をクライアントに返す

こちらのモードは、ファイルサーバーにすでにウイルス付きのファイルが入ってしまっている時に、エンドユーザーのPCにそれをダウンロードできないように、水際で食い止めるのが目的。ウイルス定義ファイルの更新が間に合わないときなど、サーバーへのウイルス潜入がありえます。

4 プロトコルの説明(セマンティクス)

4.1 一般的なオペレーション

ICAPはHTTP/1.1にセマンティクスも使用法もよく似た、リクエスト/レスポンスプロトコルである。似ているが、ICAPはHTTPでは無く、HTTP上で動くアプリケーションプロトコルでも無い。例えばこれはつまり、HTTP surrogateがICAPメッセージをフォワードできないことを意味する。

ICAPはトランスポートプロトコルとしてTCP/IPを使う。デフォルトポートは1344であるが、他のポートを使っても良い。TCPフローは、ICAPクライアントが、受け身でリスニングしているICAPサーバーにinitiateする。

ICAPメッセージは、クライアントからサーバーへのリクエストと、サーバーからクライアントへのレスポンスからなる。リクエストとレスポンスは RFC 2822の一般的なメッセージフォーマットを使う。つまり、スタート行(リクエスト行またはステータス行)、ヘッダーフィールドの数("headers"としても知られる)、ヘッダーフィールドの終わりを示す空行、そしてメッセージボディーからなる。

ICAPメッセージのヘッダー行は、リクエストされているICAPリソースや、キャッシュ制御情報のようなメタデータを指定する。ICAPリクエストのメッセージボディーは、修正されようとしている(カプセル化された)HTTPメッセージを保持する。

HTTP/1.1の場合と同様、一つのトランスポートコネクションが、複数のリクエスト/レスポンスペアに対して再利用されてもよい。そのルールを具体的に言うと、複数のリクエストは、ある時点において、一つのトランスポートコネクション上にoutstandingなリクエストを一つしか許さないことで、レスポンスと対応づけられる。HTTPと同様に、複数の並列コネクションを使っても良い。

HTTPとよく似ているけどHTTPではなく、HTTP上で動く何かでもない。

4.2 ICAP URIs

全てのICAPリクエストはICAP URIを使って、サーバーから要求するICAPリソースを指定する。これは、完全なホスト名と要求するリソースのパスを両方指定する、絶対URIでなくてはならない。URIについてはRFC 2396参照。ICAPによって規定されるURIは、

icap://icap.example.net:2000/services/icap-service-1

のようになる。ICAPサーバーは全てのホスト名を認識できる必要がある。これはエイリアス、ローカルのvariations、数字表記するIPアドレスなど。

サービスの性質を変えるために、ICAPクライアントがICAPサーバーに渡したい引数は、ICAP-URIの一部として、HTTPで使われる標準的な"?"-エンコードされた引数-値のペアとして渡しても良い。例えば:

icap://icap.net/servies?mode=translate&lang=french

なるほど。HTTPのURIと同じパターンです。http/httpsの代わりにicapと書く。

4.3 ICAPヘッダー

以下のセクションでICAPメッセージで有効なヘッダーを定義する。 最初にリクエストとレスポンスに共通のヘッダーを説明する。リクエスト限定、レスポンス限定のヘッダーを次いで説明する。

ユーザー定義ヘッダー拡張を使っても良い。インターネットメールフォーマットで確立され、後にHTTPが採用した前例に適合するために、全てのユーザー定義ヘッダーは"X-"のnaming convention ("X-Extension-Header: Foo")に従う必要がある。ICAPの実装はどの"X-"ヘッダーを無視してもよい。

各ヘッダーフィールドは、name + ":" + フィールド値からなる。フィールド名は大文字、小文字の区別をしない。

”X-"ヘッダーまでHTTPと同じ。

4.3.1 リクエストとレスポンスに共通なヘッダー

全てのICAPメッセージのヘッダーは以下のディレクティブを含んでも良い:

  • Cache-Control
  • Connection
  • Date
  • Expires
  • Pragma
  • Trailer
  • Upgrade

"Transfer-Encoding"が許されないことに特に注意。ICAPボディーの特別なtransfer-encodingの条件については後述する。

Upgradeヘッダーは、HTTP/1.1にある通り、ICAPコネクションのTLSを交渉するのに使う。

ICAP特有のヘッダーは以下である。

  • Encapsulated

4.3.2 リクエストヘッダー

HTTPと同様に、ICAPリクエストはメソッド、リクエストするICAPリソースの完全なURI、ICAPバージョン文字列を含むリクエスト行で始まる必要がある。最新バージョン番号は"1.0"である。

このバージョンのICAPは3つのメソッドを定義する。

  • REQMOD - リクエスト修正のため
  • RESPMOD - レスポンス修正のため
  • OPTIONS - 構成について知るため

OPTIONSメソッドは全てのICAPサーバーが実装しなくてはならない。他のメソッドはオプションで、インプリメントしてもしなくてもよい。

REQMOD、RESPMOD片方しかサポートしていなくても(厳密には、両方サポートしていなくても)ICAPサポートと言えるのですね。

ユーザー定義の拡張メソッドを使っても良い。拡張メソッドを使おうとする前に、ICAPクライアントはOPTIONSメソッドを使って、ICAPサーバーがサポートするメソッドのリストを問い合わせるべき。(ICAPサーバーが未知のメソッドを受け取ったら、次のセクションで示すように501エラーを返さなくてはならない。)

前に説明したURIルールの通り、正しいICAPリクエスト行は以下の例のようになる。

RESPMOD icap://icap.example.net/translate?mode=french ICAP/1.0

いくつものリクエスト特有ヘッダーがICAPリクエストにおいて使え、これは対応するHTTPリクエストヘッダーのセマンティクスと同じである。これらは、

  • Authorization
  • Allow
  • From
  • Host (REQUIRED in ICAP as it is in HTTP/1.1)
  • Referer
  • User-Agent

HTTPライクなヘッダーに加え、ICAP特有のリクエストヘッダーもある。

  • Preview

4.3.3 レスポンスヘッダー

ICAPのレスポンスは、フォーマットがHTTPによく似た、ICAPバージョンとステータスコードを含むICAPステータス行で始まる必要がある。例えば、

ICAP/1.0 200 OK

ICAPのステータスコードは、このドキュメントで規定されているもの(100と204)の他は、対応するHTTPのステータスコードの意味と同じである。

HTTPと異なるICAPのエラーコードは、

  • 100 - ICAPプレビューの後に続く
  • 204 - 修正は不要
  • 400 - Bad request
  • 404 - ICAP sesrvice not found
  • 405 - そのメソッドは使えない(例: REQMODしかサポートしないサービスにRESPMODを要求した)
  • 408 - Request timeout
  • 500 - Server error. ICAPサーバー上のエラー例えばディスク不足。
  • 501 - メソッド未実装
  • 502 - Bad Gateway. ICAP proxyがエラーを出した
  • 503 - サービス過負荷。ICAPサーバーが最大コネクション数を超えた。ICAPは今後、その負荷を超えてはならない。
  • 505 - サーバーがサポートしていないICAPバージョン

HTTPの場合と同様に、4xxクラスのエラーはクライアントエラー、5xxクラスはサーバーエラーを意味する。

curlコマンドなどで、直接HTTPを使うことがある方にはおなじみのエラーコードばかりですね。

ICAPレスポンスヘッダーフィールドには、ICAPのステータス行に書けない追加のレスポンス情報をサーバーが記載することができる。

あるレスポンス特有のヘッダーはICAPリクエストで使って良く、この場合、対応するHTTPレスポンスヘッダーと同じ意味を持つ。これは、

  • Server

HTTPライクなヘッダーに加え、ICAP特有のレスポンスヘッダーもある。

  • ISTag

4.3.4 HTTPメッセージにおけるICAP関連ヘッダー

(気が向いたら続く)

5 RFC 3507のcopyright statement

Full Copyright Statement

   Copyright (C) The Internet Society (2003).  All Rights Reserved.

   This document and translations of it may be copied and furnished to
   others, and derivative works that comment on or otherwise explain it
   or assist in its implementation may be prepared, copied, published
   and distributed, in whole or in part, without restriction of any
   kind, provided that the above copyright notice and this paragraph are
   included on all such copies and derivative works.  However, this
   document itself may not be modified in any way, such as by removing
   the copyright notice or references to the Internet Society or other
   Internet organizations, except as needed for the purpose of
   developing Internet standards in which case the procedures for
   copyrights defined in the Internet Standards process must be
   followed, or as required to translate it into languages other than
   English.

   The limited permissions granted above are perpetual and will not be
   revoked by the Internet Society or its successors or assigns.

   This document and the information contained herein is provided on an
   "AS IS" basis and THE INTERNET SOCIETY AND THE INTERNET ENGINEERING
   TASK FORCE DISCLAIMS ALL WARRANTIES, EXPRESS OR IMPLIED, INCLUDING
   BUT NOT LIMITED TO ANY WARRANTY THAT THE USE OF THE INFORMATION
   HEREIN WILL NOT INFRINGE ANY RIGHTS OR ANY IMPLIED WARRANTIES OF
   MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE.

Tech Tech