Web | サーバいじくり雑記

　企業にとって、この「通信の中身を監視できる」ことは重要である。覗き見や盗聴などではなく、通信を制御するという正しい目的のために活用できるからだ。HTTPでは、ネットワーク監視ソフトなどで通信（パケット）の中身を見ることにより、利用しているサービスやアプリケーションの種類、ユーザー識別情報など、通信の制御に使える様々な関連情報を手に入れられる。

企業はどこまでも監視したい。が、建前は、

　例えば、情報漏洩対策向け製品の中には、流れるパケットの中身を監視し、個人情報や機密情報に関連するキーワードが含まれていたらアラートを出したり通信を遮断したりできるものがある。HTTPS通信が増えると、こうした製品の有効性や利用価値が薄れるといった影響が表れる。ダウンロードによるウイルスの侵入を防ぐゲートウエイ型セキュリティ製品や、不正アクセスを受けた際の証拠保全などに使われるディジタルフォレンジック製品なども同様である。

だけど、別に証明書が無償配布されなくても、これから先もマルウェア等が生データをHTTPでそのまま通信し続けるとは限らんでしょ。オレオレ証明書でもマルウェアが裏で勝手にそれ使って通信している分にはかわらない。やはり本音は単に「監視したい」だけ。

　SSL証明書は、証明書の発行機関（認証局）がWebサイトに対して発行して終わりというものではない。証明書には「有効期限」があり、また有効期限が切れる前であっても、暗号鍵の紛失や不正利用された場合などに証明書を使えないようにする「失効（リボーク）」という処理が必要となるケースがある。この失効証明書の管理がしっかり行われなければ、その認証局が発行する証明書全体の信頼性が根底から崩れてしまう。

ここは考えてなかった。確かに失効処理がちゃんとスムーズに行われないとそれは安心しては使えない。

コメントする

2014年12月17日

py-selenium+phantomjsでUser-Agentを設定する

Filed under: 開発技術, Python, Web — bompopo @ 1:16 午後

はー、未だ謎多きpy-selenium+phantomjsです。
とりあえず一つの問題が案外簡単にクリアできたのでメモ。

最近私の頭を痛めていた問題に、「新しいウィンドウを生成するような動作(target=_blankなaをクリック等)をした時、その新しいウィンドウに設定したはずのUAが反映されない」というのがありました。

phantomjsにデバッグ出力オプションをつけて眺めていたところ以下な感じに処理されているようでした。（かなり省いてます）

_addNewPage               <-- 新しいウィンドウつくる！
page.settings             <-- phantomjs.page.settings. に定義されている値が設定される
                                                      (UA定義なければphantomjsデフォ)
page.customHeaders        <-- phantomjs.page.customHeaders. に定義されている値が設定される
                                                           (定義なければデフォなにもしない)
page.onResourceRequested  <-- phantomjs.page.customHeaders. に定義されている値が設定されるが、
                                                            定義なければphantomjsのデフォ値が設定される

つまり、世に出回っている「phantomjs.page.settings.userAgent」への設定だけでは、新しいウィンドウ作った時には「onResourceRequested」にて「phantomjsのデフォ設定値」で上書きされてしまうのです（ナンデ。

最初は「onResourceRequested」で使われる値がなにかわからなかったのですが（ソースざっと読んでも分からなかったorz）、試しに「customHeaders」に設定したところ「onResourceRequested」にても同設定値が使用されていました。

確認したphantomjsのバージョンは1.9.8なのですが、恐らくこの動作は仕様ではないのではないでしょうか。今後動作が変わる気がします。

結局以下のようにするのが今の所(ver1.9.8)ではスマートで鉄板ということに。

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

ua_value = 'Mozilla/5.0 (X11; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0 Iceweasel/34.0'

dcap = DesiredCapabilities.PHANTOMJS
dcap['phantomjs.page.settings.userAgent'] = ua_value
dcap['phantomjs.page.customHeaders.User-Agent'] = ua_value

driver = webdriver.PhantomJS( desired_capabilities=dcap )

#以降処理

追記：いや、selenium側の問題の可能性も？

コメントする