[perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。

Web::Scraperオブジェクトのuser_agentメソッドにはLWP::UserAgentオブジェクトを渡すことが出来る。つまり、LWP::UserAgentオブジェクトで指定できるオプションは全て使える。つまり、ユーザーエージェントを変更したければそのようにしたオブジェクトを作ってあげればいい。

例えば以下のようにする。agentの変更以外にも、ダウンロードするバイト数の上限を設定(max_size)することも出来る。 一般にLWP::UserAgentで指定できるオプションは全て使える。

my $ua = new LWP::UserAgent();
$ua->agent('Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; ja-JP-mac; rv:1.9.0.6) Gecko/2009011912 Firefox/3.0.6 GTB5');
$ua->max_size(1000000);
$scraper->user_agent($ua);

リファレンス

1. user agent - Google 検索
2. use Web::Scraper; - 今日のCPANモジュール
3. Web::Scraper で Proxy が簡単に使えるようになった - プログラミングのこととか
4. タンブラー？ - Web::Scraper 0.15で何が変わったのか...とおまけ
5. Web::Scraperを使ってmuxtapeのタイトルを取得する？ - perl-mongers.org
6. Web::Scraperのユーザーエージェントの変更とプロキシをさす方法 - masatodayの日記

関連記事

perl

1. [perl] Another HTML-lintのハブ
2. [perl] 1 行スクリプト覚書 with Active Perl
3. [perl] Perl > サーバーにアップロードしたcgiのエラーチェック
4. [perl] ブリコラージュ的 cgi
5. [perl] Linux 上の Perl で書いた 1 行スクリプト
6. [perl] 現在時刻を1秒単位で表示
7. [perl] 現在時刻の表示
8. [perl] ストップウォッチ
9. [perl] ダイヤモンド演算子でdirの代替
10. [perl] 丸め込み誤差、コーシー判定で発散することが自明の数列も計算精度で収束する
11. [perl] なぜだかわからん
12. [perl] リファレンスに関するテスト(2)
13. [perl] リファレンスに関するテスト(1)
14. [perl] ファイル中の重複行を削除してソートの後標準出力
15. [perl] ファイルの内容をソートして標準出力
16. [perl] ファイル中の文字を置換する
17. [perl] 最小二乗法(LSM)
18. [twitter] perlでtwitterクライアント
19. [perl] 半角全角の相互変換には Unicode::Japanese が便利
20. [perl] 日本語を含む行を出力
21. [perl] Net::Twitter で例外ハンドリング
22. [perl] Encodeの基本とEncodeを速く使う方法
23. [perl] cpanでモジュールインストール時にデフォルト選択肢を自動選択する方法
24. [perl] Encode::resolve_alias
25. [perl] 最短経路探索
26. [perl] JSONを使ってパスワード等の情報とコードを分離する
27. [perl] Perlのハブ
28. [perl] perlの配列操作用モジュールはList::UtilとList::MoreUtilで
29. [perl] Hatena::Bookmark にポスト
30. [perl] LWP::UserAgent でUserAgentを換えるにはagentメソッド
31. [perl] モジュールの検索パス追加はuse libで
32. [perl] WebService::Google::Readerでsubscription/edit出来ない
33. [perl] WebService::Google::Readerでsubscription/editするにはgithub。
34. [perl] 10進数から2進数への変換、一般に基数変換
35. [perl] url、uriの相対指定を絶対指定に変換、余分な../../を削除
36. [perl] WebService::Google::Reader を使って web ページの URL から google reader にフィードをポスト
37. [perl] スクリプトの動作に必要な個人情報をの設定ファイルを外部から読み出すにはIO::FileとJSONを使う
38. [perl] $Data::Dumper::Deparse=1; コードリファレンスのソースコード変換
39. [perl] Fizz Bizz 問題
40. [perl] Fizz Bizz 問題(ルックアップテーブル)
41. [perl] Fizz Bizz 問題(mod計算無し)
42. [perl] 2**1023は数なのに、sigma(1023,0) 2**i はinfになる
43. [perl] HTMLタグのエスケープや文字参照、実態参照のデコードにはHTML::Entities
44. [perl] Time::PieceやDateTime::Format::Strptimeで日付をパース、早いのはTime::Piece
45. [perl] use Benchmarkでベンチマークする際の雛形
46. [perl] LWP::UserAgent モジュールでuseragentを変える場合の雛形
47. [perl] Web::Scraper モジュールでリンク抽出の雛形
48. [perl] オブジェクトにメソッドがあるかチェックするにはcan
49. [perl] 標準入力からデータを受け取ってこれを変数に格納する雛形
50. [perl] cpanモジュール作成、必須チェック項目
51. [perl] モジュール作成とアップロードはCPAN::Uploaderのcpan-upload
52. [perl] 日本語文章校正(半角スペースを英字の左右に挿入)
53. [perl] 日本語文章校正(jcorrectを使って論理的な文章を)
54. [perl] FizzBuzz問題(64bytes)
55. [perl] mkpathとdirnameを使って安直にrename
56. [perl] yesコマンドでcpanのupgradeの質問にデフォルトを自動的選択
57. [perl] lwpでコンテンツを取得するときに"500 Can't verify SSL peers without knowning which Certificate Authorities to trust"というエラーが出たらMozilla::CAをインストール
58. [perl] Web::Scraperでエラーハンドリングするにはscrapeメソッドをeval{}で囲み$@を評価。
59. [perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。
60. [perl] ライブラリ検索パスを実行時に追加-Iオプション
61. [perl] perlスクリプトの雛形
62. [perl] aptitudeでlibexpat1-dev、cpanでXML::Perserをインストール
63. [perl] XML::Simpleの高速化など。$XML::Simple::PREFERRED_PARSER='XML::Parser';
64. [linux] perlの正規表現が使えるrenameコマンド
65. [perl] 2つの式を評価する場合、andとorとどちらが速い
66. [perl] Perlの中でCを使えるらしい。
67. [perl] ロードされたモジュールのパスを調べる
68. [perl] cpanでDB_Fileのupdateが失敗する
69. [perl] cpanでGDのupdateが失敗する
70. [perl] cpanでXML::LibXMLのupdateが失敗する
71. [perl] cpanでAlien::SVNのupdateが失敗する
72. [perl] 書籍や文献
73. [perl] perl ワンライナーでファイルの内容を一括で読み込むには-0777オプション
74. [perl] 置換演算子の置換文字列に引数込みの無名関数の戻り値を使う
75. [perl] /m 修飾子の有無により正規表現 "^" や "$" の意味が変化
76. [perl] 複数回の置換はs///g
77. [perl] perl ワンライナーでバックアップはiオプション
78. [perl] 重複したモジュールの存在を確認
79. [perl] cpanモジュールの配布ファイルの指定はMANIFESTで
80. [perl] cpanモジュールの更新作業に必要なこと
81. [perl] 連想配列の実装
82. [perl] プロファイラを用いた実行速度測定方法の比較(Devel::DProf、Devel::SmallProf、Devel::FastProf)
83. [perl] プログラムの標準出力にデータを送り、標準入力からデータをもらう
84. [perl] Getopt::Longで同じオプション名で複数個の引数を受け取るには@を
85. [perl] ロード済みモジュールのバージョンとパス
86. [perl] 日本語禁則処理モジュール比較
87. [perl] XML::LibXSLT を使う

Web::Scraper

1. [perl] Web::Scraper モジュールでリンク抽出の雛形
2. [perl] Web::Scraperでエラーハンドリングするにはscrapeメソッドをeval{}で囲み$@を評価。
3. [perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。

ソーシャルブックマーク

1. はてなブックマーク
2. Google Bookmarks
3. del.icio.us

日付の近い記事

1. [git] レポジトリのURLを変更する。
2. [git] 既存のgitレポジトリのローカルコピーをとるには git clone URL
3. [linux] シェルスクリプトで無限ループさせるにはwhileの中で:かtrueを使う。
4. [google] content-typeがxhtmlのドキュメントがgoogleにキャッシュされると最初にDOCTYPEとmetaとbaseタグが付く
5. [perl] Web::Scraperでエラーハンドリングするにはscrapeメソッドをeval{}で囲み$@を評価。
6. [perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。
7. [git] 読み取り専用レポジトリから変更をマージして読み書きレポジトリにpushする。
8. [メモ] 自作するサーバラックに関する調査
9. [メモ] VPSに関する調査
10. [weechat] ウィンドウの縦分割(splitv)と横分割(splith)
11. [screen] ペアプログラミングするときにゲストからの入力を禁止する方法

ChangeLog

1. Posted: 2009-10-29T11:42:43+09:00
2. Modified: 2009-10-29T11:42:43+09:00
3. Generated: 2023-08-27T23:09:13+09:00