[perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。

Web::Scraperオブジェクトのuser_agentメソッドにはLWP::UserAgentオブジェクトを渡すことが出来る。つまり、LWP::UserAgentオブジェクトで指定できるオプションは全て使える。つまり、ユーザーエージェントを変更したければそのようにしたオブジェクトを作ってあげればいい。

例えば以下のようにする。agentの変更以外にも、ダウンロードするバイト数の上限を設定(max_size)することも出来る。 一般にLWP::UserAgentで指定できるオプションは全て使える。

my $ua = new LWP::UserAgent();
$ua->agent('Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; ja-JP-mac; rv:1.9.0.6) Gecko/2009011912 Firefox/3.0.6 GTB5');
$ua->max_size(1000000);
$scraper->user_agent($ua);

リファレンス

1. user agent - Google 検索
2. use Web::Scraper; - 今日のCPANモジュール
3. Web::Scraper で Proxy が簡単に使えるようになった - プログラミングのこととか
4. タンブラー？ - Web::Scraper 0.15で何が変わったのか...とおまけ
5. Web::Scraperを使ってmuxtapeのタイトルを取得する？ - perl-mongers.org
6. Web::Scraperのユーザーエージェントの変更とプロキシをさす方法 - masatodayの日記

関連記事

perl

1. [perl] Another HTML-lintのハブ
2. [perl] 1 行スクリプト覚書 with Active Perl
3. [perl] Perl > サーバーにアップロードしたcgiのエラーチェック
4. [perl] ブリコラージュ的 cgi
5. [perl] Linux 上の Perl で書いた 1 行スクリプト
6. [perl] 現在時刻を1秒単位で表示
7. [perl] 現在時刻の表示
8. [perl] ストップウォッチ
9. [perl] ダイヤモンド演算子でdirの代替
10. [perl] 丸め込み誤差、コーシー判定で発散することが自明の数列も計算精度で収束する
11. [perl] なぜだかわからん
12. [perl] 10秒間処理を停止する
13. [perl] モジュールの存在チェック
14. [perl] 範囲演算子でASCII文字を表示する
15. [perl] 環境変数のチェック
16. [perl] パスワードジェネレータ
17. [perl] FS2HTML
18. [perl] リファレンスに関するテスト(2)
19. [perl] リファレンスに関するテスト(1)
20. [perl] ファイル中の重複行を削除してソートの後標準出力
21. [perl] ファイルの内容をソートして標準出力
22. [perl] ファイル中の文字を置換する
23. [perl] 最小二乗法(LSM)
24. [twitter] perlでtwitterクライアント
25. [perl] 半角全角の相互変換には Unicode::Japanese が便利
26. [perl] 日本語を含む行を出力
27. [perl] Net::Twitter で例外ハンドリング
28. [perl] Encodeの基本とEncodeを速く使う方法
29. [perl] cpanでモジュールインストール時にデフォルト選択肢を自動選択する方法
30. [perl] Encode::resolve_alias
31. [perl] 最短経路探索
32. [perl] JSONを使ってパスワード等の情報とコードを分離する
33. [perl] Perlのハブ
34. [perl] perlの配列操作用モジュールはList::UtilとList::MoreUtilで
35. [perl] Hatena::Bookmark にポスト
36. [perl] LWP::UserAgent でUserAgentを換えるにはagentメソッド
37. [perl] モジュールの検索パス追加はuse libで
38. [perl] WebService::Google::Readerでsubscription/edit出来ない
39. [perl] WebService::Google::Readerでsubscription/editするにはgithub。
40. [perl] 10進数から2進数への変換、一般に基数変換
41. [perl] url、uriの相対指定を絶対指定に変換、余分な../../を削除
42. [perl] WebService::Google::Reader を使って web ページの URL から google reader にフィードをポスト
43. [perl] スクリプトの動作に必要な個人情報をの設定ファイルを外部から読み出すにはIO::FileとJSONを使う
44. [perl] $Data::Dumper::Deparse=1; コードリファレンスのソースコード変換
45. [perl] Fizz Bizz 問題
46. [perl] Fizz Bizz 問題(ルックアップテーブル)
47. [perl] Fizz Bizz 問題(mod計算無し)
48. [perl] 2**1023は数なのに、sigma(1023,0) 2**i はinfになる
49. [perl] HTMLタグのエスケープや文字参照、実態参照のデコードにはHTML::Entities
50. [perl] Time::PieceやDateTime::Format::Strptimeで日付をパース、早いのはTime::Piece
51. [perl] use Benchmarkでベンチマークする際の雛形
52. [perl] LWP::UserAgent モジュールでuseragentを変える場合の雛形
53. [perl] Web::Scraper モジュールでリンク抽出の雛形
54. [perl] オブジェクトにメソッドがあるかチェックするにはcan
55. [perl] 標準入力からデータを受け取ってこれを変数に格納する雛形
56. [perl] cpanモジュール作成、必須チェック項目
57. [perl] モジュール作成とアップロードはCPAN::Uploaderのcpan-upload
58. [perl] 日本語文章校正(半角スペースを英字の左右に挿入)
59. [perl] 日本語文章校正(jcorrectを使って論理的な文章を)
60. [perl] FizzBuzz問題(64bytes)
61. [perl] mkpathとdirnameを使って安直にrename
62. [perl] yesコマンドでcpanのupgradeの質問にデフォルトを自動的選択
63. [perl] lwpでコンテンツを取得するときに"500 Can't verify SSL peers without knowning which Certificate Authorities to trust"というエラーが出たらMozilla::CAをインストール
64. [perl] Web::Scraperでエラーハンドリングするにはscrapeメソッドをeval{}で囲み$@を評価。
65. [perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。
66. [perl] ライブラリ検索パスを実行時に追加-Iオプション
67. [perl] perlスクリプトの雛形
68. [perl] aptitudeでlibexpat1-dev、cpanでXML::Perserをインストール
69. [perl] XML::Simpleの高速化など。$XML::Simple::PREFERRED_PARSER='XML::Parser';
70. [linux] perlの正規表現が使えるrenameコマンド
71. [perl] 2つの式を評価する場合、andとorとどちらが速い
72. [perl] Perlの中でCを使えるらしい。
73. [perl] ロードされたモジュールのパスを調べる
74. [perl] cpanでDB_Fileのupdateが失敗する
75. [perl] cpanでGDのupdateが失敗する
76. [perl] cpanでXML::LibXMLのupdateが失敗する
77. [perl] cpanでAlien::SVNのupdateが失敗する
78. [perl] 書籍や文献
79. [perl] perl ワンライナーでファイルの内容を一括で読み込むには-0777オプション
80. [perl] 置換演算子の置換文字列に引数込みの無名関数の戻り値を使う
81. [perl] /m 修飾子の有無により正規表現 "^" や "$" の意味が変化
82. [perl] 複数回の置換はs///g
83. [perl] perl ワンライナーでバックアップはiオプション
84. [perl] 重複したモジュールの存在を確認
85. [perl] cpanモジュールの配布ファイルの指定はMANIFESTで
86. [perl] cpanモジュールの更新作業に必要なこと
87. [perl] 連想配列の実装
88. [perl] プロファイラを用いた実行速度測定方法の比較(Devel::DProf、Devel::SmallProf、Devel::FastProf)
89. [perl] プログラムの標準出力にデータを送り、標準入力からデータをもらう
90. [perl] Getopt::Longで同じオプション名で複数個の引数を受け取るには@を
91. [perl] ロード済みモジュールのバージョンとパス
92. [perl] 日本語禁則処理モジュール比較
93. [perl] XML::LibXSLT を使う

Web::Scraper

1. [perl] Web::Scraper モジュールでリンク抽出の雛形
2. [perl] Web::Scraperでエラーハンドリングするにはscrapeメソッドをeval{}で囲み$@を評価。
3. [perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。

ソーシャルブックマーク

1. はてなブックマーク
2. Google Bookmarks
3. del.icio.us

日付の近い記事

1. [git] レポジトリのURLを変更する。
2. [git] 既存のgitレポジトリのローカルコピーをとるには git clone URL
3. [linux] シェルスクリプトで無限ループさせるにはwhileの中で:かtrueを使う。
4. [google] content-typeがxhtmlのドキュメントがgoogleにキャッシュされると最初にDOCTYPEとmetaとbaseタグが付く
5. [perl] Web::Scraperでエラーハンドリングするにはscrapeメソッドをeval{}で囲み$@を評価。
6. [perl] Web::Scraperでuseragentを変更するにはscraperオブジェクトのuser_agentメソッドにLWP::UserAgentオブジェクトを渡す。
7. [git] 読み取り専用レポジトリから変更をマージして読み書きレポジトリにpushする。
8. [メモ] 自作するサーバラックに関する調査
9. [メモ] VPSに関する調査
10. [weechat] ウィンドウの縦分割(splitv)と横分割(splith)
11. [screen] ペアプログラミングするときにゲストからの入力を禁止する方法

ChangeLog

1. Posted: 2009-10-29T11:42:43+09:00
2. Modified: 2009-10-29T11:42:43+09:00
3. Generated: 2024-12-16T23:09:13+09:00