「CentOS 7」コマンドラインにて、「Headless Chrome(Google Chrome 79.0.3945.79)」スクリーンキャプチャの動作確認

ソフトウェアスイートGoogle Chrome

目次一覧

 状態:-  閲覧数:210  投稿日:2019-12-20  更新日:2019-12-20
大前提 / 最初に遭遇した問題 / Yahoo! JAPAN スクリーンキャプチャを取得すると一部分だけ「記事を取得できませんでした」と表示される理由が判明

--disable-web-security --user-data-dir='./user-data

--user-agent=''


大前提 / 最初に遭遇した問題 / Yahoo! JAPAN スクリーンキャプチャを取得すると一部分だけ「記事を取得できませんでした」と表示される理由が判明

 閲覧数:97 投稿日:2019-12-20 更新日:2019-12-20 

大前提


「Headless Chrome」で出来ないこと
・縮小スクリーンキャプチャ
※指定サイズでしか取得できない

具体的には?
縦横1000pxの画面を500pxにサイズ指定して、スクリーンキャプチャを取得すると?
→ 縦横1000pxの画面の内、500px部分のみを切り取って取得する

最初に遭遇した問題


「Yahoo! JAPAN」の遅延表示部分を正常取得できない
$ cd /var/www/xxxxx/php-demo.w4c.work/demo/screen-capture/php-webdriver/default/b
$ google-chrome --headless --disable-gpu --screenshot --window-size=1280,1080 https://www.yahoo.co.jp
[1218/084822.772157:INFO:headless_shell.cc(620)] Written to file screenshot.png.


「--virtual-time-budget=10000」を指定しても結果は同じ
$ google-chrome --headless --disable-gpu --screenshot --window-size=1280,1080 --virtual-time-budget=10000 https://www.yahoo.co.jp
[1218/085728.240697:INFO:headless_shell.cc(620)] Written to file screenshot.png.



PHP と ヘッドレスChrome の組み合わせで、Selenium を使用せずにスクリーンキャプチャを遅延取得したい

Yahoo! JAPAN スクリーンキャプチャを取得すると一部分だけ「記事を取得できませんでした」と表示される理由が判明


遅延表示が原因ではなかった
ヘッドレスChromeで Yahoo! JAPAN スクリーンキャプチャを取得すると一部分だけ、記事を取得できませんでした と表示される

--disable-web-security --user-data-dir='./user-data

 閲覧数:99 投稿日:2019-12-20 更新日:2019-12-20 

--disable-web-security --user-data-dir='./user-data


user-dataディレクトリを手動作成
$ cd /var/www/xxxx/php-demo.w4c.work/demo/screen-capture/php-webdriver/default/b
$ google-chrome --headless --disable-web-security --user-data-dir='./user-data' --disable-gpu --screenshot --window-size=1280,1080 https://www.yahoo.co.jp
[1220/082209.143842:INFO:CONSOLE(2)] "AST library loaded: 0.13.0", source: https://acdn.adnxs.com/ast/static/0.13.0/ast.js (2)
[1220/082209.165888:INFO:CONSOLE(0)] "A cookie associated with a resource at http://adnxs.com/ was set with `SameSite=None` but without `Secure`. A future release of Chrome will only deliver cookies marked `SameSite=None` if they are also marked `Secure`. You can review cookies in developer tools under Application>Storage>Cookies and see more details at https://www.chromestatus.com/feature/5633521622188032.", source: https://www.yahoo.co.jp/ (0)
[1220/082209.675725:INFO:headless_shell.cc(620)] Written to file screenshot.png.





--user-agent=''

 閲覧数:88 投稿日:2019-12-20 更新日:2019-12-20 

--window-size=1280,1080


$ google-chrome --headless --disable-web-security --user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36' --disable-gpu --screenshot --window-size=1280,1080 https://www.yahoo.co.jp
[1220/082737.371764:INFO:headless_shell.cc(620)] Written to file screenshot.png.




--window-size=450,450


$ google-chrome --headless --disable-web-security --user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36' --disable-gpu --screenshot --window-size=450,450 https://www.yahoo.co.jp
[1220/083111.513237:INFO:headless_shell.cc(620)] Written to file screenshot.png.




「--window-size=」を指定しない


$ google-chrome --headless --disable-web-security --user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36' --disable-gpu --screenshot https://www.yahoo.co.jp
[1220/083331.509358:INFO:headless_shell.cc(620)] Written to file screenshot.png.





「CentOS 7」へ「ChromeDriver 79.0.3945.36」を新規インストール



類似度ページランキング
順位 ページタイトル抜粋
1 「CentOS 7」へ「Google Chrome 76.0.3809.132」を新規インストール 39
2 「CentOS 7」へ「ChromeDriver 79.0.3945.36」を新規インストール 38
3 「CentOS 7」へインストールした「Google Chrome 76.0.3809.132」を「Google Chrome 79.0.3945.79」へアップデート   34
4 CentOS 7 へ wkhtmltopdf 0.12.5 を新規インストール 33
5 申込→公開9.Railsアプリケーションを作成して、「Ruby on Rails」の動作確認をする 33
6 Go1.10.1インストール /usr/local/go/bin/go CentOS7 33
7 uwsgi 2.0.17 インストール /usr/bin/python3.6 CentOS7 32
8 CentOSでcpコマンド動作確認するためには、Control + T ではなく、 -v オプションを使用 32
9 7回目-12.Go1.10インストール /usr/local/go/bin/go CentOS7 31
10 Go1.9.2インストール /usr/local/go/bin/go CentOS6 31
11 CentOSのバージョン / アーキテクチャ確認 31
12 mod_wsgi-4.5.15 インストール / pip3.6 install 30
13 Python 3.6.4 を CentOS7 へ yumインストール /usr/bin/python3.6 30
14 「cron × Cent OS7」でよく使用するコマンド 30
15 PHP Version 7.1.2 php-mecabエクステンション対応 / PHP 7.0.14 からのアップグレード  30
16 PHP Version 7.1.2 インストール / PHP 7.0.14 からのバージョンアップ対応 / CentOS 6 30
17 申込→公開10.Python 2.7.3 インストール / make install 30
18 Python 3.5 インストール / yum install 29
19 mod_wsgi3.2インストール / yum install 29
20 pipアップグレード 9.0.1 → 10.0.1 /usr/bin/python3.6 CentOS7 29
2021/9/24 0:39 更新
週間人気ページランキング / 9-16 → 9-22
順位 ページタイトル抜粋 アクセス数
1 Nginx設定。エラーログレベル | Nginx(Webサーバ) 19
2 PHP実行ユーザ設定 / CentOS6 / Apache | PHP(プログラミング言語) 14
3 PHPのmb_send_mail関数でメール送信できない | メール処理システム 13
4 9回目-13.MySQL5.7.21設定 | CentOS 7 2週間無料のお試し期間 9回目(さくらVPS) 12
5 touch コマンド / viコマンド。新規ファイル作成時の違い | Linuxコマンド 8
6 ソースからビルドしたPython 2.7.3 アンインストール失敗 | Python(プログラミング言語) 7
6 FFmpeg 2.8.15 を yum インストール | ソフトウェアスイート 7
6 「設定ファイルに、暗号化 (blowfish_secret) 用の非公開パスフレーズの設定を必要とするようになりました。」対応 7
6 Python 3.5 アンインストール / yum remove | Python(プログラミング言語) 7
6 manページ日本語表示 | CentOS 7 (CentOS) 7
6 PHPファイルでchmodエラー | PHP(プログラミング言語) 7
7 ABRT により 問題が検出されました | CentOS 7 (CentOS) 6
7 Python 3.6 インストール / make altinstall | Python(プログラミング言語) 6
7 さくらVPS0 6
8 Reached target Shutdown メッセージが表示されたあと、シャットダウンまたは再起動プロセスがハングアップする | CentOS 7 (CentOS) 5
9 PHP Version 7.1.2 php-mecabエクステンション対応 / PHP 7.0.14 からのアップグレード  | MeCab(形態素解析) 4
9 echo と cat の違い 4
9 phpMyAdmin 4.4.3(phpMyAdmin) カテゴリー 4
9 tar: これは tar アーカイブではないようです 4
9 MySQL 5.5 から 5.6 へのアップグレード | MySQL(データベース) 4
2021/9/23 1:01 更新