2016-11-13

phantomjs を適切にストップするには

phantomjsは便利なんだけど、プロセスが何故かゾンビ化してリソースを圧迫するなんてことがあります。
python + selenium + phantomjsで運用していますが、
大抵は、dirver.close()、dirver.quit()でスットプできますが、たまに生き残ります。

pgrep phantomjs | xargs kill

シェル側からphangomjsを強制的にkillしてしまうのが確実で、これをpython スクリプトに仕込んどけばOKです。
ただし副作用もあって、これだと他のすべてのphantomjsをkillしちゃうので、人を選ぶわけです。

import signal

driver.service.process.send_signal(signal.SIGTERM) # kill the specific phantomjs child proc
driver.quit()                                      # quit the node proc

といのが良いのかなという感じみたいです。

2016-11-12

phpの初歩　チートシート

phpからpythonを外部コマンドとして呼びだしたい。

$a = 1;
$b = 2;
$cmd = sprintf("python kdfjdlj.py %d %d",$a,$b);
shell_exec($cmd);

sprintfでフォーマットしてshell_execで実行する。

2016-11-12

サーバーにphantomjsをおいてスクレイピングを動かしたい時

サーバーにphantomjsを置くなら、npmからインストールするのがおすすめ

sudo yum install epel-release
sudo yum install nodejs npm

でnpmをインストールして

npm install phantomjs

でphantomjsをインストールする。
node_modulesというフォルダができてその中にphantomjsがインストールされるのでそこにパスを張る。
実際のインスコ先は
node_modules/phantomjs/bin/phantomjs
になる。

from selenium import webdriver
import time
from bs4 import BeautifulSoup

from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 "
    "(KHTML, like Gecko) Chrome/15.0.87"
)

driver = webdriver.PhantomJS("/home/user/app/node_modules/phantomjs/bin/phantomjs", desired_capabilities=dcap)

url="http://yahoo.co.jp" #yahooは単なるたとえ
driver.get(url)

#スクリーンショットのとり方
driver.save_screenshot("./screen_shot_1.png")

# javascriptのレンダリングを確実に待つ、読み込み待機　time.sleep(5)とか使ってもいいけど、下記の方が確実でいい。
#例外処理をちゃんと書くともっと良い
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.CLASS_NAME, "articleList")))

#BeautifulSoupで欲しい部分を
soup = BeautifulSoup(driver.page_source,'html.parser')

#h2要素でclassがarticleList__titleのものを引っ張ってくる。
h2_element = soup.find_all("h2", class_="articleList__title")

#h2要素内からa要素を探してきて、href（リンク）とaタグに囲まれている文字列を抜き出す。
for article in h2_element:
        print(article.find("a").get("href"))
　　 print(article.find("a").string)