外部サイトをスクレイピングする

スクレイピングとはウェブサイトから情報を抽出し、その情報を新たに加工したりすることである。

今回はJavaScriptで外部サイトをスクレイピングするためにjquery.xdomainajax.jsの設定をした。

そのコードは下記の通りである。

$(function() {
    var url = 'URL';
    var end_comid=1;
    for(i=end_comid; i <end_comid+40 ;i++){
        var target_url = tmp_url+i;
        $.ajax({
            url: target_url,
            type: 'GET',
        success: function(data) {
        $('#container').append('<hr>');
        $('#container').append($('table.search-detail-table tr:nth-child(-n+11)', data.responseText));
        }
    });
    }
});