Java-HttpURLConnection爬虫程序-0913

Android总结 孙沛林

Java-HttpURLConnection抓取网络数据(2016-9-13)

项目:JavaSpiderDemo 环境:MyEclipse8.5

导包

第 1 页

Android总结 孙沛林

源码

Java

MyConn.java

import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.*;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;

第 2 页

Android总结 孙沛林

/**

* 独立的解析一篇CSDN博客 * 提取出:标题,分类,内容 * @author 孙沛林 * */

public class MyConn extends Thread {

public MyConn(){}

public MyConn(String surl){this.surl=surl;}

private String surl;// 文章的网址

@Override

public void run() { }

// 客户端的浏览器类型

public static String[] UserAgent = {

\,// PC端的浏览器 // 以下都是手机端的浏览器 getHTML();

\(Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, \(iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like \

(SymbianOS/9.4;

Series60/5.0

NokiaN97-1/20.0.019;

Profile/MIDP-2.1

like Gecko) Version/4.0 Mobile Safari/533.2\,

Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.11\,

Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18121\,

//http://blog.csdn.net/yjflinchong

\, \,

\, \,

\ }; /**

* 根据一个网址,获取该页面的HTML源码 * @param surl */

public void getHTML(){

try {

// 1. 创建URL对象

第 3 页

Android总结 孙沛林

URL url = new URL(surl); // 2. 获取HttpUrlConnection对象

HttpURLConnection conn = (HttpURLConnection) url.openConnection(); // 2.5 伪装成浏览器

conn.setRequestProperty(

\, // 浏览器的类型 UserAgent[1]); }

}

// 3. 获取服务器的响应码

int responseCode = conn.getResponseCode();

System.out.println(\+responseCode); // 4. 判断响应码是否正常,HttpURLConnection.HTTP_OK=200 if (responseCode == HttpURLConnection.HTTP_OK) { }

// TODO Auto-generated catch block e.printStackTrace();

StringBuffer sb = new StringBuffer();// HTML的容器 String readLine;// 每一行的临时存放

//5. 处理响应流，必须与服务器响应流输出的编码一致\ BufferedReader responseReader = new BufferedReader(

new InputStreamReader(

conn.getInputStream(), \));

// 6. 循环读取流中的行

while ((readLine = responseReader.readLine()) != null) {

sb.append(readLine).append(\); }// while // 7. 关闭流

responseReader.close();

//System.out.println(\输入HTML parseHTML(sb.toString());

} catch (Exception e) {

// 解析文章详细页面

private void parseHTML(String html) {

// 1文章 title

String atitle = doc.getElementsByClass(\).first().text(); text.append(\文章 title-------\\n\); text.append(atitle);

// 2文章 分类

Elements cats = doc.getElementsByClass(\);

第 4 页

StringBuffer text = new StringBuffer();// HTML的容器

Document doc = Jsoup.parse(html);

Android总结 孙沛林

// 循环遍历

text.append(\文章 分类-------\\n\); for(Element cat : cats){ text.append(cat.text()); }

// 3文章 content

String acontent = doc.getElementsByClass(\).first().text(); //text.append(acontent);

text.append(\文章 content==============================\\n\); text.append(acontent);

// 数据的插入

//insert(atitle,cats.text(),acontent);

System.out.println(\解析的结果====================\\n\ } }

+text.toString());

ListPage.java

import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.*;

第 5 页