Introduction de la section :
Dans la section précédente, nous avons découvert HttpURLConnection. Dans cette section, nous passons à la deuxième approche : HttpClient. Bien qu'il ait été déprécié par Google, nous pouvons encore utiliser HttpClient pour capturer des données dans le travail quotidien, et il fonctionne encore mieux lorsqu'il est combiné avec Jsoup pour analyser des pages web ! HttpClient est utilisé pour recevoir/envoyer des requêtes/réponses HTTP, mais il ne met pas en cache les réponses du serveur, n'exécute pas le code JavaScript intégré dans les pages HTML et n'effectue aucune analyse ni traitement du contenu de la page ! Commençons cette section !
1. Flux d'utilisation de HttpClient
Flux de base:
2. Exemples d'utilisation de HttpClient
1) Utiliser HttpClient pour envoyer une requête GET
Collons directement le code simple pour envoyer une requête GET :
public class MainActivity extends Activity implements OnClickListener {
private Button btnGet;
private WebView wView;
public static final int SHOW_DATA = 0X123;
private String detail = "";
private Handler handler = new Handler() {
public void handleMessage(Message msg) {
if(msg.what == SHOW_DATA)
{
wView.loadDataWithBaseURL("",detail, "text/html","UTF-8","");
}
};
};
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
initView();
setView();
}
private void initView() {
btnGet = (Button) findViewById(R.id.btnGet);
wView = (WebView) findViewById(R.id.wView);
}
private void setView() {
btnGet.setOnClickListener(this);
wView.getSettings().setDomStorageEnabled(true);
}
@Override
public void onClick(View v) {
if (v.getId() == R.id.btnGet) {
GetByHttpClient();
}
}
private void GetByHttpClient() {
new Thread()
{
public void run()
{
try {
HttpClient httpClient = new DefaultHttpClient();
HttpGet httpGet = new HttpGet("http://www.w3cschool.cc/python/python-tutorial.html");
HttpResponse httpResponse = httpClient.execute(httpGet);
if (httpResponse.getStatusLine().getStatusCode() == 200) {
HttpEntity entity = httpResponse.getEntity();
detail = EntityUtils.toString(entity, "utf-8");
handler.sendEmptyMessage(SHOW_DATA);
}
} catch (Exception e) {
e.printStackTrace();
}
};
}.start();
}
}
Capture d'écran du résultat d'exécution
De plus, s'il s'agit d'une requête GET avec des paramètres, nous pouvons placer les paramètres dans une collection List, puis encoder les paramètres en URL, et enfin les concaténer avec l'URL :
List<BasicNameValuePair> params = new LinkedList<BasicNameValuePair>();
params.add(new BasicNameValuePair("user", "猪小弟"));
params.add(new BasicNameValuePair("pawd", "123"));
String param = URLEncodedUtils.format(params, "UTF-8");
HttpGet httpGet = new HttpGet("http://www.baidu.com"+"?"+param);
2) Utiliser HttpClient pour envoyer une requête POST
Une requête POST est légèrement plus compliquée qu'une requête GET. Après avoir créé l'objet HttpPost, stockez les paramètres à soumettre dans une collection NameValuePair, passez les paramètres à UrlEncodedFormEntity, et terminez enfin en appelant setEntity(entity), puis HttpClient.execute(HttpPost) suffira. Je ne vais pas écrire d'exemple ici ; je n'ai pas trouvé de site web qui accepte POST pour le moment, et je ne veux pas écrire de Servlet moi-même, donc je vais simplement coller directement le code principal.
Code principal:
private void PostByHttpClient(final String url)
{
new Thread()
{
public void run()
{
try{
HttpClient httpClient = new DefaultHttpClient();
HttpPost httpPost = new HttpPost(url);
List<NameValuePair> params = new ArrayList<NameValuePair>();
params.add(new BasicNameValuePair("user", "猪大哥"));
params.add(new BasicNameValuePair("pawd", "123"));
UrlEncodedFormEntity entity = new UrlEncodedFormEntity(params,"UTF-8");
httpPost.setEntity(entity);
HttpResponse httpResponse = httpClient.execute(httpPost);
if (httpResponse.getStatusLine().getStatusCode() == 200) {
HttpEntity entity2 = httpResponse.getEntity();
detail = EntityUtils.toString(entity2, "utf-8");
handler.sendEmptyMessage(SHOW_DATA);
}
}catch(Exception e){e.printStackTrace();}
};
}.start();
}
3. Exemple de scraping de données avec HttpClient (Scraping des données du système d'administration pédagogique)
En fait, il existe de nombreux exemples d'utilisation de HttpClient. Par exemple, je l'ai déjà utilisé pour extraire les emplois du temps des étudiants depuis le système d'administration pédagogique de l'école. Cela implique des choses comme les cookies et la connexion simulée. Lorsqu'il s'agit de scraping de données (robots d'exploration), nous utilisons généralement Jsoup pour analyser les données extraites. Si vous êtes intéressé, vous pouvez rechercher vous-même les documents pertinents. Ici, je vais coller le code clé pour récupérer des pages web depuis l'application de mon projet de fin d'études ! Vous pouvez vous en faire une idée :
HttpClient peut obtenir et définir des cookies grâce au code suivant :HttpResponse loginResponse = new DefaultHttpClient().execute(getLogin);Obtenir les cookies :cookie = loginResponse.getFirstHeader("Set-Cookie").getValue();Joindre les cookies lors des requêtes:httpPost.setHeader("Cookie", cookie);
//获得链接,模拟登录的实现:
public int getConnect(String user, String key) throws Exception {
// 先发送get请求 获取cookie值和__ViewState值
HttpGet getLogin = new HttpGet(true_url);
// 第一步:主要的HTML:
String loginhtml = "";
HttpResponse loginResponse = new DefaultHttpClient().execute(getLogin);
if (loginResponse.getStatusLine().getStatusCode() == 200) {
HttpEntity entity = loginResponse.getEntity();
loginhtml = EntityUtils.toString(entity);
// 获取响应的cookie值
cookie = loginResponse.getFirstHeader("Set-Cookie").getValue();
System.out.println("cookie= " + cookie);
}
// 第二步:模拟登录
// 发送Post请求,禁止重定向
HttpPost httpPost = new HttpPost(true_url);
httpPost.getParams().setParameter(ClientPNames.HANDLE_REDIRECTS, false);
// 设置Post提交的头信息的参数
httpPost.setHeader("User-Agent",
"Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko");
httpPost.setHeader("Referer", true_url);
httpPost.setHeader("Cookie", cookie);
// 设置请求数据
List<NameValuePair> params = new ArrayList<NameValuePair>();
params.add(new BasicNameValuePair("__VIEWSTATE",
getViewState(loginhtml)));// __VIEWSTATE参数,如果变化可以动态抓取获取
params.add(new BasicNameValuePair("Button1", ""));
params.add(new BasicNameValuePair("hidPdrs", ""));
params.add(new BasicNameValuePair("hidsc", ""));
params.add(new BasicNameValuePair("lbLanguage", ""));
params.add(new BasicNameValuePair("RadioButtonList1", "%D1%A7%C9%FA"));
params.add(new BasicNameValuePair("txtUserName", user));
params.add(new BasicNameValuePair("TextBox2", key));
params.add(new BasicNameValuePair("txtSecretCode", "")); // ( ╯□╰ )逗比正方,竟然不需要验证码
// 设置编码方式,响应请求,获取响应状态码:
httpPost.setEntity(new UrlEncodedFormEntity(params, "gb2312"));
HttpResponse response = new DefaultHttpClient().execute(httpPost);
int Status = response.getStatusLine().getStatusCode();
if(Status == 200)return Status;
System.out.println("Status= " + Status);
// 重定向状态码为302
if (Status == 302 || Status == 301) {
// 获取头部信息中Location的值
location = response.getFirstHeader("Location").getValue();
System.out.println(location);
// 第三步:获取管理信息的主页面
// Get请求
HttpGet httpGet = new HttpGet(ip_url + location);// 带上location地址访问
httpGet.setHeader("Referer", true_url);
httpGet.setHeader("Cookie", cookie);
// 主页的html
mainhtml = "";
HttpResponse httpResponseget = new DefaultHttpClient()
.execute(httpGet);
if (httpResponseget.getStatusLine().getStatusCode() == 200) {
HttpEntity entity = httpResponseget.getEntity();
mainhtml = EntityUtils.toString(entity);
}
}
return Status;
}
4. Utilisation de HttpPut pour envoyer une requête PUT
Le code d'exemple est le suivant ::
public static int PutActCode(String actCode, String licPlate, Context mContext) {
int resp = 0;
String cookie = (String) SPUtils.get(mContext, "session", "");
HttpPut httpPut = new HttpPut(PUTACKCODE_URL);
httpPut.setHeader("Cookie", cookie);
try {
List<NameValuePair> params = new ArrayList<NameValuePair>();
params.add(new BasicNameValuePair("activation_code", actCode));
params.add(new BasicNameValuePair("license_plate", licPlate));
httpPut.setEntity(new UrlEncodedFormEntity(params, "UTF-8"));
HttpResponse course_response = new DefaultHttpClient().execute(httpPut);
if (course_response.getStatusLine().getStatusCode() == 200) {
HttpEntity entity2 = course_response.getEntity();
JSONObject jObject = new JSONObject(EntityUtils.toString(entity2));
resp = Integer.parseInt(jObject.getString("status_code"));
return resp;
}
} catch (Exception e) {
e.printStackTrace();
}
return resp;
}
Résumé de la section :
Très bien, cette section sur la deuxième méthode de requête HTTP dans Android, HttpClient, se termine ici. Dans la prochaine section, nous commencerons à apprendre l'analyse XML et JSON. C'est tout pour cette section, merci~