广

ASP编程

  • IOS开发
  • android开发
  • PHP编程
  • JavaScript
  • ASP.NET
  • ASP编程
  • JSP编程
  • Java编程
  • 易语言
  • Ruby编程
  • Perl编程
  • AJAX
  • 正则表达式
  • C语言
  • 编程开发

    写个偷全国公交数据库的程序

    2018-05-03 14:17:29 次阅读 稿源:互联网
    零七广告

      以前常听到别人做采集程序,今天俺也小试身手。。
      using System;
      using System.Collections;
      using System.ComponentModel;
      using System.Data;
      using System.Drawing;
      using System.Web;
      using System.Web.SessionState;
      using System.Web.UI;
      using System.Net;
      using System.Text;
      using System.Text.RegularExpressions;
      using System.IO;
      using System.Data.SqlClient;
      using System.Web.UI.WebControls;
      using System.Web.UI.HtmlControls;

      namespace Temp
      {
       /// <summary>
       /// GetHtmlSourceFromUrl 的摘要说明。
       /// </summary>
       public class GetHtmlSourceFromUrl : System.Web.UI.Page
       {
        private SqlConnection con;
       
        private void Page_Load(object sender, System.EventArgs e)
        {
         // 在此处放置用户代码以初始化页面
        
         if(!IsPostBack)
         {
          InsertToDB();
         }
        
        }
        private void InsertToDB()
        {
        
         for(int i=1;i<1000;i++)
         {
          string Html = string.Empty;
          string SqlText="insert into BeiJingBus(BusLineNumber,Html) Values(@BLN,@Html)";
          string ConnectionString=@"Server=.xxxx;User ID=xxxx;Pwd=xxxxx;DataBase=Map";
          con  =new SqlConnection(ConnectionString);
         
          SqlCommand cmd = new SqlCommand(SqlText,con);
       
          string Url=@"http://beijing.ibusdb.com/?busline="+i+"&s=busline&x=31&y=18"; // ^_^,这是取北京的 转到首页,换换参数,就可以取其它城市的了

          string Content = string.Empty;
         
          HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);
          HttpWebResponse response =(HttpWebResponse) request.GetResponse();
          StreamReader  stream = new StreamReader(response.GetResponseStream(),Encoding.GetEncoding("gb2312"));
          Content =stream.ReadToEnd();
          stream.Close();  
          response.Close();
        
          int start=3487; //去广告 取正文
          int end= Content.Length-4222;//去广告 取正文
          if(end-start>0)  //判断存在第i路公交
          {
            Html=Regex.Replace(Content.Substring(start,end-start),@"<[^>]+>","");  //分离html代码
         
           try
           {
            cmd.Parameters.Add("@BLN",SqlDbType.Int).Value =i;
            cmd.Parameters.Add("@Html",SqlDbType.Text).Value= Html;
            con.Open();
            cmd.ExecuteNonQuery();
           }
           catch(SqlException err)
           {
            Response.Write(err.Message);
            con.Close();
            break;
          
           }
           con.Close();
         
          
          }
         }
        }

       

      --表sql脚本:
      CREATE TABLE [dbo].[BeiJingBus](
       [id] [int] IDENTITY(1,1) NOT NULL,
       [BusLineNumber] [int] NULL,
       [Html] [nvarchar](max) COLLATE Chinese_PRC_CI_AS NULL
      ) ON [PRIMARY]

      不会用签名:http://hi.baidu.com/陈立/blog

    零七网部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与零七网进行文章共享合作。

    零七广告
    零七广告
    零七广告
    零七广告