• 5835阅读
  • 2回复

自己实现个网络爬虫-想从公网自己爬取内容 [复制链接]

上一主题 下一主题
离线ancin
 

只看楼主 倒序阅读 楼主  发表于: 2012-10-25
关键词: C++网络
如题,不用设定URL,程序自己到公网爬去内容,这样能实现吗。(最近看到好多都是必须设置URL才能爬内容,目前的需求是不用设置URL,在全网搜索爬取内容)


最近一直学习QT 和QT相关的东西。


给点指点。


多谢大家指教。
离线XChinux

只看该作者 1楼 发表于: 2012-10-25
不设置URL如何去搜索?你必须给个入口URL啊,顶多是从入口URL,找到一些本站链接,然后再调用。。。。不停递归处理。
二笔 openSUSE Vim N9 BB10 XChinux@163.com 网易博客 腾讯微博
承接C++/Qt、Qt UI界面、PHP及预算报销系统开发业务
离线ancin

只看该作者 2楼 发表于: 2012-10-27
感谢回复, 比如根据dns解析,根据IP段解析,总要指定初始值去深度遍历或者广度遍历。
可行的方法还是要给一个初始值。
快速回复
限100 字节
 
上一个 下一个