关于网站地图爬虫

顾名思义：在网络世界中，只要你有要求，请尽快将你的网站提交给爬虫，爬虫就会努力地去分析抓取你的网站，为你自动生成 Sitemap.html、 Sitemap.txt、 Sitemap.xml等格式的 网站地图，解除你手工制作网站地图的繁琐工作。

常见问题答疑

1、因服务器操作系统原因，暂不支持HTTPS协议。

2、如果出现：ISP提示：标题关键字涉嫌非法信息,已记录并提报国家信息安全中心！字样，请不要惊慌，此信息为ISP服务商反馈，可自行审核网页标题内容。

3、如果出现乱码，请更改字符集提交。

• ---

  如何制作生成网站地图?

  1. 网站地图爬虫使用非常简单，只需要在爬虫首页直接输入您所要生成站点地图的首页网址。

  域名输入项：直接输入网站域名的全部，需要输入www，不要输入http://。

  字符集：您所输入网站的字符集，可用缺省值，如果生成的地图文件汉字显示乱码，如????，您可以在以上下拉框选择utf-8或者iso-8859-1或gb2312或big5，如果您还遇到其它问题请 。

  网站的更新频率：你输入的网站的网页内容更新的频率。

  优先级：所抓取页面在您网站的重要性，告诉搜索引擎抓取的优先级。数值越大，优先级越高。如果选择“自动”，我们将首页置为优先级最高，其它页面优先级置为0.5。优先级只在一个网站的页面之间具有可比性。不同网站之间使用不同的优先级并不影响其排名。

  内链/外链：选择是内链，不选是外链。爬虫依靠您网页中 http://标识来判断内链外链，带 http://开头的它会认为是外链。

  死链判断：选择会读取链接页面，并取出 title标签内容。

  子目录：选择后，允许输入域名+子目录，并读取子目录默认的主网页。

  最近更新时间：所抓取网站的页面的最后更新时间，我们将取今天的日期。

  如果生成的地图文件汉字显示乱码，如????，您可以在以上下拉框选择utf-8或者iso-8859-1，如果您还遇到其它问题可直接发邮件 。

  2. 在点击 按钮后，爬虫即开始做自动生成网站地图的工作，这时候请耐心等待，不必关闭网页。

  3. 爬虫工作结束后会生成链接判断结果页面及网站地图链接。

  4. 您只需将 网站地图文件或 sitemap.xml链接直接下载至您的电脑后，再将此文件（或改名、或稍做加工修改）上传至您的网站即可。

  5. 点击查看 如何提交sitemap.xml?

  【关闭】

• ---

  什么是网站地图?

  网站地图：首先表现形式是一个网页文件，一般是一个html格式的文件，上网人员可以打开阅读它，可以更方便地了解一个网站的内容、布局、架构，给网站浏览者提供了一个很好的方式去快速查找他想找的内容。

  网站地图文件的链接一般放在网站的显眼处，以便于网站浏览者更方便地看到并浏览。

  网站地图同时也为 搜索引擎提供了一个良好的入口去快速遍历网站的所有页面。

  【关闭】

• ---

  什么是sitemap.xml?

  Sitemaps协议使网站能够告知 搜索引擎网站中可供抓取的网址，以便于 搜索引擎google、baidu等更方便地抓取网站。而 sitemap.xml是遵守该协议的包含了一个网站所有链接的xml格式文件。

  sitemap.xml文件可以手工编写，也可以通过软件自动生成，比如通过小爬虫在线生成工具。

  sitemap.xml文件创建好了之后可以提交给各个 搜索引擎。

  【关闭】

• ---

  如何提交sitemap.xml?

  目前只有 google,Yahoo!,MSN支持提交 sitemap.xml。

  百度目前需要登录 百度站长提交XML文件（上传到自己网站，然后提交URL给百度）。

  向 Google提交：通过网址http://www.google.com/webmasters/tools/提交；使用Google账号登陆后，验证您的网站，然后就可以再“sitemap”页面提交了 需要提交的您网站的sitemap地址为：http://www.doman/sitemap.xml

  向 Yahoo雅虎提交：http://siteexplorer.search.yahoo.com 同google

  向 雅虎中国提交网站地图Sitemap，通过网址http://sitemap.cn.yahoo.com/mysites管理提交。

  向 MSN提交：用URL提交 如：http://api.moreover.com/ping?u=http://www.doman/sitemap.xml。

  向 ASK提交：用URL提交 如：http://submissions.ask.com/ping?u=http://www.doman/sitemap.xml。

  向 百度baidu提交：只能提交网站的URL，不支持sitemap.xml http://www.baidu.com/search/url_submit.html

  在你的网站 robots.txt文件中添加: Sitemap:http://www.doman/sitemap.xml

  【关闭】

• ---

  关于网站地图爬虫

  顾名思义：在网络世界中，只要你有要求，请尽快将你的网站提交给爬虫，爬虫就会努力地去分析抓取你的网站，为你自动生成 Sitemap.xml（ 什么是Sitemap.xml?) 网站地图（ 什么是网站地图?)，解除你手工制作网站地图的繁琐工作。
  

  【关闭】

• ---

  意见及反馈

  

微信：tianyi55722 2020 工信部 沪ICP备16016689号