robots (攻防世界)

前言:

这篇文章还是是为了帮助一些

像我这样的菜鸟

找到简单的题解

题目描述

进入网址

 

啥也没有

解题工具: 

额...浏览器？

(可能还需要百度)

问题解析:

科普时间到

---

robots协议也称爬虫协议、爬虫规则等,

是指网站建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取,

哪些页面不能抓取,

而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。

但是,这个robots协议不是防火墙,也没有强制执行力,

搜索引擎完全可以忽视robots.txt文件去抓取网页的快照。 

robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

---

只要在网址后查看robots.txt即可

百度如下

 

解题过程:

按照分析察看robots.txt

得到

发现并访问flag_1s_h3re.php

 得到flag

cyberpeace{acdf69593ed2c3f08c0e8314952572e6}

完成