:::..Brecha_hacKER..:::

Muitas vezes você precisa ver alguns diretórios web. Mas é difícil encontrá-lo fora como um servidor pode conter incontável numero de diretórios nele.
Mas um buraco importante neste segurança é o Robots.txt

O que é Robots.txt

Robot.txt é o arquivo no [wwwroot] de um servidor para definir os Bots a funcionalidade do site. Há muitos Bots na internet, como os mais famosos são de pesquisa do Google Motor BOT aka Google Aranha, Yahoo Bot Search Engine e muitos outros. querobots.txt fazer é que dá ordens para o Bot sobre como aranha no site ....

Agora você pode perguntar o que é o uso de Robots.txt arquivo.
Bem, é usado por webmasters para adicionar funcionalidade para os bots futuras no site e lá também para esconder os diretórios do site e onde o Bot não deve ir e aranha.

Analisando Robots.txt para coisas Hacking

Bem, é muito simples, a primeira pergunta que você

gostaria de pedir é onde está localizado robots.txt?
A resposta é a sua no [wwwroot].
não entendem até que, no entanto, a sua no diretório principal.
Vamos dar o exemplo de Hacker The Dude site ;)

http://www.hackerthedude.blogspot.com/robots.txt

Vá em frente e digite-o na barra de endereços do seu navegador , então o que você vê,

Você vê que, este é o Robots.txt para o hacker no site cara Agora vamos primeiro analisar este Robots.txt

Primeira Linha: -

User-agent: Mediapartners-Google

Isto significa que as afirmações acima são dados para o motor de busca Google Bot ie Google Aranha.

Segunda Linha: -

Disallow:

Isso significa que nada é permitido ao Google Bot, Lembre-se dessas ordens são dadas para o Google bot bots não apenas outros.

Terceira linha: -

User-agent : *

Isso significa que agora todos os robôs que vêm para o blog vai seguir estes rules.note que as regras anteriores foram para o Google Bot só.

Quarta linha: -

Disallow: / search

Isto significa que todos os bots não irá aranha os arquivos no diretório / pesquisa no Blog seguinte.

Quinta linha: -

Mapa do Site : http://hackerthedude.blogspot.com/feeds/posts/default?orderby=updated

Este é basicamente o mapa do site meus blogs. Não é muito importante.

Demonstração de Trabalho

Agora vamos teste Robots.txt arquivos de vários sites bem conhecidos.

1. Meu favorito = Google!

Link

Agora que você veria algumas muito úteis ligações em que, por exemplo, nas Termas de a pirataria é muito útil para saber mais sobre a nossa vítima.

Permitir: / profiles

Disallow: / katrina?

Disallow: / tbproxy /

Inferno, o Google sabe Katrina Kaif: D

Conclusão

Agora que você viu a demonstração de trabalho e os usos e ler todo o artigo, então você poderia ter certeza de como vamos encontrar a vulnerabilidade em um site, mesmo sem ter que fazer hacks primeiro-lo. btw Eu amo Robos.txt

 

================================================

 

POSTAGEM ORIGINAL

 

How To View Hidden Directories In A Website Using Robots.txt

Many a times in hacking you need to know the web directories. But its hard to find it out as a server might contain uncountable no. of Directories in it.
But a major hole in this security is the Robots.txt

What is Robots.txt

Robot.txt is the file in the [ wwwroot ]of a server to define the Bots the Functionality on the website.
There are many Bots on the internet like the most famous are Google Search Engine BOT aka Google Spider , Yahoo Search Engine Bot and many others.
What robots.txt do is that it gives orders to the Bot on how to spider on the website….

Now you may ask what’s the use of Robots.txt file.
Well it is used by webmasters to add functionality to the upcoming bots on there website and also to hide the directories in the website and where the Bot should not go and spider.

Analyzing Robots.txt For Hacking Stuff

Well its really simple, the first question you would ask is Where is robots.txt Located ?
The answer is its in the [ WWWROOT ].
Don't Understand till yet , its in the main Directory.
Lets take the example of Hacker The Dude Website ;)

http://www.hackerthedude.blogspot.com/robots.txt

Go Ahead and type it in the Address bar of your Browser then what do you see,

Do you see that , this is the Robots.txt for the Hacker the dude website Now lets first Analyze this Robots.txt

First Line :-

User-agent: Mediapartners-Google

This means that the above statements are given for the Google Search Engine Bot i.e. Google Spider.

Second Line :-

Disallow:

This mean that nothing is disallowed to the Google Bot, Remember these Orders are given to the Google bot only not other bots.

Third Line :-

User-agent: *

This means that now all the bots coming to the blog will follow these rules.note that previous rules were for only Google Bot.

Fourth Line :-

Disallow: /search

This means that all the bots will not spider the files under the directory /search in the following Blog.

Fifth Line :-

Sitemap: http://hackerthedude.blogspot.com/feeds/posts/default?orderby=updated

This is basically my blogs sitemap. Not very important.

Working Demo

Now lets test Robots.txt files of various well known websites.

1. Mine Favorite = Google !!

LINK

Now you would see some very useful links in it for example, in termas of the hacking its very useful to know more about our Victim.

Allow: /profiles

Disallow: /katrina?

Disallow: /tbproxy/

Hell, Google Knows Katrina Kaif :D

Conclusion

Now that you have seen the working demo and the uses and the read the whole article then you would be pretty sure on how we are going to find the vulnerability in a website without even first hacking it.
btw I Love Robos.txt

Creditos 

@hackerthedude