Todo webmaster sabe que para que as pessoas comecem a visitar seu recurso a partir de mecanismos de busca, ele precisa ser indexado. Sobre o que é indexação de sites, como é realizada e qual é o seu significado, contaremos neste artigo.
O que é indexação?
Então, a palavra "indexação" em si significa inserir algo no cadastro, um censo dos materiais que estão disponíveis. O mesmo princípio se aplica à indexação de sites. Na verdade, esse processo também pode ser chamado de inserir informações sobre recursos da Internet no banco de dados dos mecanismos de pesquisa.
Assim, assim que o usuário digitar outra frase no campo de busca do Google, o script retornará um resultado para ele, incluindo o título do seu site e sua breve descrição, que vemos abaixo.
Como é feita a indexação?
A indexação em si ("Yandex" é, ou Google - não desempenha um papel) é bastante simples. Toda a web da Internet, com foco no banco de dados de endereços IP que os mecanismos de busca possuem, é escaneada por poderosos robôs - "spiders" que coletaminformações sobre seu site. Cada um dos motores de busca tem um grande número deles, e eles funcionam automaticamente 24 horas por dia. A tarefa deles é ir ao seu site e "ler" todo o conteúdo dele, enquanto insere os dados no banco de dados.
Conseqüentemente, em teoria, a indexação do site não depende muito do proprietário do recurso. O fator decisivo aqui é o robô de busca que chega ao site e o explora. Isso é o que afeta a rapidez com que seu site aparece nos resultados de pesquisa.
Termos de indexação?
Claro, é benéfico para cada webmaster que seu recurso apareça nos resultados de pesquisa o mais rápido possível. Isso afetará, em primeiro lugar, os prazos para levar o site às primeiras posições e, em segundo lugar, quando começam as primeiras etapas de monetização do site. Assim, quanto mais cedo o robô de busca "comer" todas as páginas do seu recurso, melhor.
Cada mecanismo de pesquisa possui seu próprio algoritmo para inserir dados do site em seu banco de dados. Por exemplo, a indexação de páginas no Yandex é realizada em etapas: os robôs verificam os sites constantemente e depois organizam as informações, após o que ocorre a chamada “atualização”, quando todas as alterações entram em vigor. A regularidade desses eventos não é estabelecida pela empresa: eles são realizados uma vez a cada 5-7 dias (em regra), mas podem ocorrer com 2 e 15 dias de antecedência.
Ao mesmo tempo, a indexação do site no Google segue um modelo diferente. Neste motor de busca, tais “atualizações” (atualizações de base) ocorrem regularmente, portanto, aguarde cada vez que os robôs insiram as informações no banco de dados e, em seguida,será pedido a cada poucos dias, não precisa.
Com base no exposto, podemos tirar a seguinte conclusão: as páginas no Yandex são adicionadas após 1-2 "atualizações" (ou seja, em 7-20 dias em média), e no Google isso pode acontecer muito mais rápido - literalmente em dia.
Ao mesmo tempo, é claro, cada mecanismo de busca tem suas próprias peculiaridades de como a indexação é realizada. O Yandex, por exemplo, possui o chamado "bot rápido" - um robô que pode inserir dados no problema em poucas horas. É verdade que não é fácil fazê-lo visitar seu recurso: trata-se principalmente de notícias e vários eventos de alto perfil que se desenvolvem em tempo real.
Como entrar no índice?
A resposta para a questão de como indexar seu site nos mecanismos de busca é simples e complexa. A indexação de páginas é um fenômeno natural, e se você nem pensa nisso, mas apenas, digamos, mantenha seu blog, preenchendo-o gradualmente com informações, os mecanismos de pesquisa “engolirão” seu conteúdo perfeitamente ao longo do tempo.
Outra coisa é quando você precisa acelerar a indexação de páginas, por exemplo, se tiver uma rede dos chamados "satélites" (sites criados para vender links ou colocar anúncios, cuja qualidade costuma ser pior). Nesse caso, você precisa tomar medidas para que os robôs percebam seu site. São considerados comuns: adicionar a URL do site a um formulário especial (chamado "AddUrl"); executar o endereço do recurso através dos diretórios de links; adicionar endereço aos diretóriosmarcadores e muito mais. Existem inúmeras discussões em fóruns de SEO sobre como cada um desses métodos funciona. Como mostra a prática, cada caso é único e é difícil encontrar com mais precisão os motivos pelos quais um site foi indexado em 10 dias e o outro em 2 meses.
Como acelerar o acesso ao índice?
No entanto, a lógica por trás de colocar um site no índice mais rapidamente é baseada em links para ele. Em particular, estamos falando sobre a configuração de URLs em sites gratuitos e públicos (marcadores, diretórios, blogs, fóruns); sobre a compra de links em sites grandes e populares (usando a bolsa Sape, por exemplo); bem como adicionar um mapa do site ao formulário addURL. Talvez existam outros métodos, mas aqueles que já foram listados podem ser chamados com segurança de mais populares. Lembre-se, em geral, tudo depende do site e da sorte de seu dono.
Quais sites são indexados?
Segundo a posição oficial de todos os buscadores, os sites que passam por uma série de filtros entram no índice. Ninguém sabe quais os requisitos que este último contém. Sabe-se apenas que com o tempo todos eles melhoram de forma a filtrar pseudo-sites criados para ganhar dinheiro vendendo links e outros recursos que não trazem informações úteis para o usuário. Obviamente, para os criadores desses sites, a principal tarefa é indexar as páginas o máximo possível (para atrair visitantes, vender links etc.).próximo).
Quais recursos os mecanismos de pesquisa proíbem?
Com base nas informações anteriores, podemos concluir quais sites têm maior probabilidade de não entrar nas SERPs. A mesma informação é expressa por representantes oficiais dos motores de busca. Em primeiro lugar, são sites que contêm conteúdo não exclusivo, gerado automaticamente e que não é útil para os visitantes. Seguem-se recursos em que há um mínimo de informação, criados para vender links e assim por diante.
Verdade, se você analisar os resultados dos mecanismos de busca, poderá encontrar todos esses sites nele. Portanto, se falamos de sites que não estarão presentes nos resultados da pesquisa, devemos observar não apenas o conteúdo não exclusivo, mas também uma série de outros fatores - muitos links, estrutura mal organizada e assim por diante.
Ocultando conteúdo. Como desativar a indexação de página?
Os mecanismos de pesquisa rastreiam todo o conteúdo do site. No entanto, existe uma técnica pela qual você pode restringir o acesso de robôs de pesquisa a uma seção específica. Isso é feito usando o arquivo robots.txt, ao qual reagem as "aranhas" dos mecanismos de pesquisa.
Se este arquivo for colocado na raiz do site, a indexação das páginas será feita de acordo com o script que está escrito nele. Em particular, você pode desabilitar a indexação com um único comando - Disallow. Além dele, o arquivo também pode especificar seções do site às quais essa proibição se aplicará. Por exemplo, para proibir o índice de todo o site, basta especificaruma barra "/"; e para excluir a seção “loja” dos resultados da pesquisa, basta especificar a seguinte característica em seu arquivo: “/loja”. Como você pode ver, tudo é lógico e extremamente simples. A indexação de páginas fecha com muita facilidade. Ao mesmo tempo, os robôs de pesquisa visitam sua página, leem robots.txt e não inserem dados no banco de dados. Assim, você pode manipular facilmente para ver certas características dos sites na pesquisa. Agora vamos falar sobre como o índice é verificado.
Como posso verificar a indexação da página?
Existem várias maneiras de descobrir quantas e quais páginas estão presentes no banco de dados Yandex ou Google. A primeira - a mais simples - é definir a solicitação correspondente no formulário de pesquisa. Fica assim: site:domen.ru, onde em vez de domen.ru você escreve, respectivamente, o endereço do seu site. Quando você fizer tal solicitação, o mecanismo de pesquisa mostrará todos os resultados (páginas) localizados na URL especificada. Além disso, além de simplesmente listar todas as páginas, você também pode ver o número total de materiais indexados (à direita da frase "Número de resultados").
A segunda maneira é verificar a indexação da página usando serviços especializados. Há agora um grande número deles, de improviso eles podem ser chamados de xseo.in e cy-pr.com. Nesses recursos, você pode não apenas ver o número total de páginas, mas também determinar a qualidade de algumas delas. No entanto, você só precisa disso se tiver um entendimento mais aprofundado desse tópico. Como regra, estas são ferramentas profissionais de SEO.
Sobre indexação "forçada"
Gostaria também de escrever um pouco sobre o chamadoIndexação "forçada", quando uma pessoa tenta direcionar seu site para o índice usando vários métodos "agressivos". Os otimizadores não recomendam fazer isso.
Os mecanismos de pesquisa, no mínimo, percebendo atividade excessiva associada a um novo recurso, podem impor algum tipo de sanções que afetam negativamente o estado do site. Portanto, é melhor fazer tudo para que a indexação das páginas pareça o mais orgânica, gradual e suave possível.
