O que é indexação de sites? Como isso acontece? Você pode encontrar respostas para essas e outras perguntas no artigo. A indexação da Web (indexação em mecanismos de busca) é o processo de adição de informações sobre um site ao banco de dados por um robô de mecanismo de busca, que posteriormente é usado para pesquisar informações sobre projetos da Web que passaram por esse procedimento.
Os dados sobre recursos da web geralmente consistem em palavras-chave, artigos, links, documentos. Áudio, imagens e assim por diante também podem ser indexados. Sabe-se que o algoritmo de detecção de palavras-chave depende do mecanismo de busca.
Há algumas limitações nos tipos de informações indexadas (arquivos flash, javascript).
Gestão de Iniciação
Indexar um site é um processo complexo. Para gerenciá-lo (por exemplo, para proibir o anexo de uma página específica), você precisa usar o arquivo robots.txt e instruções como Permitir, Não permitir, Atraso no rastreamento, Agente do usuário e outros.
Além disso, tags e props são usados para indexação, ocultando o conteúdo do recurso dos robôs do Google e Yandex (o Yahoo usa a tag).
No mecanismo de pesquisa Goglle, novos sites são indexados de alguns dias a uma semana e no Yandex - de uma a quatro semanas.
Você deseja que seu site apareça nas consultas de resultados dos mecanismos de pesquisa? Em seguida, deve ser processado por Rambler, Yandex, Google, Yahoo e assim por diante. Você deve informar os mecanismos de busca (spiders, sistemas) sobre a existência do seu site, e então eles irão rastreá-lo no todo ou em parte.
Muitos sites não são indexados há anos. As informações que estão neles não são vistas por ninguém, exceto seus proprietários.
Métodos de processamento
A indexação de um site pode ser feita de várias maneiras:
- A primeira opção é a adição manual. Você precisa inserir os dados do seu site por meio de formulários especiais oferecidos pelos mecanismos de pesquisa.
- No segundo caso, o próprio robô do mecanismo de busca encontra seu site por links e o indexa. Ele pode encontrar seu site por links de outros recursos que levam ao seu projeto. Este método é o mais eficiente. Se um mecanismo de pesquisa encontrar um site dessa maneira, ele o considerará significativo.
Tempo
Indexar o site não é muito rápido. Os prazos variam, de 1 a 2 semanas. Links de recursos autorizados (com excelente PR e Titz) aceleram significativamente a colocação do site no banco de dados do mecanismo de busca. Hoje, o Google é considerado o mais lento, embora até 2012 pudesse fazer esse trabalho em uma semana. ParaInfelizmente, as coisas mudam muito rapidamente. Sabe-se que Mail.ru trabalha com sites nesta área há cerca de seis meses.
Indexar um site nos motores de busca não é possível para todos os especialistas. O momento de adicionar novas páginas ao banco de dados de um site já processado pelos mecanismos de pesquisa é afetado pela frequência de atualização de seu conteúdo. Se novas informações aparecem constantemente em um recurso, o sistema as considera frequentemente atualizadas e úteis para as pessoas. Neste caso, o trabalho dela é acelerado.
Você pode acompanhar o progresso da indexação de um site em seções especiais para webmasters ou em mecanismos de busca.
Alterações
Então, já descobrimos como o site é indexado. Deve-se notar que os bancos de dados dos mecanismos de pesquisa são atualizados com frequência. Portanto, o número de páginas do seu projeto adicionadas a elas pode mudar (tanto diminuir quanto aumentar) pelos seguintes motivos:
- sanções do mecanismo de pesquisa contra o site;
- presença de erros no site;
- alterando algoritmos do mecanismo de pesquisa;
- hospedagem nojenta (inacessibilidade do servidor onde o projeto está localizado) e assim por diante.
Yandex responde a perguntas comuns
"Yandex" é um mecanismo de busca usado por muitos usuários. Ele ocupa o quinto lugar entre os sistemas de busca do mundo em termos de número de solicitações de pesquisa processadas. Se você adicionou um site a ele, pode demorar muito para adicionar ao banco de dados.
Adicionar uma URL não garante sua indexação. Este é apenas um dos métodos pelos quais o robô do sistema é informadosobre um novo recurso. Se houver poucos ou nenhum link para um site de outros sites, adicioná-lo ajudará você a encontrá-lo mais rapidamente.
Se a indexação não ocorreu, você precisa verificar se houve alguma falha no servidor no momento de criar um aplicativo para ele a partir do robô Yandex. Se o servidor relatar um erro, o robô encerrará seu trabalho e tentará completá-lo em uma ordem de ida e volta. Os funcionários do Yandex não podem aumentar a velocidade de adição de páginas ao banco de dados do mecanismo de pesquisa.
Indexar um site no Yandex é uma tarefa bastante difícil. Você não sabe como adicionar um recurso a um mecanismo de pesquisa? Se houver links para ele de outros sites, você não precisará adicionar um site especial - o robô o encontrará automaticamente e o indexará. Se você não tiver esses links, poderá usar o formulário "Adicionar URL" para informar ao mecanismo de pesquisa que o site existe.
Tenha em mente que adicionar um URL não garante que sua criação será indexada (ou indexada).
Muitas pessoas se perguntam quanto tempo leva para indexar um site no Yandex. Os funcionários desta empresa não dão garantias e não prevêem prazos. Como regra, desde que o robô descobriu o site, suas páginas na pesquisa aparecem em dois dias, às vezes em algumas semanas.
Processo
"Yandex" é um mecanismo de busca que requer precisão e atenção. A indexação do site consiste em três partes:
- O robô de pesquisa rastreia páginas de recursos.
- Conteúdo(conteúdo) do site é registrado no banco de dados (índice) do sistema de busca.
- Em 2-4 semanas, após atualizar o banco de dados, você poderá ver os resultados. Seu site aparecerá (ou não) nos resultados de pesquisa.
Verificação de indexação
Como verificar a indexação do site? Existem três maneiras de fazer isso:
- Digite o nome da sua empresa na barra de pesquisa (por exemplo, "Yandex") e verifique todos os links na primeira e na segunda páginas. Se você encontrar o URL de sua ideia lá, o robô concluiu sua tarefa.
- Você pode inserir a URL do seu site na barra de pesquisa. Você poderá ver quantas páginas da internet são mostradas, ou seja, indexadas.
- Registre-se nas páginas de webmasters em Mail.ru, Google, Yandex. Depois de passar na verificação do site, você poderá ver os resultados da indexação e outros serviços do mecanismo de pesquisa criados para melhorar o desempenho do seu recurso.
Por que o Yandex falha?
A indexação de um site no Google é feita da seguinte forma: o robô insere no banco de dados todas as páginas do site, de baixa e alta qualidade, sem selecionar. Mas apenas documentos úteis são incluídos no ranking. E "Yandex" exclui imediatamente todo o lixo da web. Ele pode indexar qualquer página, mas o mecanismo de busca acabará por eliminar todo o lixo.
Ambos os sistemas têm um índice incremental. Ambas as páginas de baixa qualidade afetam a classificação do site como um todo. Há uma filosofia simples em ação aqui. Recursos favoritos de um determinadoo usuário ocupará posições mais altas em sua emissão. Mas esse mesmo indivíduo terá dificuldade em encontrar um site que não tenha gostado da última vez.
É por isso que, primeiro, é necessário cobrir cópias de documentos da web da indexação, verificar se há páginas vazias e evitar que conteúdo de baixa qualidade seja indexado.
Acelera Yandex
Como posso acelerar a indexação de sites no Yandex? Siga estes passos:
- Instale o navegador Yandex em seu computador e use-o para navegar pelas páginas do site.
- Confirme os direitos para gerenciar o recurso no Yandex. Webmaster.
- Poste um link para o artigo no Twitter. Sabe-se que a Yandex coopera com esta empresa desde 2012.
- Adicione pesquisa do Yandex para o site. Na seção "Indexação", você pode inserir seus próprios URLs.
- Digite o código "Yandex. Metrica" sem marcar "Enviar páginas para indexação é proibido".
- Produza um Sitemap que exista apenas para o robô e não seja visível para o público. A verificação começará com ele. O endereço do Sitemap é inserido em robots.txt ou no formulário apropriado em "Webmaster" - "Indexing Settings" - "Sitemap Files".
Ações intermediárias
O que precisa ser feito até que a página da web seja indexada pelo Yandex? O motor de busca doméstico deve considerar o site como a fonte primária. Por isso, mesmo antes da publicação do artigo, é imprescindível acrescentar seu conteúdo à forma de "Textos específicos". Por outro ladoplagiadores copiarão o registro para seu recurso e serão os primeiros no banco de dados. Como resultado, eles serão reconhecidos como autores.
Google Database
Para o Google, as mesmas recomendações que descrevemos acima são adequadas, apenas os serviços serão diferentes:
- Google+ (substituindo o Twitter);
- Google Chrome;
- Google Tools for Programmers - "Scan" - "Look like Googlebot" - opção "Scan" - opção "Index";
- pesquise em um recurso do Google;
- Google Analytics (em vez de Yandex. Metrics).
Proibição
O que é uma proibição de indexação de sites? Você pode sobrepô-lo em toda a página e em uma parte separada dela (link ou pedaço de texto). Na verdade, há uma proibição de indexação global e local. Como é implementado?
Vamos considerar a proibição de adicionar um site à base de dados do mecanismo de pesquisa em Robots.txt. Usando o arquivo robots.txt, você pode excluir a indexação de uma página ou um cabeçalho de recurso inteiro como este:
- User-agent:
- Disallow: /kolobok.html
- Não permitir: /foto/
O primeiro ponto diz que as instruções estão definidas para todos os PSs, o segundo indica que a indexação do arquivo kolobok.html é proibida, e o terceiro não permite adicionar todo o recheio da pasta foto ao arquivo base de dados. Se você precisar excluir várias páginas ou pastas, especifique-as em Robots.
Para evitar a indexação de uma determinada planilha da Internet, você pode usar a metatag robots. É diferente de robots.txto facto de dar instruções a todos os PS de uma só vez. Esta meta tag segue os princípios gerais do formato html. Deve ser colocado no título da página entre as tags. Uma entrada para um banimento, por exemplo, pode ser escrita assim:.
Ajax
Como o Yandex indexa sites Ajax? Hoje, a tecnologia Ajax é usada por muitos desenvolvedores de sites. Claro, ela tem um grande potencial. Com ele, você pode criar páginas da web interativas rápidas e produtivas.
No entanto, o robô do mecanismo de pesquisa "vê" a lista da web de maneira diferente do usuário e do navegador. Por exemplo, uma pessoa olha para uma interface confortável com folhas de Internet carregadas de forma móvel. Para um rastreador, o conteúdo da mesma página pode estar vazio ou apresentado como o restante do conteúdo HTML estático, para o qual os scripts não funcionam.
Você pode usar um URL compara criar sites Ajax, mas o mecanismo de busca não o usa. Normalmente, a parte da URL após oé separada. Isso deve ser levado em consideração. Portanto, em vez de um URL como https://site.ru/example, ele faz um aplicativo para a página principal do recurso localizado em https://site.ru. Isso significa que o conteúdo da planilha da Internet pode não entrar no banco de dados. Como resultado, ele não aparecerá nos resultados da pesquisa.
Para melhorar a indexação de sites Ajax, o Yandex suportou mudanças no robô de pesquisa e nas regras para processar os URLs desses sites. Hoje, os webmasters podem indicar ao mecanismo de pesquisa Yandex a necessidade de indexação criando um esquema apropriado na estrutura do recurso. Para isso você precisa de:
- Substitua o símbolona URL das páginasno !. Agora o robô entenderá que pode solicitar a versão HTML do conteúdo desta planilha da Internet.
- A versão HTML do conteúdo de tal página deve ser colocada em um URL onde ! substituído por ?_escaped_fragment_=.
