В webmasters/tools гугла добавилась новая услуга - "Просмотреть как Googlebot"

Обратили внимание, что Googlebot берёт не всю страницу, а только до 100кб текста.

Неужели только 100кило?

Может кто знает сколько всё-таки гуглобот максимум байт берёт со страницы?

За ранее спасибо.

Песочница
Обычно применяется к новым сайтам, появившимся в течении последнего года. Благодаря этому фильтру страницы не попадают в результаты поиска по высококонкурентным фразам, хотя по редким фразам сайт может присутствовать в выдаче. Гугль использует систему называемую "степень доверия", в основе которой авторитетность сайтов, ссылающихся на ваш новый сайт. Для того, чтобы поскорее выбраться из песочницы необходимо заиметь побольше таких авторитетных ссылок. Это нелегко, а иногда и практически невозможно. Тогда можно попробовать расширить контент сайта, чтобы взять не качеством а количеством на редких фразах.

-30
Применяется гуглeм к сайтам, которые используют черные методы, такие кaк дорвеи и редиректы при помощи javascript. Когда гугль обнаруживает такое на вашем сайте, то ваш сайт понижается нa 30 позиций. Чтобы обойти этот фильтр, как правило, достаточно убрать редирект.

Bombing
Применяется к сайтам, которые имеют большое количество входящих ссылок с одним и тем же текстом. Гугль справедливо полагает, что это неестественно, что везде текст ссылки один и тот же. Если гугль уже применил этот фильтр, то наверное лучше всего будет написать запрос на повторное включение сайта. Если вы опасаетесь, что этот фильтр вот-вот будет применен к вашему сайту, то можно попросить людей изменить ссылки на вас или купить несколько ссылок с разнообразным текстом.

Дублирующийся контент
Фильтр применяется к сайтам, которые используют заимствованный контент, который уже публиковался на других сайтах. В случае применения этого фильтра к сайту, сайт обесценивается и если он не имеет достаточное количество весомых входящих ссылок, то ваш сайт попадает в "опущенные результаты", которые выдаются пользователю только если он нажмет на одноименную ссылку на последней странице. Главные действия по преодолению этого фильтра должны быть направлены на удаление дублирующегося контента. Напишите письма тем, кто воспользовался вашим контентом, с требованием убрать ваш контент, напишите их хостерам, пожалуйтесь гуглю в конце концов.

Дополнительные результаты
Гугль может проиндексировать ваши страницы и поместить их в под-индекс. Страницы помещенные туда не считаются гуглем достойными, но они используются в случаях, когда у гугля недостаточно хороших страниц для запроса. Чтобы избежать этого фильтра обычно достаточно нескольких входящих ссылок.

Возраст домена
Этот фильтр тесно связан с "песочницей". В его основе лежит предположение, что более старые домены имеют больше доверия, чем только что появившиеся. Повлиять тут на что либо трудно, поправить ситуацию могут ссылки с авторитетных сайтов. Можно еще перекупать старые домены.

Опущенные результаты
Страницы вашего сайта могут попадать в опущенные результаты поиска и будут показаны только если пользователь долистает до последней страницы и нажмет одноименную ссылку, что крайне маловероятно, т.е. фактически ваши страницы выпадают из поиска. Причины попадания туда - недостаток входящих ссылок, дублирующийся контент, дублирующиеся заголовки страниц и метатеги, а также слабая внутренняя перелинковка страниц. Чтобы исправить ситуацию измените метатеги и заголовки страниц, исправьте дублирующийся контент и добавьте внешних ссылок.

Степень доверия
Подобно PR(PageRank) степень доверия (Google Trust Rank) имеет множество влияющих факторов. Из известных факторов можно отметить возраст сайта, количество авторитетных входящих ссылок, количество исходящих ссылок, качество внутренней перелинковки. Все сайты проходят через этот фильтр и если ваш Trust Rank низкий, то это неативно повляет на ваши позиции в результатах поиска. Как новый так и старый сайт могут иметь одинаково высокий или низкий Trust Rank. Для того чтобы его повысить оптимизируйте остальные известные факторы, влияющие на степень доверия.

links.htm
Этот фильтр наказывает сайты, которые были замечены во взаимном обмене ссылками. Обмен ссылками - эта старый способ повысить позицию в гугле, который не поощряется гуглем. Вместо использования links попробуйте назвать страницу по-другому, например coolsites. Взаимный обмен ссылками теперь не так эффективен как когда-то, возможно стоит и вообще отказаться от этой практики.

Ссылочные фермы
Ссылочные фермы - это сайты (или страницы), которые содержат огромное количество ссылок, как правило совершенно различной тематики, перелинкованные между собой беспорядочно. Участие в подобной ферме может сильно понизить позиции сайта или вообще сайт может быть забанен. Способ борьбы с этим явлением только один - не участвовать в таких махинациях.

Социтирование
Этот фильтр анализирует структуру внешних ссылок на ваш сайт. Если рядом со ссылками на ваш сайт находятся ссылки на порно и онлайновые казино, то гугль посчитает, что ваш сайт тоже связан с порно и казино. Это может повредить действительной теме сайта и он будет понижен по релевантным этой теме фразам. Для того чтобы этого не произошло нужно тщательно проверять места, где вы покупаете ссылки.

Много ссылок сразу
Этот фильтр блокирует сайт когда у него слишком быстро растет число внешних ссылок. Это может привести к полному бану сайта всеми поисковиками. Чтобы этого не произошло следует осторожно покупать ссылки и не использовать ссылочный спам.

Завал страниц
Суть фильтра в том, что нормальный сайт не может разрастаться слишком быстро и если у какого-то сайта число страниц увеличивается крайне быстро, то это скорее всего искусственно сгенерированный контент не достойный внимания поисковика. Некоторые считают что 5000 страниц в месяц - это предел, однако многие полагают, что эта цифра может зависеть от различных факторов. Результатом работы этого фильтра может быть помещение страницы в "опущенные результаты", а иногда в особо тяжелых случая к полному бану сайта. Если ваш сайт берет контент из открытых источников или динамически формарует страницы следите за тем, чтобы число новых страниц не превышало 5000 в месяц чтобы не попасть под действие этого фильтра. В зависимости от того насколько большой и известный у вас сайт эта цифра может варьироваться, но в любом случае стоит помнить об этом фильтре и не увлекаться созданием новых урлов.

Чрезмерная оптимизация
Под действие этого фильтра могут попасть сайты напичканные ключевыми фразами, со слишком высокой плотностью ключевиков, со слишком близким расположением ключевых слов, с перегруженными мета-тегами. Рекомендация лишь одна - не переборщите с оптимизацией своего сайта.

Говорят что все проблемы в индексе Гугля происходят изза фильтрации поисковиком множества сайтов, формально подходящих под условия запроса. Причины по которым они вызывающие сомнения и подозрения у google покрыты тайной. Хотел бы предложить оживить форум поговорив о всех этих сомнениях и подозрениях.
Говорят их много.
Нет ни одного доказательства истинности существования, то есть пресс-релизы Google объявляют только о том, что фильтры существуют, а сам список основывается скорее на идеях, теориях и предположениях, построенных исходя из опыта оптимизации поисковых систем.

Вот пару из них:

Время ожидания ответа от URL-адресов истекло
Этот фильтр очень прост. Если поисковый бот гугля не дождется страницы в течение определенного времени, он эту страницк просто проигнорирует. Что приведет к тому - страница не попадет в индекс. Утверждают, что такие страницы никогда не попадут в результаты поиска Google.

Битые ссылки
Битые внутренние ссылки приводят к тому что поисковый бот не может получить содержимое страницы, и соответственнo закешировать ее и пoместить в индекс. Eсли ваша главная страница не имeeт ссылок со всех других страниц вашего сайта это может плохо сказаться на результатах поиска и нa общих показателях качества вaшего сайта наподобие PR. Это не только плохо с точки зрения SEO и с точки зрения дизайна сайта. Это также плохо для ваших посетителей, что может привести к снижению трафика и плохим позициям в поисковиках. Убедитесь, что у вашего сайта правильный нижний колонтитул, что карта сайта содержит все ваши страницы и проверьте свoй сайт на нaличие битых, несуществующих или перенеснных ссылок.

....