Blog. Just Blog

Новый алгоритм получения Google PageRank

Версия для печати Добавить в Избранное Отправить на E-Mail 11.10.2011 | Категория: Web-мастеру и не только | Автор: ManHunter
Буквально на днях Google поменял алгоритм, по которому генерировалась ссылка для получения показателей Google PageRank. В результате этого отвалились многие сервисы, вспомогательные программы, сторонние тулбары, счетчики и еще бессчетное количество сеошного барахла. Мне было бы глубоко фиолетово на их проблемы, но у меня на сайте тоже используется система автоматического съема значений Google PR. Поэтому пришлось быстренько адаптироваться к новым условиям. Я установил себе гугловский тулбар, быстренько выпотрошил его и получил алгоритм генерации ссылки для получения Google PageRank. Вот как он выглядит на JavaScript:
Code (JavaScript) : Убрать нумерацию
  1. <script type="text/javascript">
  2.  
  3. // Программисты Google явно с юмором :)
  4. var HASH_SEED = "Mining PageRank is AGAINST GOOGLE'S TERMS OF SERVICE. "+
  5.                  "Yes, I'm talking to you, scammer.";
  6.  
  7. // Расчет хэша строки запроса
  8. awesomeHash = function(a) {
  9.     var b = 16909125;
  10.     for (c = 0; c < a.length; c++) {
  11.         b ^= HASH_SEED.charCodeAt(c % HASH_SEED.length) ^ a.charCodeAt(c);
  12.         b = b >>> 23 | b << 9;
  13.     }    
  14.     return '8'+hexEncodeU32(b);
  15. };
  16.  
  17. // Перевод числа в HEX-значение
  18. hexEncodeU32 = function(a) {
  19.     var b = toHex8(a >>> 24);
  20.     b += toHex8(a >>> 16 & 255);
  21.     b += toHex8(a >>> 8 & 255);
  22.     return b + toHex8(a & 255)
  23. };
  24. toHex8 = function(a) {
  25.     return (a < 16 ? "0": "") + a.toString(16)
  26. };
  27.  
  28. // Функция получения ссылки для запроса Google PR
  29. getPageRankLink = function(a) {
  30.     return 'http://toolbarqueries.google.ru/tbr?features=Rank'+
  31.            '&client=navclient-auto-ff&ch='+awesomeHash(a)+'&q=info:'+
  32.            encodeURIComponent(a);
  33. }
  34. </script>
Функция вызывается следующим образом. На входе подается ссылка на страницу, для которой требуется рассчитать Google PageRank, на выходе получаем ссылку, по которой можно узнать результат.
Code (JavaScript) : Убрать нумерацию
  1. <script type="text/javascript">
  2.  
  3. // Пример использования
  4. st='http://www.manhunter.ru/'
  5. alert(getPageRankLink(st));
  6.  
  7. </script>
Результат запроса к гугловскому серверу возвращается в виде строки, например, "Rank_1:1:2". Последняя цифра и есть искомое значение рейтинга страницы. Алгоритм можно без особого труда перевести на другие языки программирования.

Например, вот моя реализация на Ассемблере. В секции данных предварительно подготовим следующие данные:
Code (Assembler) : Убрать нумерацию
  1. section '.data' data readable writeable
  2.  
  3. buff1   rb 500h         ; Буфер для исходной ссылки
  4. buff2   rb 500h         ; Буфер для готовой ссылки
  5. buff3   rb 100h         ; Хэш
  6.  
  7. mask    db '%.8X',0
  8.  
  9. p1      db 'http://toolbarqueries.google.ru/tbr?features='
  10.         db 'Rank&client=navclient-auto-ff&ch=8',0
  11. p2      db '&q=info:',0
  12.  
  13. HASH    db "Mining PageRank is AGAINST GOOGLE'S TERMS OF SERVICE. "
  14.         db "Yes, I'm talking to you, scammer."
  15. h_len   = $-HASH
А вот так вычисляется хэш и составляется ссылка. Код прокомментирован, остальное можно наглядно посмотреть в варианте JavaScript. Подразумевается, что в buff1 уже содержится исходная ссылка.
Code (Assembler) : Убрать нумерацию
  1.         ; Записать первую часть ссылки
  2.         invoke  lstrcpy,buff2,p1
  3.  
  4.         ; Инициализация хэша
  5.         mov     ebx,1020345h
  6.         xor     ecx,ecx
  7.  
  8.         ; Вычисление хэша
  9. .loc_encode:
  10.         mov     al,byte [buff1+ecx]
  11.         or      al,al
  12.         jz      .loc_end_encode
  13.  
  14.         xor     bl,al
  15.  
  16.         push    ecx
  17.         xor     edx,edx
  18.         mov     eax,h_len
  19.         xchg    eax,ecx
  20.         div     ecx
  21.         mov     al,byte [HASH+edx]
  22.         xor     bl,al
  23.         pop     ecx
  24.  
  25.         mov     eax,ebx
  26.         shr     ebx,23
  27.         shl     eax,9
  28.         or      ebx,eax
  29.  
  30.         inc     ecx
  31.         jmp     .loc_encode
  32.  
  33. .loc_end_encode:
  34.  
  35.         ; Добавить в ссылку строку хэша
  36.         invoke  wsprintf,buff3,mask,ebx
  37.         add     esp,12
  38.         invoke  lstrcat,buff2,buff3
  39.  
  40.         ; Добавить вторую часть ссылки
  41.         invoke  lstrcat,buff2,p2
  42.         mov     edi,buff2
  43.         invoke  lstrlen,buff2
  44.         add     edi,eax
  45.         mov     esi,buff1
  46.  
  47.         ; URL-encoded ссылка
  48. .loc_scan:
  49.         lodsb
  50.         or      al,al
  51.         jz      .loc_end
  52.  
  53.         cmp     al,':'
  54.         jne     @f
  55.  
  56.         mov     eax,'%3A'
  57.         stosd
  58.         dec     edi
  59.         jmp     .loc_scan
  60. @@:
  61.         cmp     al,'/'
  62.         jne     @f
  63.  
  64.         mov     eax,'%2F'
  65.         stosd
  66.         dec     edi
  67.         jmp     .loc_scan
  68. @@:
  69.         cmp     al,'?'
  70.         jne     @f
  71.  
  72.         mov     eax,'%3F'
  73.         stosd
  74.         dec     edi
  75.         jmp     .loc_scan
  76. @@:
  77.         cmp     al,'&'
  78.         jne     @f
  79.  
  80.         mov     eax,'%26'
  81.         stosd
  82.         dec     edi
  83.         jmp     .loc_scan
  84. @@:
  85.         stosb
  86.         jmp     .loc_scan
  87.  
  88. .loc_end:
  89.         xor     eax,eax
  90.         stosb
  91.         ; В buff2 теперь находится ссылка для получения PR
В приложении готовый пример программы на Ассемблере, получающий из исходной ссылки новую ссылку для определения Google PageRank.

Пример программы с исходным текстом (FASM)Пример программы с исходным текстом (FASM)

Google.PageRank.Demo.zip (3,047 bytes)


Поделиться ссылкой ВКонтакте
Просмотров: 7183 | Комментариев: 12

Метки: JavaScript, SEO, Assembler
Внимание! Статья опубликована больше года назад, информация могла устареть!

Комментарии

Отзывы посетителей сайта о статье
ManHunter (03.11.2013 в 20:11):
А вот здесь проверяют по разным доменам гугла.
http://msurf.ru/tools/prbydcgoogle/
Видимо надо проверять не по ip, а по доменам с максимальным разбросом.

toolbarqueries.google.com.br -> 74.125.143.103
toolbarqueries.google.com.ar -> 74.125.143.147
toolbarqueries.google.com -> 173.194.71.105
toolbarqueries.google.ua -> 173.194.71.99
toolbarqueries.google.gl -> 74.125.143.99
toolbarqueries.google.com.fj -> 74.125.143.105
toolbarqueries.google.mg -> 74.125.143.103

и так далее
Gleb (30.10.2013 в 18:12):
Скажите пожалуйста, а если мне нужно проверить сайт на разных датацентрах и у меня есть их айпишники, то куда необходимо вставить адрес датацентра?
Я вставлял сюда вместо "toolbarqueries.google.ru" но, к сожалению не работает.
ManHunter (22.10.2013 в 17:27):
Никак не называется. Гугловская самоделка.
Gleb (22.10.2013 в 17:26):
Отлично, JS работает.
Мне бы на С# реализацию...
Как называется использованный алгоритм кодирования?
Jon (20.10.2011 в 18:22):
Шикарно, респект.
ManHunter (17.10.2011 в 16:40):
Jon, выложил решение на Ассемблере.
ManHunter (17.10.2011 в 14:43):
deadlink, ты прежде чем тут подобную хуйню постить, проверил бы на каком-нибудь примере. И не просто проверил, а сравнил бы с результатами работы скрипта на JS, попробовал бы получить данные с гугла и т.д.
deadlink (17.10.2011 в 14:39):
<?php
//by deadlink

/* --- весь бред на PHP вырезан --- */

?>
Jon (15.10.2011 в 00:29):
Буду очень признателен за сорцы на асме ;)
DROOPY (14.10.2011 в 15:38):
Реализация на TCL ;)

set HASH_SEED "Mining PageRank is AGAINST GOOGLE'S TERMS OF SERVICE. Yes, I'm talking to you, scammer."

proc awesomeHash a {
    global HASH_SEED
    set b 16909125
    for {set c 0} {$c < [string length $a]} {incr c} {
        set b [expr $b ^ [scan [string index $HASH_SEED [expr $c % [string length $HASH_SEED]]] %c] ^ [scan [string index $a $c] %c]]
        set b [expr ($b >> 23 | $b << 9)  % 4294967296]
    }     
    return "8[format %08x $b]"
}
ManHunter (10.10.2011 в 16:20):
Такие вещи стоят денег, с учетом того, сколько инструментария буквально в один день стало бесполезным. Решение на Ассемблере могу выложить бесплатно :)
semenov (10.10.2011 в 16:19):
Было бы неплохо реализацию на PHP увидеть

Добавить комментарий

Заполните форму для добавления комментария
Имя*:
Текст комментария (не более 2000 символов)*:

*Все поля обязательны для заполнения.
Комментарии, содержащие рекламу, ненормативную лексику, оскорбления и т.п., а также флуд и сообщения не по теме, будут удаляться. Нарушителям может быть заблокирован доступ к сайту.
Это я :-)
Если программист в девять утра уже на работе, значит он там же и ночевал
Главная страница Web-мастеру и не только Образ мышления: Assembler Мои программы Software Темная сторона Силы Обзоры техники А еще я туда ем! Жизнь в оффлайне Всякая всячина
Карта сайта Ссылки Обратная связь Правила сайта Настройки сайта RSS-канал
Ограничение по возрасту 16+ Материалы, опубликованные на этом сайте, не рекомендуются к просмотру лицам в возрасте до 16 лет без присутствия взрослых.
Метки статей
.NET (30), AJAX (5), Assembler (362), COM (41), CSS (42), Exif (15), FASM (8), Firefox (7), HDD (17), Hello Teddy (9), HTML (52), iconBIT (4), JavaScript (73), MySQL (13), Nikon (19), PDF (10), PHP (122), Samsung (6), SEO (12), Sublime Text (9), TintonLife (4), UGREEN (4), Windows 7 (66), аккумуляторы (23), аксессуары (12), анализаторы файлов (8), архиваторы (6), аттракционы (7), безопасность (55), браузеры (16), бытовая техника (19), варенье (19), ВВЦ (9), ВДНХ (14), видео (20), Воробьевы горы (9), вторые блюда (125), выпечка (29), выставки (119), генератор ПСЧ (10), графика (120), десерты (31), Египет (8), заготовки на зиму (47), закуска (22), закуска к пиву (25), зарядные устройства (24), защита (15), зоопарки (10), игры (36), иконки (22), интерфейс (26), исследование защиты (317), каша (4), клавиатура (7), Коломенское (37), консоль (7), концерты (52), Кузьминки (4), куклы (27), ледяные скульптуры (6), мои программы (69), мониторы (6), музеи (78), мультимедиа (77), мясо (62), напитки (14), ноутбуки (8), обфускация (7), окна (69), оформление сайта (50), парки Москвы (7), песчаные скульптуры (13), плееры (10), подводная съемка (4), поздравления (130), полезные функции (42), прохождения (4), процессы (25), птица (21), путешествия (25), распаковка (22), реверсинг (52), рыба (35), салаты (19), сброс триала (4), сеть (36), система (178), Сокольники (8), соусы (14), супы (14), телефоны (10), Тунис (6), умный дом (13), файлы справки (6), фаст-фуд (18), фестиваль цветов (5), флешки (5), фото (23), хеши (16), числа (8), юмор (12), яйца (19), Яндекс (11)
Вам помог этот сайт?
Сказать спасибо! Поблагодарили 35,338 раз
<< 2024 - ОКТЯБРЬ >>
Пн Вт Ср Чт Пт Сб Вс
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31      
День инфобизнесмена
День работника сельского хозяйства и перерабатывающей промышленности
Нашли на сайте орфографическую ошибку? Выделите ее мышкой и нажмите
Ctrl
+
Enter
Буду очень благодарен, если размеcтите мою кнопочку:
Личный блог ManHunter'а
Valid CSS Valid XHTML 1.0 Transitional Valid mobileOK Basic Valid RSS
Яндекс тИЦ: {YANDEX_TIC} Яндекс ИКС: 360
Сейчас я слушаю
---
Имя:

Сообщение:

Осталось символов: 200

   
-
Наверх
Powered by PCL's Speckled Band Engine 0.2 RC3
© ManHunter / PCL, 2008-2024
При использовании материалов ссылка на сайт обязательна
Время генерации: 0.09 сек. / MySQL: 2 (0.0041 сек.) / Память: 4.5 Mb
Наверх