воскресенье, 20 сентября 2015 г.

Как Google использует рейтеров для улучшения работы поиска?

Перевод довольно неплохого видео от инженера Google о том, чем же занимаются рейтеры.


Мэтт Каттс: Всем привет, я Мэтт Каттс, отвечу еще на один вопрос про работу поискового механизма Google. Сегодня у нас очень интересный вопрос из Сан-Франциско, Калифорния: Расскажите, пожалуйста, подробнее про то, как Google использует работу рейтеров в своем поисковом алгоритме?

Хороший вопрос. Постараюсь его немного уточнить сначала. Я так полагаю, что под «рейтерами» вы имеете в виду людей, которых нанимает Google, а не о тех кто блокирует результаты в поисковой выдаче, или использует расширение для Chrome, чтобы что-то заблокировать. Вы говорите именно о тех, кто оценивает результаты поисковой выдачи.
Я также предположу, что вы не имеете в виду людей, занимающихся спамом. На этот счет у меня есть другие видео о том, как Google разбирается со спамом и использует для этого ручную оценку. Но здесь мы поговорим именно об оценке.

Рейтеры на деле не используются для того, чтобы напрямую воздействовать на ранжирование поисковой выдачи, поэтому стоит поговорить о том, чем же они на самом деле занимаются. Я не состою в команде оценки качества поисковой выдачи, а работаю с веб-спамом, но я могу объяснить суть процесса, в котором участвуют рейтеры.

Положим, у инженера, работающего над поисковым алгоритмом, появилась новая идея. Он думает: «Ага, я могу оценивать эти имена чуть по-другому, если я поменяю их местами, потому что в венгерском или японском языках это может реально улучшить качество поиска…» В таком случае мы берем большое количество ссылок, и говорим «так, вот эта плохая, эта хорошая, это спам…». И сотням рейтеров дается задание оценить определенную ссылку и сказать, хорошая она, плохая, спам ли, полезна ли она для юзера, и все такое. Мы получаем эти оценки, у инженера есть идея, и он говорит «Ок, я изменю алгоритм».

Он меняет алгоритм и проводит тестирование на своем компьютере или во внутренней корпоративной сети, и может тестировать целую кучу запросов. А затем смотрит, какие результаты изменились. Он смотрит на результаты, которые изменились, на их оценку и может сказать, повлияло ли изменение алгоритма положительно на качество поиска. Если люди оценили результаты после изменений чуть лучше, то это хороший знак для инженера, он на правильном пути. Это не значит, что все идеально. Например, рейтеры могут упустить какой-то спам, или некоторые могут не заметить какие-то вещи, но в общем мы можем надеяться, что если алгоритм выводит новый сайт, то этот новый сайт будет оценен выше, чем тот, был до этого.

Представим, что все выглядит замечательно, что идея выглядит, как очень полезная такая себе идея. Тогда инженер, вместо того, чтобы просто делать внутреннее тестирование, готов к оценке запуска алгоритма. Тогда они генерируют так называемые Side by Side (сравнение сторон, результатов выдачи «бок о бок») задания для рейтеров, где просят их оценить, насколько полезна каждая сторона. И эта оценка сторон выглядит именно так, как и звучит. И это слепая оценка. Слева у вас будет один сет результатов, справа другой. И человеку дается поисковый запрос, а также сет поисковой выдачи.

Что делает рейтер? Он говорит «Я предпочитаю левую сторону» или «Я предпочитаю правую сторону». В идеале он также дает комментарий вроде «Да, номер 2 это спам» или «Номер 4 очень очень полезен».
Замечу, что рейтер не знает какая сторона соответствует старому, а какая – новому алгоритму. Поэтому это самый настоящий слепой тест. По результатам этого теста инженер смотрит, что имеет тенденцию оцениваться намного лучше с новым алгоритмом или намного хуже. Потому как если стороны оценены как примерно одинаковые, это не дает ему так уж много информации о том, насколько хороша его идея.
Поэтому он смотрит на выдающиеся различия, и размышляет, к примеру: «Так, теряются ли при новом механизме навигационные домашние страницы? А при вот этом запросе становится ли все сильно хуже?» А затем он может посмотреть на комментарии рейтеров, и увидеть, заметны ли им положительные изменения. Если все выглядит довольно неплохо, дальше мы можем отправить это изменения алгоритма на живой эксперимент, в котором мы берем небольшой процент обычных юзеров, и когда они пользуются поиском, даем им новые результаты.

Дальше мы смотрим, есть ли тенденция, что люди чаще кликают на новые результаты, нравятся ли им эти результаты больше, судя по результатам различных измерений, которые мы используем. И если все так, то это тоже хороший знак.
Опять стоит заметить, что люди могут ошибаться. Например, рейтеры и простые юзеры не всегда могут распознать спам. Так, мы можем ввести изменения, которые избавятся от целой кучи спама, а люди все равно будут думать, что ничего хорошего не произошло. Так что это определенно не замена интуиции и опыта, который есть у наших инженеров поиска; но тем не менее мы очень серьезно относимся как к результатам оценок рейтеров, так и ко мнению аналитиков, оценивающих эти результаты. И мы хотим быть уверены в том, что запускаем изменение, которое в общем будет большим улучшением, или хотя бы просто улучшением для обычного пользователя.

Так что теперь вы знаете, что если я оцениваю правую или левую сторону лучше, это не меняет алгоритм. На деле рейтеры используются для того, чтобы в составе группы оценщиков сказать, думают ли они что это изменение будет лучше или хуже. Но эти рейтинги не влияют напрямую на результаты поисковой выдачи.

Так что это очень хороший вопрос, рад, что вы его задали, и рад, что у меня была возможность поговорить о вопросах, которые поднимают инженеры, вводя изменения в алгоритм поиска, а также развенчать развеять неправильное представление о том, что якобы существует группа оценщиков, которые оценивают что-то как «плохой результат» и этот результат начинает опускаться в рейтинге – нет, этого не происходит. Единственный случай, когда что-то подобное происходит – это когда мы занимаемся веб-спамом, а это абсолютно другая группа. И об этом я говорю в других видео. Так что надеюсь, что это помогло, и что вы теперь знаете чуть больше о процессе внесения изменений в поисковый алгоритм, а также о том, как мы используем работу оценщиков и как их экспертиза помогает улучшить поисковые результаты.

Спасибо за внимание.
Открытые позиции - здесь.

пятница, 5 декабря 2014 г.

Appen Butler-Hill

 Appen Butler-Hill - еще одна крупная компания, специализирующаяся на краудсорсинге.
 
Для России в поиске находятся две довольно стандартные (и с первого взгляда непонятно, чем отличающиеся) позиции: Web Search Evaluaror и Crowdsourcing.

четверг, 20 ноября 2014 г.

Группа ВКонтакте Leapforce

Сегодня читала прекрасную статью одной девушки, работавшей долгое время с Leapforce. В том числе она говорит и об общении работников, о том, что она была ярым фанатом чата на их сайте (которым я ни разу не пользовалась), и что он ей очень помогал.

Вообще, мне нравится, что поддержка Leapforce стала частенько присылать разборы разных ситуаций, это здорово помогает, особенно новым работникам, думаю, это придется кстати. Но, думаю, иногда хочется и с живым человеком что-то пообсуждать и послушать отзывы.

В общем, есть идея общаться в группе ВКонтакте. Я давно ее создала, но ничего особо с ней не делала, а сейчас подумала, что можно ее так использовать.

Так что вступайте - http://vk.com/leapforce
Есть мысли сделать группу закрытой, чтобы можно было более приватно что-то обсуждать.
Посмотрю, будет ли интерес к такой форме общения, там определимся.

вторник, 18 ноября 2014 г.

Как правильно внести реквизиты для перевода от Leapforce

Время от времени задают вопросы о том, как правильно внести реквизиты для перевода. Особенно много проблем возникают с валютными переводами (там и банки-посредники, и свифт-коды какие-то непонятные).

Решила вынести в отдельный пост мой недавний ответ на такой вопрос на примере Leapforce - у них как-то особенно много всего нужно заполнить. В примере будут использованы реквизиты банка Тинькофф Кредитные Системы.

вторник, 7 октября 2014 г.

Важно! Leapforce и различные хитрожопые ребята

Привет,

Хотела сейчас написать о том, что Lionbridge обновились и теперь их вакансии для России находятся здесь, но случайно у себя в статистике заметила вот такой чудный пример морального уродства, о котором срочно захотелось написать.

Вот по этой ссылке (уверена, эта особа женского пола не одна такая) предлагают сдать за вас экзамен в Leapforce за деньги. Еще и имеет наглость ссылаться на мой пост про Leapforce, вроде как информация на сайте только на английском, но вот тут, значит, можно почитать, что это все по-честному.

ВНИМАНИЕ! Если вы кому-то заплатите за то, что за вас сдадут экзамен, это будет просто-напросто сливание денег в унитаз. Уж не знаю, сколько она берет за сдачу экзамена, но в любом случае вам это будет невыгодно.

Если вы сами не можете сдать экзамен, то вам скорее всего очень быстро ограничат количество работы из-за недостаточного уровня, а вскоре и просто уволят. Сдать экзамен - несложно! У меня даже целый пост есть с советами, как это сделать самостоятельно. Если не получается сдать экзамен в Leapforce, значит, возможно, уровень ваш этой работе не совсем соответствует, и пришло время рассмотреть что-то попроще.

И да, не забываем про этичность.
Все вокруг платят за экзамены в универе, за права, а теперь еще за то, чтобы на подработку устроиться? хм... а потом жалуемся, "ну что за страна! ездят все как попало, врачи ни хрена не разбираются, совершают халатные ошибки, работники в любой инстанции настолько непрофессиональные, что плакать хочется". Начинаем с себя, ребята.

Хотите кому-то отдать своих денег, лучше поддержите этот блог :)

воскресенье, 8 июня 2014 г.

Экзамен в Leapforce. Советы по прохождению квалификации.

Пройти квалификационный экзамен в Leapforce непросто, однако при соответствующей подготовке это сделать не так сложно, как кажется сначала.
На прохождение экзамена дается неделя. Перед выполнением экзамена необходимо освоить довольно объемный учебник с правилами оценки поисковой выдачи (Guidelines). Внимательное чтение учебника - залог успешной сдачи экзамена :) На его освоение понадобится пара дней, так что не откладывайте до последнего. 
Если с первой попытки сдать не получится, у вас будет шанс на повторную сдачу, но это может отложить начало вашей работы на пару недель или даже больше.

Экзамен состоит из трех частей:
1) Теоретическая часть
2) Практическая часть 1 (оценка качества страницы)
3) Практическая часть 2 (оценка полезности выдачи)
Доступ к каждой следующей части возможен только после успешного прохождения предыдущего этапа. После каждого этапа вам приходит уведомление на почту об успешности прохождения (в тот же день), после окончания последнего этапа результатов нужно ждать несколько дней (точные сроки будут указаны в письме).
Хорошая новость - при выполнении заданий можно (и даже рекомендуется) пользоваться учебником.

Как заполнять счет (invoice) для Leapforce

Заметила, что Гугл стал выдавать мою запись про работу в Leapforce на первом месте выдачи по некоторым запросам. Решила опубликовать в связи с этим серию постов об этом работодателе, чтобы сделать мой заброшенный блог немного полезнее :)

Сегодня решила написать о том, как производится оплата работы, и как правильно заполнять счет, чтобы все оплатили в кратчайшие сроки (по моему опыту, если все ок, деньги на счет поступают через три недели после конца отчетного месяца, т.к. отработали май - 21 июня получаете деньги на счет).