Со дня на день в Geekbrains начинаются занятия на новом факультете — системной и бизнес-аналитики. За год вы сможете получить целых три востребованных, высокооплачиваемых профессии, причём специальных исходных знаний для этого не нужно. Разберёмся, что вас ждёт во время и после обучения.

Чем занимаются системный и бизнес-аналитики

Судя по описаниям вакансий, должности системного и бизнес-аналитика постигла та же судьба, что и менеджера по продукту с владельцем продукта: названия нередко используются как синонимы. Это не совсем корректно, так как для каждой из них существует свой набор обязанностей и конечная цель.

Бизнес-аналитик изучает бизнес-процессы, общается с заказчиками, выявляет потребности бизнеса, оценивает их, переводит полученную информацию с языка клиентов на язык разработчиков, определяет границы проекта. Результат его работы — описание бизнес-процессов.

Системный аналитик на основе описания бизнес-процессов составляет техзадание, формулирует, какие функции должны быть реализованы в программном обеспечении.

На практике роль системного и бизнес-аналитика часто выполняет один человек, функционал это позволяет. Поэтому на новом факультете GeekBrains студенты обучаются и системному, и бизнес-анализу в IT. Это расширит список вакансий, на которые вы сможете претендовать после выпуска, до трёх вместо одной: собственно системный или бизнес-аналитик, а также должности, в которых объединены эти функции. 

По данным сайта hh.ru на ноябрь 2019 года, в России открыто более 1,2 тысячи вакансий бизнес-аналитика, более 1 тысячи — системного аналитика и более 150 — аналитика бизнес-процессов. Согласно порталу SuperJob, средняя зарплата системного аналитика в России составляет 125 тысяч рублей. За последний год этот показатель вырос на 4,2 %.

Чему вы научитесь

Программа обучения состоит из четырёх четвертей:

• Первая четверть посвящена аналитике в IT. Вы научитесь систематизировать и алгоритмизировать потоки данных, познакомитесь с гибкими моделями управления командой Agile, Kanban, Scrum, жизненным циклом разработки программного обеспечения, узнаете, кто чем в IT-команде занимается, и как они взаимодействуют между собой.
• Во второй четверти вы сосредоточитесь на бизнес-анализе, узнаете, как моделируются бизнес-процессы, научитесь анализировать и выстраивать их самостоятельно, изучите стандарты BABOK — свода знаний по бизнес-аналитике, составляемого Международным институтом бизнес-анализа IIBA.
• Занятия третьей четверти познакомят вас с одним из самых востребованных языков программирования в мире Python. Чтобы стать эффективным системным и бизнес-аналитиком, необходимо уметь оценивать IT-процессы и глазами разработчика. Так что вы не только изучите Python библиотеки для анализа данных, базы данных и SQL, но и создадите собственное приложение для работы с API сторонних сервисов.
• В четвёртой четверти вы научитесь организовывать процесс разработки: составлять техническое задание и специальную документацию, оценивать алгоритмы, решения и риски.

В процессе вы также получите soft skills — непрофильные знания, которые помогут эффективнее взаимодействовать с коллективом и грамотно презентовать себя на собеседованиях будущим работодателям. Каждому студенту будет назначен наставник, который поможет справиться с трудностями и ответит на вопросы.

Что вам даст обучение

Как и всегда, в обучении упор делается на практику. Так что все теоретические знания получится тут же опробовать в полевых условиях. В качестве подопытного вы возьмёте вымышленную компанию, но сделаете для неё четыре настоящих проекта, которые сможете добавить в своё портфолио, что очень важно для новичка. Обучение в GeekBrains — это год опыта для резюме, который повышает шансы трудоустроиться в 6 раз.

Что нужно для поступления

Для учёбы достаточно школьных знаний. Всё, что нужно для дальнейшей работы, расскажут преподаватели курса. Более того, при покупке обучения в ноябре вы получите в подарок курс «Soft skills для системных и бизнес-аналитиков» и обучение английскому от наших партнеров.

Чтобы начать, просто оставьте заявку на поступление.

О неоконченном высшем образовании

Моя история начинается в Красноярске, где в разное время я учился на трех факультетах Сибирского федерального университета. Сначала — на математическом. Там было тяжело, преподаватели строгие, но я здорово продвинулся в интеллектуальном плане и получил первый опыт программирования на С++. Теперь ценю это. К сожалению, из-за высокой нагрузки пришлось перевестись на философский факультет. Я проучился там до ухода в армию, а после возвращения отчислился — нужно было работать. 

На этом историю с вузом можно было закончить, но я поддался общему мнению, что без высшего образования карьеру не сделать. Поступил на специальность «менеджмент качества» — быстро осознал, что зря, и ушел. Как показала жизнь, мой путь к хорошей работе и зарплате лежал в другой стороне.

Рекламная аналитика

Затем я стал аналитиком в рекламном агентстве. Нужно было составлять отчеты по рекламе и попутно решать административные задачи. Работа оказалась нервной и слишком «клиентоориентированной»: деньги ставились выше здравого смысла. Где-то через год я понял, что не привыкну.

Несколько раз приходилось видеть, как люди эмоционально выгорали. Их склад ума и психики не подходил для работы в рекламе, где сплошные авралы и дедлайны. И после очередного такого случая я твердо решил искать другое занятие. Чтобы изменить свою жизнь, мне понадобилось два года. 

Учеба и первые результаты 

В 2017 году один товарищ порекомендовал мне бесплатные экспресс-курсы GeekBrains. Я записался и прошел интенсив по Java, но с покупкой платного курса не спешил — изучал отзывы в сети. Они были противоречивыми, но хороших оказалось больше. И еще я заметил, что авторы самых негативных отзывов не были знакомы с моделью обучения на платных курсах.

Я записался на факультет Java, потому что читал об этом языке как об инструменте «боевого» дата-инжиниринга. Дальше стал изучать Scala, и эта связка помогла мне разобраться в анализе больших данных на уровне начинающего специалиста. Я уже примерно понимал, что мне по силам, а за что пока лучше не браться.

К слову, изучать Java я начал еще во время работы в рекламном агентстве. Тут же стал применять новые знания на практике: автоматизировал свои рабочие процессы, снизил повседневную нагрузку. Результаты порадовали и еще больше убедили развиваться в выбранном направлении. 

После курса Java я поступил на факультет BigData и быстро ощутил, как здорово прокачиваю аналитику. Новые знания ложились на каркас практики, который у меня уже был.

А еще я начал понимать исходный код программ, даже если он на другом языке.

Стало ясно, что со знанием концепций программирования осваивать новые языки и инструменты — дело техники.

На простейшем уровне я был знаком с Python и SQL еще до GeekBrains. Но это были фрагментарные знания. Обучение на курсах дает теоретическую и практическую подготовку, с которой можно трудоустроиться.

В Питер — за перспективами

Весной 2018 года я решился на переезд в Санкт-Петербург, где возможностей, конечно, побольше, чем в Красноярске. На тот момент у меня было уже три года опыта в рекламном агентстве. За месяц до отлета я предупредил руководство, что ухожу, подготовил себе замену, разработал должностные инструкции и передал все дела.

В Питере я практически сразу нашел компанию, где я могу стать аналитиком с базовыми навыками программирования. Это было бутиковое рекламное агентство закрытого типа. На собеседовании они смотрели на мои рабочие навыки и на то, как я усваиваю новую информацию и взаимодействую с коллективом. Программирование их интересовало скорее на перспективу. Ведь даже рекламная аналитика — это не только Google Analytics, Яндекс.Метрика и Excel, но и автоматизация. Ожидание оффера затянулось на месяц, но цель была достигнута.

К сожалению, примерно через год компания объявила о скором закрытии. Отдел аналитики распустили, и до середины июня я ходил по собеседованиям. После одного из них меня взяли на испытательный срок.

Знаний Python, SQL и Power BI хватило, чтобы справился с тестовым заданием. Еще были вопросы на рабочую логику — тут пригодился опыт аналитика.

 Рабочее место Алексея: ничего лишнего

Я увидел, что буду работать с адекватными и спокойными людьми. Руководитель сам в прошлом был рекламным аналитиком в агентстве, и мы отлично поняли друг друга.

Еще понравилось, что со мной не торговались по зарплате. На рынке аналитики, особенно в рекламе, не всегда адекватно оценивают твой труд. Многие пытаются сбивать цену фразами типа «Вы же готовы к даунгрейду в первое время?». Как человек с опытом, я сразу понимаю, что «первое время» затянется. А здесь мне позволили самому доказать, сколько я могу сделать и заработать.

Как я работаю

Сейчас я аналитик в управляющей компании в kassir.ru — зарабатываю в 2,5 раза больше, чем на прошлом месте. Но главное — получаю удовольствие от того, чем занимаюсь.

Я работаю над сайтами экосистемы компании: использую SQL и Python, R (на нем написан legacy-код), PowerBI, MS Azure, Google Analytics. Это единственное, что могу рассказать о своих задачах, так как в компании я подписал NDA. Добавлю только, что опыт в рекламной аналитике пригодился.

Большую часть дня я провожу в офисе, и здесь мне очень нравится атмосфера. Никто не нервничает: рабочие процессы отлажены и даже сложные задачи решаются в разумный срок. Нет давящей корпоративной культуры. Поэтому я спокоен и сконцентрирован на деле, а не на выживании.

Сейчас я на испытательном сроке и активно вникаю в новые для себя сферы. Пока анализирую не столько большие, сколько средние данные. Мне предоставили необходимую свободу и поддержку: никто не стоит над душой, следят только за результатами.

Что касается программирования, я самостоятельно практикуюсь в Java, планирую ближе знакомиться с Clojure и Scala, продолжаю изучать Python и SQL в GeekBrains.

Что я понял на своем опыте

Если боитесь пробовать себя в IT, значит, пока не понимаете, чем предстоит заниматься. По-моему, лучший способ это прояснить — съездить на конференцию и познакомиться с разработчиками. Они расскажут, чем занимаются на практике и какие видят перспективы по своему направлению.

Как проходить собеседования

Я советую ходить на собеседования не по принципу «лишь бы взяли», а смотреть на компанию и всерьез думать, хотите ли вы у них работать. Потому что бывают очень неприятные собеседования в духе «чего приперся?!». Если люди с порога вызывают негатив, не надейтесь, что все наладится. Просто ищите дальше — сбережете время и нервы. Без уважения в команде нормальной работы не бывает.

И не стоит бояться, что вы чего-то не знаете. Даже если накосячите пару раз, получите хороший опыт — и потом, на нужном собеседовании, ответите правильно.

Как адаптироваться на новом месте

Когда выходишь на новую работу, кажется, что вот сейчас возьмешься, за две недели во всем разберешься и покажешь, какой ты крутой специалист. Это иллюзия! Не надо торопиться: если подготовка нового сотрудника рассчитана на квартал — значит, все это время надо будет напряженно учиться. 

Чтобы вникнуть в серьезный продукт, нужно минимум два месяца! Это при условии, что у вас адекватное начальство и вас поддерживают коллеги. Плюс по ходу дела придется уточнять очень много деталей и ждать, когда все это осядет в голове.

Как не потерять интерес

На первых порах учеба будет отнимать у вас основную часть времени и жизненных сил. Вы не сможете уделять достаточно внимания семье, друзьям и увлечениям. Но потом многое можно будет наверстать. На мой взгляд, в IT стоит идти хотя бы за тем, чтобы делать жизнь вокруг удобнее и совершеннее. Конечно, здесь и платят неплохо, но деньги — временный мотиватор. Чтобы стать успешным специалистом, надо жить своим делом. Именно это дает силы для постоянного развития.

Кстати, с ноября начинается новый поток факультета аналитики Big Data в GeekUniversity. За полтора года там можно освоить все современные технологии работы с большими данными — а их более двух десятков! Параллельно вы получите множество других навыков, важных для работы в любой IT-компании, — и в результате будете полностью готовы начать новую главу в своей карьере.

— Вы работаете сетевым инженером в «Альфа-Банке». Почему решили сменить профессию, ведь вы уже в IT?

— Изначально эта работа была действительно интересной. Постоянно добавлялись новые задачи и обязанности. Но теперь обслуживание специфического сетевого оборудования превратилась для меня в рутину.

Более того, после мониторинга рынка я осознал, что мои нынешние знания и опыт не особо помогут продвинуться в профессии. Фактически я оказался в тупике развития. Это я осознал примерно через четыре года работы в компании. 

Все остальное нравится: адекватное руководство, отличный коллектив. Но я считаю, что в IT главное — развиваться.

— C вашей специальностью совсем не получилось бы продвигаться?

— Подобные вакансии есть и в других компаниях, но обязанности похожи везде. Уровень зарплаты тоже примерно равный. Если бы я перешел в другую компанию, делал бы то же самое и получал бы столько же.

— Почему вы решили изучать Python?

— Все решилось само собой. Мне понадобилось написать скрипт для выгрузки данных. А знаний для этого практически не было, так как последние занятия по программированию у меня были еще в вузе. Но я слышал и читал, что для таких задач идеально подходит Python.

Огромный плюс этого языка для меня — относительная простота в освоении. Я не хотел тратить месяцы на обучение, чтобы написать скрипт. Ну а поскольку Python используется также в других аспектах веб-разработки и для аналитики, то мой выбор был очевидным.

GeekBrains я выбрал потому, что двое моих друзей учились здесь. Я поступил на курс «Программист Python».

— Что дало вам обучение?

— Меня увлек мир разработки. Очень радовало, когда обычные строки кода превращались в рабочую программу, которая делала то, что я задумал. Программирование — это творчество, и я решил продолжать свой путь.

Кстати, тот самый скрипт, о котором шла речь выше, я написал и получил за это повышенную премию.

— Как планируете развиваться?

— Решил продолжать работу с Python и смежными сферами. Недавно поступил в Geek University на факультет аналитики Big Data. Сложновато совмещать работу и учебу, и с маленькой дочкой тоже хочется проводить время. Но я справляюсь.

— А что с работой, уже нашли новое место?

— Пока нет, но и к поискам приступил недавно. Ищу работу по специальности «аналитик Big Data» или Data Scientist. Это очень востребованное направление: спрос на таких специалистов велик, как и спектр задач, которые они решают.

Активно начну искать новое место после того, как закончу обучение. Помимо курсов в GU еще изучаю машинное обучение и анализ данных на Coursera. Подтягиваю математику и алгоритмы. Не хватает реальной практики — хотя и будет выпускной проект, который объединит все полученные знания в одну задачу.

Мне хотелось бы найти работу в крупной технокорпорации, которая специализируется на разработке и аналитике. Например, в Mail.ru или Яндексе. Хочу принимать участие в разработке проектов, которые будут полезны миллионам пользователей. Именно эта цель заставляет меня идти вперед, даже когда устал.

— Вы живете в Москве. Как считаете, подходит ли столица для представителей IT-сферы?

— Да, конечно, здесь множество IT-компаний, которым практически всегда нужны сотрудники в штат и на удаленку. Для себя я выбрал работу в офисе, другие форматы пока не интересуют. Кстати, часто сталкиваюсь с тем, что зарплата штатных сотрудников выше, чем у удаленщиков.

— Как считаете, чего обычно боятся те, кто только планирует уйти в IT или сменить специальность? 

— У меня много раз при смене работы появлялись мысли вроде «А вдруг на новом месте будет не так комфортно, как здесь?». Но в итоге все оказывалось хорошо и я понимал, что не стоило переживать. Главное — верить в свои силы. Лично мне здорово помогала мысль «Если кто-то смог, то почему я не смогу?». И медведей учат на мотоцикле кататься.

Смена сферы деятельности может многих отпугнуть тем, что все как бы приходится начинать с нуля. Но это не совсем верно. Если вы для смены работы закончили хорошие курсы, то при выпуске у вас есть рабочие проекты, юзкейсы, а не просто набор теоретических знаний.

Чтобы вы понимали, кто и чему учит на новом курсе продуктовой аналитики в GeekBrains, мы подготовили «панорамный» обзор специальности: задали вопросы кураторам каждого из пяти учебных блоков. Хотелось показать вам детализированную и объемную картину: какие темы и инструменты изучат студенты за четыре с половиной месяца.

В статье тематические модули рассмотрены не по порядку следования в учебной программе, а по логике: от более общих вопросов — к частным.

Unit-экономика, аналитика продукта и бизнес-метрики

Елена Чернышева — 10 лет работает с разными видами B2B- и B2C-продуктов в сфере мобильной и веб-разработки, а также сбора данных. Участвовала в создании продукта для FMСG-производителей и торговых компаний, перезапустила сервис «Яндекс.Справочник», развивала B2C-направление сервиса «Яндекс.Недвижимость». Сейчас — product-менеджер «Яндекс.Шеф».

— Елена, привет! Первый вопрос о профессии продуктового аналитика: что он делает на практике, что должен уметь и какими инструментами владеть?

— Аналитик знает цели бизнеса и помогает ему принимать лучшие решения на основе данных.

Основное, чем занимается продуктовый аналитик:

• собирает и готовит данные для анализа;
• автоматизирует обработку данных и другие рутинные задачи, которые съедают время;
• создает инфраструктуру, которая позволяет клиенту самостоятельно готовить отчеты;
• проводит исследования, анализирует метрики, изучает поведение пользователей;
• строит и проверяет гипотезы;
• и главное — находит точки роста для бизнеса.

Если работа выстроена правильно, аналитик не отвлекается на повторяющиеся задачи.

Чтобы создать хорошую систему аналитики, нужно знать, где брать данные внутри и вне компании, как проверять их точность и полноту. Именно этому студенты научатся на моих занятиях.

В блоке продуктовой аналитики мы выясним, как перевести цели бизнеса в конкретные цифры и выстроить систему метрик. Как исследовать поведение пользователей и на этой основе находить места для улучшения в продукте. Что делать, если данных нет или недостаточно. Я покажу, как проверять гипотезы с помощью A\B-экспериментов и не только.

В других блоках курса студенты освоят инструменты аналитика, такие как Power BI и Python.

— Любому ли бизнесу нужны такие специалисты? Где они востребованы прежде всего?

— Любому бизнесу, который относится к тому, что он делает, как к продукту, или хочет перейти на такой подход. В России product-менеджеры и аналитики есть в штате 75 % самых богатых компаний Рунета по версии Forbes. Продуктовую аналитику берут на вооружение даже компании, которые больше про офлайн: ВТБ, Сбербанк, ПИК и другие.

Кстати, на западе многие продуктовые подходы впервые появились именно в производственных офлайн-компаниях и лишь позже пришли в IT. Например, метод OKR (Objectives and Key Results). У нас в стране, наоборот, — офлайн-компании перенимают практики у онлайновых.

— Есть ли смысл идти на эту специальность жителю маленького города?

— Там тоже есть бизнесы, но скорее эта профессия востребована в городах с населением более 500 тысяч человек. Я из Калининграда — там можно найти работу и не хватает таких специалистов.

— Это сугубо офисная работа? Аналитик должен постоянно находиться в гуще событий?

— Продуктовый аналитик должен понимать, куда движется рынок, что происходит с конкурентами, как меняется продукт. На мой взгляд, любые выводы, полученные на основе цифр, очень важно подтверждать жизнью. То есть количественные исследования хороши только в сочетании с качественными, и наоборот.

Сейчас появляется все больше распределенных команд, и устроиться на удаленку аналитик в принципе может, но не так легко, как программист. Этот путь потребует дополнительных знаний и навыков. У человека должна быть хорошая математическая подготовка или техническая база — как компенсация за более долгое погружение в бизнес.

— Какими личными качествами, на твой взгляд, важно обладать аналитику?

— Любопытством, интересом к тому, что тебя окружает. Аналитик похож на исследователя, который выясняет то, чего мы раньше не знали или не замечали. Плюс важно уметь мыслить системно, чтобы видеть структуру.

По практическим навыкам продуктовые аналитики ближе к менеджерам. Но есть еще аналитики, которые специализируются на сборе и обработке данных. Такому сотруднику важнее знание технологий, а по скиллам он ближе к инженеру или программисту.

— Сколько длится твой блок и какие практические проекты сделают студенты?

— В блоке восемь занятий, на которых будут практические задания двух типов:

1. Подробно разбираем известные сервисы.
2. Студенты тренируются на своих проектах или чужих сервисах, которые сами выбрали.

Вместе мы выстроим систему метрик, обозначим вещи, на которых нужно сосредоточиться, чтобы обеспечить бизнесу наибольший рост.

Маркетинг, веб- и мобильная аналитика

Дмитрий Баланин — 10 лет в маркетинге и аналитике для рынков России, Германии и Китая. Развивал performance marketing и аналитику в «Эльдорадо», Яндексе и OneTwoTrip. Сейчас — CEO Room42.ru и CEO Differture.com.

— Дмитрий, твой блок — хронологически первый в программе — закладывает фундамент для дальнейшего изучения профессии. Почему студентам так важно вначале познакомиться с основами маркетинга?

— Потому что аналитика — инструмент, а не самоцель. Можно бесконечно собирать информацию о посетителях, их взаимодействии с продуктом, продажах, но зачем? Только после ответа на этот вопрос создаются полезные бизнесу решения.

Основные заказчики аналитики сегодня — маркетинг и сфера продаж. Они хотят знать, насколько правильно выстроен каждый этап их общения с клиентом. И здесь важно помнить, что коммуникации — это не только реклама на сторонних площадках, но и взаимодействие пользователя с приложением через интерфейс.

За четыре недели занятий мы со студентами на примерах разберем, как решать задачи, которые ставят перед аналитиком маркетинг и другие заказчики: внутренние и внешние.

А еще мы подробно рассмотрим инструменты для исследования рынка, анализа сайтов и мобильных приложений, организации A/B-тестирования.

— Будут ли реальные кейсы? И какие проекты выполнят слушатели за время обучения?

— Курс целиком построен на практическом опыте: моем и компании, где мы уже реализовали более 150 аналитических проектов.

Выполняя практические задания к урокам, студенты будут решать обычные задачи продуктового аналитика: формировать KPI для проектов, настраивать аналитические инструменты, экспериментировать с интерфейсом продукта и оценивать, на каком варианте лучше остановиться.

Студенты узнают, как строить систему аналитики для разных индустрий и типов продукции. Мы также разберем типичные ошибки аналитика и как их заблаговременно обходить.

Презентация данных и аналитическая культура в компании

Евгений Малахов — 5 лет в разработке продуктов, маркетинге и аналитике. За последние два года реализовал более 100 аналитических проектов, в том числе для Pepsico, Philip Morris, KIA, Газпром. COO проекта Room42.ru. Победитель пяти всероссийских конкурсов по бизнес-проектам.

— Евгений, чему конкретно учит блок, посвященный презентации данных?

— Этот блок помогает студентам взаимодействовать с командой, правильно объяснять и преподносить результаты своей работы, подстраиваться под меняющиеся условия, в которых приходится выполнять задачи.

Умение делиться результатами своей работы и делать их полезными для других стейкхолдеров — один из важнейших навыков аналитика. Вы можете месяцами обрабатывать данные, готовить и представлять блестящие решения по улучшению бизнеса, но они так и не будут реализованы, если вы не донесете до людей, в чем ценность каждого решения и насколько окупится его внедрение.

— Какие конкретно инструменты и методы нужно изучить, чтобы правильно преподносить свои результаты? И есть ли в учебной программе реальные кейсы?

— Да, мы разбираем материал на реальных примерах. Главное, чему я научу студентов за две недели:

• смотреть на проблемы и задачи с позиций бизнеса;
• смотреть на проблемы и задачи с позиции дизайнера, разработчика, таргетолога, подрядчика и любого другого участника команды.

По итогам занятий студенты:

1. Сделают презентацию для менеджмента, где обоснуют внедрение сквозной аналитики в компании.
2. Подготовят документацию для разработчиков и рекламщиков.

Аналитик — тот человек, который наглядно объясняет всей команде (от руководства до разработчиков), какие цели наиболее приоритетны, на какие метрики ориентироваться в данном проекте и почему сейчас нужно заняться именно аналитикой, а разработку дополнительных «фич» отодвинуть на второй план.

Работа с Power BI, DAX и Power Query

Константин Севастьянов — 7 лет в информационно-аналитическом подразделении ФСО РФ, полтора года в онлайн-кинотеатре TVzavr — создавал инфраструктуру и развивал аналитику практически с нуля. С июля 2018 развивает аналитику в «Ситимобил» (сервис заказа такси) в условиях быстрого роста компании, внедряет аналитическую базу данных и BI-инструменты.

— Константин, чему научатся студенты и что они смогут делать с помощью Power BI?

— Научатся визуализировать информацию и отвечать на вопросы бизнеса, смогут подготавливать, очищать и обрабатывать данные, выбирать различные визуализации в зависимости от типа входных данных.

Но, помимо технических моментов, мне важно донести до студентов, что главный инструмент аналитика — это здравый смысл, а Power BI лишь упрощает работу и помогает быстрее получать информацию в наглядном виде.

— Сделают ли слушатели практический проект за время учебы?

— Думаю, это будет проект на примере сервиса такси, где студенты смогут использовать сгенерированный набор данных.

Работа с Python, pandas и SQL

Илья Браславский — Data Scientist в «Ситимобил». Анализировал финансовые данные в BlackmoonFG и геологические данные в Сколтехе. Окончил магистратуру МФТИ по направлению «Интеллектуальный анализ данных».

— Илья, зачем продуктовому аналитику изучать Python? И, в частности, библиотеку для научных вычислений pandas?

— Python — один из самых простых с точки зрения синтаксиса языков программирования, и в последние несколько лет он стал де-факто индустриальным стандартом для задач анализа данных. Например, та же библиотека pandas позволяет в несколько строчек кода посчитать ряд статистик для данных: математическое ожидание, медиану, дисперсию.

— Сколько длится блок? Много ли практических заданий нужно будет сделать студентам в ходе или по итогам занятий?

— Блок будет состоять из 7 занятий. В начале мы разберем основы синтаксиса и основные библиотеки для анализа данных. После этого студентов ждет введение в теорию вероятности и математическую статистику. Финальное занятие посвятим обзору ряда инструментов разработчика.

Практические задачи обязательно будут сопровождать каждое занятие. Каким будет итоговый проект по Python для аналитиков — посмотрим, но вводные данные для него студенты, безусловно, получат.

Остались вопросы? Напишите консультанту в чат или оставьте комментарий к статье. Записаться на курс продуктовой аналитики в GeekBrains можно прямо сейчас.

GeekUniversity запустил факультет аналитики Big Data (больших данных), и мы спешим рассказать о нем.

Наш сегодняшний собеседник — Сергей Ширкин — декан факультета и Data Scientist с опытом работы в таких компаниях, как Сбербанк, Росбанк, бюро кредитной истории Equifax. Он занимался автоматизацией финансовых технологий, строил финансовые модели на основе машинного обучения, прогнозировал просмотры рекламы с применением методов ИИ. Сейчас Сергей работает в компании Dentsu Aegis Network Russia, преподает в GeekBrains, возглавляет факультет искусственного интеллекта и новый факультет аналитики больших данных в GeekUniversity.

— Сергей, привет! Расскажи, пожалуйста, почему из направления Data Science в GeekUniversity выделился факультет аналитики Big Data.

— Привет! Дело в том, что крупным компаниям нужны специалисты, которые умеют работать не просто с искусственным интеллектом, но и с большими объемами данных. С объемами, которые не обработаешь на обычном офисном компьютере или сервере: тут требуются другие мощности, а главное — алгоритмы распределенных вычислений.

Следовательно, нужны и специалисты, с такими алгоритмами знакомые.

Системы обработки больших данных — это высоконагруженные системы. Они нуждаются в осторожной грамотной эксплуатации. Не все специалисты, которые работают с искусственным интеллектом, хотят заниматься большими данными и сталкиваться с трудностями на этом пути. Тем более, для многих аналитических задач большие данные не нужны. Миллионы и десятки миллионов наблюдений, зафиксированных в базе, — это еще не Big Data. Здесь мы имеем дело с малыми и средними данными.

Специалист Data Science обычно работает с датасетом в несколько гигабайт. А большие данные измеряются в терабайтах и даже петабайтах. Для их обработки нужны кластеры машин и такие технологии, как Hadoop, Spark.

— Насколько разных специалистов готовят факультеты искусственного интеллекта и анализа больших данных?

— У факультетов искусственного интеллекта и аналитики больших данных общий фундамент: и там и тут применяются статистика и машинное обучение. Но, когда у вас очень много данных, нужно знать специализированные библиотеки и технологии, прежде всего — экосферу Hadoop и парадигму MapReduce. Плюс понадобится технология Spark — более новая, чем MapReduce, и предназначенная для распределенных алгоритмов, в том числе для машинного обучения на больших данных.

— Учатся на обоих факультетах одинаково по времени?

— Да, по полтора года — три семестра. Но на факультете аналитики Big Data есть дополнительные курсы, на которых студенты знакомятся с инфраструктурой (теми же Hadoop и Spark), узнают особенности работы именно с большими данными.

— Получается, на факультете Big Data изучение аналитики глубже, а на Data Science — охват шире?

— Можно и так сказать. На факультете ИИ больше времени уделяется математике, компьютерному зрению, обработке естественного языка. Но, как я уже сказал, база одна.

— Приведи примеры задач, которые аналитики больших данных решают в разных сферах: в банках, торговле, IT, телекоме, логистике и транспорте, консалтинге.

— В банках можно в реальном времени анализировать транзакции и тут же строить сложные модели. Малые или средние данные можно было бы сначала агрегировать и обработать, а с большими часто приходится работать в реальном времени: анализировать миллиарды транзакций и реагировать на них.

У кого еще много данных? У операторов связи: они ежедневно получают информацию терабайтами, и для работы с ней нужны специальные инструменты. Мы можем посмотреть, сколько SMS человек отправляет в день, и предложить ему подходящий тариф. Это делается, чтобы не терять клиентов. Пользователей миллионы, они постоянно делают звонки, и в результате у оператора формируется, условно говоря, таблица с миллионами строк. Чтобы это обработать, нужен кластер Hadoop, Spark и так далее.

— С банками и операторами связи понятно. А другие примеры?

— В обработке Big Data может нуждаться сеть супермаркетов, которая делает свою рекомендательную систему.

Такая система составляет профиль клиента, где учитывает, какие покупки он делает. С ее помощью можно сообщать пользователю о подходящих акциях и скидках на интересные ему товары.

— Получается, аналитик не только обрабатывает данные постфактум, но пишет сценарии реагирования: как система будет отвечать на события?

— Можно и постфактум анализировать, но для работы с большими данными в любом случае нужно хорошо программировать. Потому что ты имеешь дело не с таблицей Excel, а с массивом, к которому без специальных инструментов не подступишься, — для его обработки нужны библиотеки на Python. И уже с их помощью ты можешь формировать отчеты, строить графики или выводить результаты еще в каком-то виде.

Главное — понимать, что у аналитика Big Data нет готового приложения, где можно что-то вычислить и получить результат нажатием одной кнопки.

— Python — это сейчас стандарт в области анализа больших данных?

— Да. В принципе, для этих задач можно использовать и Java, но по вакансиям в сфере аналитики данных видно, что работодатели в первую очередь требуют именно знание Python. Потому что под него больше популярных инструментов: библиотек для машинного обучения, просмотра данных и построения графиков.

Есть два подхода к анализу данных. Либо это Ad hoc — когда один раз смотришь нужный показатель на лету. Либо это система, которая работает и мониторит что-то ежедневно. Как правило, сначала аналитик делает множество запросов ad hoc, чтобы представить себе структуру данных и сориентироваться. А дальше он пишет приложение для регулярной работы с данными.

— Можно пример, который иллюстрирует эти два подхода?

— Допустим, ты анализируешь сообщения в Twitter. Ты можешь разово найти десять самых популярных твитов месяца и вывести на одну страницу. Либо ты создашь решение, которое будет каждый день анализировать посты и выявлять тенденции: смотреть, как меняется популярность бренда по месяцам, например. Владелец бренда сможет учитывать это при разработке рекламных кампаний.

Результаты анализа больших данных более репрезентативны, чем то, что дает опрос тысячи человек или фокус-группы. И обходится работа аналитика в итоге дешевле, чем регулярное проведение опросов.

А если система работает в режиме реального времени, анализировать данные можно мгновенно, что позволяет быстрее реагировать на ситуацию.

— Что такое предиктивная аналитика? Из названия ясно, что она связана с прогнозированием. Но как именно это работает?

— У нас есть данные, на основе которых мы строим прогноз: либо общий (пытаемся уловить тенденции), либо частный.

Пример частного прогноза в финансовой сфере — кредитный скоринг. Банки присваивают каждому клиенту балл «благонадежности»: насколько вероятно, что он вернет кредит. Для этого анализируют его историю поведения: какие кредиты брал, как отдавал, допускал ли просрочки по выплатам. Представь себе число клиентов крупного банка, и по каждому надо проанализировать множество транзакций.

— У транспортных и логистических компаний тоже есть большие данные. Какие решения нужны в этой сфере? Прогнозирование дорожной ситуации в конкретное время в конкретном месте?

— Есть сервис «Яндекс.Пробки», да. Он строит прогнозы, в том числе на основе прошлых данных по разным участкам дороги. Но я сейчас другой пример вспомнил.

Вдоль шоссе висят щиты-экраны, на которых можно показывать любые рекламные заставки. И есть программа, которая отслеживает номера телефонов в радиусе ста метров, например. То есть система знает, кто едет по шоссе.

Дальше она анализирует связанную с этими номерами информацию: историю покупок, посещения сайтов и интернет-магазинов. Быстрый подсчет позволяет выводить на щиты рекламу, более актуальную для проезжающей в данный момент аудитории.

— А откуда система берет информацию по телефонам, тем более с привязкой к магазинам и сайтам? Для этого нужно работать с какими-то специальными базами, магазинами данных?

— Интернет-сервисы обмениваются обезличенными данными в рамках закона. Системе управления рекламными щитами не нужны ваши имена и фамилии — ей достаточно знать ID, привязанный к SIM-карте. И она может получать от партнерских сервисов информацию по такому абстрактному пользователю. Купит ли владелец сервиса эти данные или обменяет «бартером» — второй вопрос. Это сложная тема, связанная с юридическими моментами, но в принципе организации у нас имеют право обмениваться неперсонифицированными данными.

— Как выглядит карьерная лестница аналитика данных? Какие в этой сфере перспективы развития?

— Рядовой аналитик вырастает в тимлида — руководителя отдела или его подразделения. Главу отдела аналитики зачастую называют директором направления R&D (Research and Development) или отдела Data Science.

Можно стать начальником аналитического департамента или управления, если такие подразделения в компании есть. Плюс, естественно, есть градация Junior, Middle, Senior.

— Какие проекты сделают студенты за время обучения? На странице факультета программа обучения есть, но интересно, как она будет раскрываться в реальных проектах.

— Из того, что уже утверждено, могу назвать четыре проекта:

1. Предсказание цены на недвижимость (курс «Python для Data Science», первая четверть).
2. Прогнозирование оттока клиентов сотового оператора (курс «BigData. Введение в экосистему Hadoop», вторая четверть).
3. Построение модели кредитного скоринга для банка (курс «Машинное обучение. Часть 1», четвертая четверть).
4. Рекомендательная система для интернет-магазина (курс «Машинное обучение. Часть 2», четвертая четверть).

— Про модель кредитного скоринга, телеком и рекомендательные системы мы уже говорили, а вот предсказание цены на недвижимость — это как будет выглядеть? Берется массив данных за некий период и постфактум анализируется?

— Берем квартиры за определенный период времени. Известны их характеристики: метраж, этажность, количество комнат, местоположение дома, экология в районе и так далее. Строим модель предсказания цен — и после этого для других квартир можем в автоматическом режиме вычислять наиболее вероятную стоимость.

— Для проектов готовые большие данные студентам предоставят?

— Да, студенты будут работать с готовыми датасетами.

— Сергей, спасибо, что рассказал о факультете и о работе аналитика Big Data. Я наконец поняла, чем на практике эта специальность отличается от смежных. Надеюсь, читатели тоже теперь лучше представляют себе профессию, о которой мы говорили.

Казалось бы, футбол и IT — две разные вселенные. Вдохновившись ЧМ-2018, мы выяснили, что такое футбольная статистика и зачем она нужна, как попасть в большой спорт, если ты программист, и способны ли технологии влиять на исходы чемпионатов. В этом нам помогли эксперты международной спортивно-аналитической компании InStat Football: руководитель научного отдела Илья Вагин и директор по маркетингу Алексей Боров. Надо гол!

Фото: duehrandassociates.com

Футбольная статистика — что это?

«Осведомлен — значит вооружен», — скажет предприимчивый тренер и будет прав. Чтобы одержать победу на матче, важно выстроить грамотную стратегию и позаботиться о тактике игры. Для этого тренеру приходится учитывать множество факторов при подготовке команды: от физического и психологического состояния спортсменов до их техники и взаимодействия на поле. В помощь — разбор всех предыдущих матчей и тренировок, побед и поражений, сильных и слабых сторон своих игроков и соперников. Как собирать и хранить все эти данные — неужели в голове?

Когда-то для этих целей служили тренерские тетради, в которых и зародилась футбольная статистика. Ее основоположником считают Чарльза Рипа, который в 1940-50-х годах впервые стал фиксировать и анализировать действия игроков. Он выявил закономерности, способствующие наиболее эффективной игре. В труде «Анализ ассоциации футбола» Рип пришел к выводу, что команда может забить 80% голов, если будет сделано не более трех передач.

«Вряд ли правильно говорить о глобальном влиянии на целые чемпионаты, но исход отдельных матчей вполне может предопределить грамотная подготовка к встрече соперником. Особенно, если она выполнена только одной командой, которая даже может быть слабее по основным спортивным показателям. Без актуальных технологических решений невозможно представить работу ни одного современного топ-клуба», — рассказывает руководитель научного отдела InStat Football Илья Вагин. (на фото: руководитель научного отдела InStat Football Илья Вагин)

Со временем в футбольной статистике сформировался набор технологий и методов, и она стала неотъемлемой частью спортивной аналитики. На Чемпионате мира 1966 года в Англии тактико-технические действия игроков впервые обрабатывали математически, учитывая пространственные и временные показатели. Этот метод по сей день используется для формирования сборных команд.

«Спортивная аналитика не гарантирует победы на матче сама по себе, но это одно из условий положительного результата. Она помогает профессионалам сэкономить время на принятие решения. Кроме того, статистика и видео крайне важны для скаутинга. Существует около сотни параметров, позволяющих определить, подходит ли игрок на ту или иную позицию, каковы его сильные и слабые стороны и так далее. (на фото: директор по маркетингу Instat Football Алексей Боров)

Просмотр «живьем» для принятия решения, например, о покупке игрока, нужен в любом случае, но возможность отсмотреть подходящих кандидатов дистанционно очень сильно облегчает жизнь. Профессиональный рост игрока можно отслеживать с юного возраста, наблюдая, как именно он работает над улучшением своих показателей», — поясняет директор по маркетингу Instat Football Алексей Боров.

Как это работает?

Фото: instatsport.com

Сегодня для анализа матчей используют камеры, технологии Big Data и Data Mining, GPS-датчики и системы распознавания объектов. Камеры размещают по периметру футбольного поля, чтобы наблюдать за игрой с разных ракурсов, фиксировать число передач между членами команды, атак между соперниками или ударов по мячу. GPS-трекеры помогают делать выводы о физическом состоянии и тактико-технических действиях игроков, обрабатывая информацию о силе удара, пульсе и траектории движения. Система распознавания объектов предоставляет сведения о скорости.

Данные систематизируют и заносят в реестр событий матча. На их основе строятся интерактивные визуальные модели и графики — этим занимаются подразделения, входящие в структуру крупных футбольных клубов, сборных. Они сотрудничают с компаниями, составляющими индексы игроков и рейтинги команд, вроде Castrol Index или Instat Index. Условно, статистика работает на трех уровнях:

• Игрок — анализ спортивной подготовки и действий конкретного игрока;
• Команда — анализ действий команды и ее выступлений в турнирах;
• Лига — анализ взаимодействия команд на уровне чемпионатов, выступлений в течение сезона.

«Любая профессиональная команда играет определенное количество матчей за год. Есть цикл, позволяющий следить за параметрами физической подготовки, тактиками подстройки под соперника и другими данными. Все эти детали можно проанализировать на основе видеозаписи матча: обычно это профессиональная фотосъемка с применением камер 4К – они позволяют максимально охватить все футбольное поле.

На нашей платформе цифры из статистических отчетов подкреплены видеозаписями – любое действие на поле всегда можно посмотреть. Видео анализируется с помощью специальных технологий. Способов измерения множество, наиболее распространен принцип автоматического или ручного тегирования. После чего составляется подробный статистический отчет. Аналитика разбивает данные на специализированные блоки, предоставляя их тренеру под конкретный запрос.

После матча – разбираются действия своей команды, анализируются ошибки игроков, их взаимодействие. Перед матчами – изучается соперник, его стратегии, построения, особенности игроков на каждой позиции. Все это помогает руководству команды выбрать оптимальную стратегию и, как следствие, влиять на исход игры», — пояснил Алексей Боров.

«С точки зрения разработки алгоритм простой, но учитывает множество критериев, применяемых к статистическим параметрам для разных позиций игроков на поле. Главное преимущество InStat Index — объективность. Индекс одинаково работает как для футболистов-любителей, так и для чемпионов мира», — добавил Илья Вагин.

IT+футбол — соединим работу и хобби?

Фото: instatsport.com

Руководитель научного отдела Instat Football поделился личным опытом, рассказав, чем привлекателен футбол с точки зрения разработки и что нужно знать молодым специалистам.

— Почему вы выбрали футбол? Чем эта сфера привлекательна для разработчиков?

— Футбол — мое давнее увлечение. Когда появилась возможность работать в этой области, я за нее ухватился. Для разработки она интересна тем, что здесь ощутимо не хватает передовых и наукоемких решений. Да и в финансовом плане направление перспективное. Самое сложное в профессии лично для меня — много футбола на работе. Мешает болеть за любимую команду в свободное время.

— Какие IT-специализации, навыки и языки программирования наиболее востребованы в футбольной индустрии?

— На практике мы пользуемся языками программирования PHP, Ruby и JavaScript, фреймворками Ruby on Rails и React.js, а также СУБД PostgreSQL. В нашей компании спросом пользуются фронтендеры и программисты БД. Но вряд ли можно сказать, что это тенденции футбольной индустрии в целом. Много разнообразных проектов, нуждающихся в разных специалистах.

— Дайте совет разработчикам, которые встают на путь футбольной аналитики.

— Если хотите заниматься футбольной аналитикой, хорошо бы иметь представление о предмете, чтобы результат можно было оценивать с точки зрения его пользы и целесообразности. Но при работе с грамотным лидом понимание спортивной специфики не так важно.

Советую сделать портфолио с проектами, связанными с футболом. Можно попробовать создать на досуге что-то свое — совместить хобби и профессиональный интерес. Важно презентовать разработку потенциальному работодателю, для которого «футбольность» проекта может оказаться важнее его технической реализации.

Кому и зачем это нужно?

Фото: instatsport.com

По словам Алексея Борова, статистика позволяет тренерскому штату оценить команду по совокупности факторов: от общего уровня подготовки до того, как она выполняет установки по построению линий или отрабатывает прессинг на определенном участке поля.

«Грубо говоря, зная, куда условный Месси бил пенальти последние несколько лет, вратари готовятся отражать удары именно в этих зонах – это не гарантирует, что футболист будет бить именно туда, но повышает шансы отразить наиболее вероятные удары. Например, сборная Исландии, вызывающая так много симпатий своей игрой в последнее время, активно использует аналитику в том числе для подготовки вратарей. Кстати, вратарь этой сборной – Ханнес Халлдорсон как раз отразил пенальти в исполнении Месси в матче группового турнира ЧМ-2018.

Статистика и аналитика оказывают колоссальное влияние на футбол, поскольку тренер имеет доступ к структурированным данным и может формировать стратегию и тактику игры. Владение данными позволяет подготовиться к следующему матчу, разобрать ошибки и проанализировать действия как своей команды, так и команды соперника», — прокомментировал эксперт.

Футбольная статистика нужна не только тренерам, но и самим спортсменам — для анализа своих действий. Следить можно и за работой арбитра: например, у InStat есть специальные решения для судей, позволяющие разбирать ошибки и повышать качество судейства.

Фото: sf-era.com

Резюмируем: IT-технологии пришли в футбол не случайно:

• Тренеры избавились от кипы бумаг и получили доступ к информации по матчам и игрокам за любой период времени. Это движет историю футбола;
• Индексы спортсменов помогают в футбольном скаутинге и формировании команды. Карьерный путь и динамику профессионального развития футболиста можно отслеживать с самого юного возраста;
• Data Mining расширил спектр параметров, которые изучают и используют при планировании эффективной тактики и стратегии игры. Тренер может тщательнее продумывать методику тренировок, учитывать индивидуальные особенности каждого члена команды;
• Данные стали более структурированными и наглядными. Сухие цифры можно представить в виде графиков и интерактивных видео;
• Благодаря футбольной статистике можно делать выводы об уровне подготовки, действиях на поле и стоимости игроков — как своей команды, так и соперников. Спортсмен может наблюдать за собственным профессиональным развитием, учитывать ошибки и двигаться в нужном направлении;
• Футбол стал привлекательной сферой для разработчиков;
• Статистические и аналитические отчеты помогают командам готовиться к предстоящим играм. Ход тренировок и действия на поле можно моделировать, исходя из математически рассчитанных закономерностей и прогнозов. Это факторы, способные решить судьбу матча — а следовательно, и всего чемпионата.