Поиск

Приветствую. Есть распространённое мнение, что для того чтобы начать делать что-то осмысленное в вопросах боевых скриптов для поиска, парсинга и обработки нужно обладать некими познаниями в программировании и человек не умеющий должен сначала познать некий язык, а только потом он может быть сможет получать от своего знания профит. Так вот в рамках данной статьи я хочу показать что в 2к19 вы можете получать профит от больших и сложных технологий здесь и сейчас, обучаясь по ходу работы. Конечно некоторое минимальное знание что такое программа, как строить самые примитивные алгоритмы(циклы, если - то) несомненно нужно, без него никак, но ничего больше от вас не требуется. Начнём с того, что пихтон это язык который может исполняться по ходу написания, типо написали строчку-другую -- запустили, оценили результат, продолжили писать. Поэтому варианты с "запустим текстовый редактор - напишем программу - попробуем запустить" - сразу нахуй. Это как забивать топором гвозди. Можно конечно, но не удобно, да и нахер надо. Хватит предисловий, с ходу к делу, начинаем настраивать себе рабочую среду. Первое что нужно сделать -- это поставить себе пихтон. Качать отсюда естественно 3.х версию https://www.python.org/downloads/windows/. При установке можно смело бахать все галочки, единственное в чём нужно убедится так это в том чтобы обязательно (!) стояла галочка "добавить питон в PATH", это типо очень удобно в работе. Устанавливайте и продолжим. Если вы что-то знаете за погромирование, то вы наверняка в курсе, что сегодня никто не пишет код полностью с нуля, потому что практически любая задача уже когда-то кем-то решалась и он под это дело уже написал код и выложил его в виде подключаемого модуля - "библиотеки". Питон как язык получил очень широкое распространение во многом потому, что вместе с интерпретатором поставляется и менеджер пакетов (в том числе и библиотек) и сообщество вокруг языка постоянно эти библиотеки обновляет и расширяет, что для нас как конечных пользователей - просто нереальный профит. Менеджер пакетов питона по умолчанию это Pip и если вы уже установили питон с оф сайта, то и pip уже у вас прямо в командной строке. Не теряя времени сразу обновим его до последней версии. Откройте командную строку (Win + R, введите cmd и нажмите Enter) и запустите следующую команду. Она довольно заковыристая, но нам нужно обновить pip через pip, поэтому приходится использовать python как промежуточное звено. python -m pip install -U pip Вот видите как всё просто, мы ещё понятия не имеем с чем работаем, а уже используем змею как инструмент для какой-то чёрной магии. В дальнейшем чтобы установить или обновить какой-бы то ни было пакет мы будем обращаться напрямую к pip. Давайте так и поступим! Меньше теории - больше практики. Откройте командную строку и ебаните в неё pip: pip В ответ pip вам рассказал что он умеет и как им пользоваться. Красота! Теперь, вооружившись только что полученными знаниями надо накатить наш основной инструментарий. wheel - инструмент pip для установки пакетов в системуjupyter - это будет наша основная среда, в чём её профит мы разберёмся позже, пока предлагаю поверить мне на слово что это лучшее, что можно придумать для новичка в программировании пишушего маленькие, но очень боевые и эффективные программкиbs4 - сокращение от BeautifulSoup4. Красивый суп - это библиотека для удобной работы с веб страницами, когда нам нужно что-то найти и спарсить - совершенно незаменимая вещь.urllib3 - библиотека для работы с основными веб протоколами, с помощью неё мы будем в одну строчку открывать сайты, качать файлы и всякое такоеpyTelegramBotAPI - официальный апи телеграмма для ботоводов, в рамках данной статьи мы с ним работать не будем, просто знайте что он здесь есть.Telethon - клиент телеграмма работающий под питоном. Опять же сейчас он нам не нужен, но если вам интересно работать с телеграммом, например выкачивать содержимое чатиков, изучать кто в них сидит и всякое такое - из под питона это задачи на 3-4 строки кода.Давайте ставить! Откроем командную строку и запустим следующую команду: pip install -U wheel jupyter bs4 urllib3 Как видите, всё предельно просто. Вызываем pip, даём ему команду install, параметр -U говорит о том, что если библиотека уже стоит (ну вдруг), то её нужно обновить, ну а дальше просто через пробел названия интересующих нас пакетов. wheel здесь идёт первым в списке чисто на всякий случай, вдруг для установки дальнейших пакетов потребуется свежая версия. Если установка прошла успешно, а скорее всего так и есть, то я предлагаю сразу посмотреть что к чему: pip list Эта команда покажет нам список тех пакетов которые у нас сейчас стоят. В процессе установки вы наверняка заметили что pip устанавил гораздо больше пакетов чем вы заказывали и сейчас в списке вы их тоже наблюдаете. Это связано с тем, что для установки и корректной работы практически любого пакета, библиотеки нужен какой-то ещё пакет. Это называется зависимость. К счастью, pip разрешает зависимости за нас и сам докачивает и устанавливает нужные пакеты. Вот собственно и всё, наша среда полностью готова к работе. Чтобы её запустить введите в консоли (командной строке cmd) jupyter-notebook: jupyter-notebook Прелестно! Так же у вас откроется вкладка в браузере с самим интерфейсом jupyter (если не открылась - скопируйте ссылку из консоли) Тут вы видите файловую систему вашего пользователя, перейдите в ту папку где вам будет удобно работать и создайте новый блокнот (так называют рабочий документ в джупайтере) с помощью кнопки new -> python3. Он будет автоматически открыт. Файлы блокноты имеют расширение .ipynb Блокнот представляет собой ячейки, в которых может быть как код, так и тексты и заголовки, и вообще всё что угодно. Название можно сменить вверху страницы. Таким образом ваше исследование очередной файлопомойки будет не просто написанием скриптов и работой с информацией кое-как записываемой в вордовский файлик, вы можете подробнейшим образом комментировать весь свой код и прямо по ходу записывать мысли о получаемых в процессе результатах. Работает это следующим образом: вы пишете код в активную ячейку как если бы вы писали его в вашем текстовом редакторе и запускаете ячейку с помощью shift+enter. Вывод ячейки будет располагаться прямо под ней: Само собой ячейки и код исполняемый в них живут не сами по себе, они живут в рамках одного блокнота, то есть когда мы исполняем код в любой из ячеек то он исполняется не в ячейке, а как бы, в блокноте. То есть грубо говоря если мы напишем некий код, выполним его, сотрём и в этой же ячейке напишем новый код и выполним его -- то для программы будет выполнено и то что было изначально и то что мы выполнили после перезаписи ячейки. Такая система может быть немного непривычной для тех кто привык к традиционному программированию когда ты сначала полностью пишешь программу, потом запускаешь и она исполняется от начала и до конца, но питон очень располагает к тому чтобы выполнять код буквально построчно и таким образом изучать возможности используемых нами библиотек. Подытожим. Мы поставили питон. Научились качать и обновлять библиотеки с помощью pip. Поставили jupyter-notebook и научились в общих чертах им пользоваться. Познакомились на уровне названий с теми библиотеками которые помогут нам в изучении киберпространства в первую очередь. Следующим шагом для вас будет всё таки немного разобраться в самом языке, как ставятся отступы, как работают словари/списки/туплеты. Но совершенно необязательно сразу всё заучивать, возьмите себе какую нибудь простенькую задачку, типо скачать все файлы с конкретной страницы и покуривая мануалы и гугля вопросы на stackoverflow эту задачку решите. Чтобы вам не было так грустно от того что мы сегодня не написали не строчки кода я прикладываю один блокнотец как раз с решением типовой задачки, где подробнейшим образом прокомментирована каждая строка, что зачем и почему. Открывать его само собой через jupyter, ну я думаю вы разберётесь. https://yadi.sk/d/pGxfdy69NF9FaA Буду рад ответить на содержательные вопросы в комментариях.