pycharm как скомпилировать код

Как скомпилировать Python

Я хочу рассказать об удивительном событии, о котором я узнал пару месяцев назад. Оказывается, одна популярная python-утилита уже более года распространяется в виде бинарных файлов, которые компилируются прямо из python. И речь не про банальную упаковку каким-нибудь PyInstaller-ом, а про честную Ahead-of-time компиляцию целого python-пакета. Если вы удивлены так же как и я, добро пожаловать под кат.

Объясню, почему я считаю это событие по-настоящему удивительным. Существует два вида компиляции: Ahead-of-time (AOT), когда весь код компилируется до запуска программы и Just in time compiler (JIT), когда непосредственно компиляция программы под требуемую архитектуру процессора осуществляется во время ее выполнения. Во втором случае первоначальный запуск программы осуществляется виртуальной машиной или интерпретатором.

Если сгруппировать популярные языки программирования по типу компиляции, то получим следующий список:

Ahead-of-time compiler: C, C++, Rust, Kotlin, Nim, D, Go, Dart;

Just in time compiler: Lua, С#, Groovy, Dart.

В python из коробки нет JIT компилятора, но отдельные библиотеки, предоставляющие такую возможность, существуют давно

Смотря на эту таблицу, можно заметить определенную закономерность: статически типизированные языки находятся в обеих строках. Некоторые даже могут распространяться с двумя версиями компиляторов: Kotlin может исполняться как с JIT JavaVM, так и с AOT Kotlin/Native. То же самое можно сказать про Dart (версии 2). A вот динамически типизированные языки компилируются только JIT-ом, что впрочем вполне логично.

При запуске виртуальная машина сначала накапливает информацию о типах переменных, затем после накопления статистики, запускается компиляция наиболее нагруженных частей программы. Виртуальная машина отслеживает типы аргументов и переключает выполнение программы между уже скомпилированными и не скомпилированными участками кода в зависимости от текущих значений переменных.

При использовании JIT компиляции типы не очень то и нужны, ведь информация о типах собирается во время работы программы. Поэтому все популярные динамически типизированные языки программирования распространяются именно с JIT компилятором. Но как быть с AOT компиляцией кода, в котором нет типов? Меня очень заинтересовал этот вопрос, и я полез разбираться.

С апреля 2019 года эта утилита распространяется в скомпилированном виде, о чем рассказывается в блоге проекта. А для компиляции используется еще одна утилита от тех же авторов — mypyc. Погуглив немного, я нашел достаточно большую статью “Путь к проверке типов 4 миллионов строк Python-кода” про становление и развитие mypy (на Хабре доступен перевод: часть 1, часть 2, часть 3). Там немного рассказывается о целях создания mypyc: столкнувшись с недостаточной производительностью mypy при разборе крупных python-проектов в Dropbox, разработчики добавили кеширование результатов проверки кода, а затем возможность запуска утилиты как сервиса. Но исчерпав очевидные возможности оптимизации, столкнулись с выбором: переписать все на go или на cython. В результате проект пошел по третьему пути — написание своего AOT python-компилятора.

Дело в том, что для правильной работы mypy и так необходимо построить то же синтаксическое дерево, что и интерпретатору во время исполнения кода. То есть mypy уже “понимает” python, но использует эту информацию только для статистического анализа, а вот mypyc может преобразовывать эту информацию в полноценный бинарный код.

Думаю тут многие решили, что разобрались в вопросе того, как скомпилировать динамически типизированный python-код. Python c версии 3.4 поддерживает аннотацию типов, а mypy как раз и используется для проверки корректности аннотаций. Получается, python как бы уже и не динамически типизированный язык, что позволяет применить AOT компиляцию. Но загвоздка в том, что mypyc может компилировать и неаннотированный код!

Функция bubble_sort

Для примера рассмотрим функцию сортировки “пузырьком”. Файл lib.py:

У типов нет аннотаций, но это не мешает mypyc ее скомпилировать. Чтобы запустить компиляцию, нужно установить mypyc. Он не распространяется отдельным пакетом, но если у вас установлен mypy, то и mypyc уже присутствует в системе! Запускаем mypyc, следующей командой:

После запуска в проекте будут созданы следующие директории:

.mypy_cache — mypy кэш, mypyc неявно запускает mypy для разбора программы и получения AST;

build — артефакты сборки;

lib.cpython-38-x86_64-linux-gnu.so — собственно сборка под целевую платформу. Данный файл представляет из себя готовый CPython Extension.

CPython Extension — встроенный в CPython механизм взаимодействия с кодом, написанным на С/C++. По сути это динамическая библиотека, которую CPython умеет загружать при импорте нашего модуля lib. Через данный механизм осуществляется взаимодействие с модулями, написанными на python.

Компиляция состоит из двух фаз:

Компиляция python кода в код С;

Компиляция С в бинарный .so файл, для этого mypyc сам запускает gcc (gcc и python-dev также должен быть установлены).

Файл lib.cpython-38-x86_64-linux-gnu.so имеет преимущество перед lib.py при импорте на соответствующей платформе, и исполняться теперь будет именно он.

Ну и давайте сравним производительность модуля до и после компиляции. Для этого создадим файл main.py с кодом запуска сортировки:

Получим примерно следующие результаты:

Ожидаемо скомпилированный код оказался быстрее (

в 2 раза), что неплохо, так как для такого результата нам потребовалось запустить лишь одну команду. Хотя от скомпилированного кода привычно ожидаешь большего.

Чтобы ответить на вопрос “как компилируется динамически типизированный код”, придется заглянуть в представление этой функции на С. Но разобрать ее будет достаточно сложно, поэтому давайте попробуем разобраться с примером попроще.

Функция sum(a, b)

Скомпилируем функцию суммы от двух переменных:

Перед запуском компиляции я ожидал увидеть примерно следующий код на С:

Однако результат оказался cущественно иным (код немного упрощен):

Рассмотрим, что тут происходит. Во-первых, так как мы не знаем типы входных переменных, функция в качестве аргументов принимает указатели на объекты класса PyObject, по сути это внутренние CPython структуры. Далее компилятор должен сложить эти объекты, но как, если настоящие типы аргументов неизвестны во время компиляции: это могут быть целые числа, числа с плавающей точкой, списки и вообще не факт, что аргументы можно складывать, тогда нужно вернуть ошибку. И что же делает в этом случае mypyc?

Как оказалось, все очень просто: он просит CPython самостоятельно сложить эти аргументы. Функция PyNumber_Add — это внутренняя функция СPython, которая доступна из расширения, ведь СPython отлично умеет складывать свои объекты.

Взаимодействие CPython c Extension можно изобразить следующим диалогом:

— А посчитай-ка мне функцию sum для A, B;

— Хорошо, но скажи сначала, сколько будет A + B;

Вот такой нехитрый прием используется при компиляции динамического кода: компилируем все, что можем, а все остальное отдаем интерпретатору.

Конечно, данный пример выглядит гротескно, но даже несмотря на такую неэффективность, mypyc позволяет добиться существенного прироста производительности, как в примере с сортировкой.

Функция sum(a: int, b: int)

Для повышения эффективности, нужно, чтобы расширение, получив управление, могло как можно дольше оставлять его у себя без обращения к CPython. Если бы у mypyc была информация о типах переменных, то он бы мог самостоятельно произвести сложение без возврата управления. Но вывести типы самостоятельно mypyc не может, он даже не контролирует код, из которого осуществляется вызов функции sum. Соответственно, ему нужно помочь, проставив аннотации вручную. Давайте посмотрим, как поменяется результирующая С-функция, если добавить аннотацию типов:

Скомпилированный результат на C (немного очищенный):

Главное, что можно заметить: функция существенно поменялась, а значит, компилятор реагирует на появление аннотации. Давайте разбираться, что изменилось.

Теперь CPyDef_sum получает на вход не указатели на PyObject, а структуры CPyTagged. Это все еще не int, но уже и не часть CPython, а часть библиотек mypyc, которую он добавляет в скомпилированный код расширения. Для ее инициализации в рантайме сначала проверяется тип, так что теперь функция sum работает только с int и обойти аннотацию не получится.

Далее происходит вызов CPyTaggetAdd вместо PyNumber_Add. Это уже внутренняя функция mypyc. Если заглянуть в код CPyTaggetAdd, то можно понять, что там происходит проверка диапазонов значений a и b, и если они укладываются в int, то происходит простое суммирование, а также проверка на переполнение:

— А посчитай-ка мне функцию sum для A, B;

— Хорошо, тогда держи ответ С.

Функция bubble_sort(data: List[int])

Настало время вернуться к функции сортировки, чтобы провести замеры скорости. Изменим начальную функцию, добавив аннотацию для data:

Скомпилируем результат и замерим время сортировки:

Источник

Работа в IDE PyCharm (FAQ) + полезные фишки

Талантливые ребята из JetBrains разработали одну из наиболее используемых IDE в мире для этого языка программирования.

В начале 2019 года компания JetBrains опросила почти 7000 разработчиков. 42% опрошенных, которые пишут на Python, выбрали PyCharm как основную IDE для своей работы.

PyCharm кроссплатформенна и совместима с Windows, Linux и MacOS. Она поддерживает, как вторую, так и третью версию Питона и, кроме всего прочего, имеет красивый и функциональный UI.

Инструменты и функции, предоставляемые этой интегрированной средой, помогают Python-программистам быстро и эффективно писать код, синхронизироваться с системой контроля версий, использовать фреймворки и плагины, позволяя при этом настроить интерфейс так, как удобно самому пользователю и даже дают возможность дополнительного расширения IDE.

В PyCharm, конечно же, есть встроенный анализатор кода, который действительно помогает при его написании. Благодаря анализатору можно весьма комфортно перемещаться по проекту, использовать быстрый поиск, а также исправлять ошибки, которые PyCharm любезно подсвечивает и подробно описывает.

Тут реализованы системы автодополнения и контроля качества кода в соответствии со стандартом PEP8. Всё для того, чтобы сделать текст ваших программ красивее, чище и структурированнее.

В интегрированной среде от JetBrains поддерживаются основные современные Python-фреймворки для веб-разработки, в ней вы сможете работать с Jupyter-notebook, подключать Anaconda, а также прочие библиотеки для научных вычислений и Data Science. Но, как говорится – «И это ещё не всё!». Помимо, собственно, питона, PyCharm отлично ладит и с другими языками программирования – JS, TypeScript-а, SQL или шаблонизаторами.

Системные требования

Официальные системные требования последней версии PyCharm выглядят так:

RAM: не менее 2 ГБ, но рекомендуется 8 ГБ;

Место на диске: установка потребует 2,5 ГБ, рекомендуется использование SSD;

Разрешение экрана : не менее 1024×768 пикселей;

Python: Python 2.7, Python 3.5 или более поздняя версия;

При этом разработчики обращают внимание пользователей macOS и Linux на то, что JBR 11 поставляется в комплекте с PyCharm, и дополнительно устанавливать Java им не нужно.

В самих системных требованиях нет ничего особенного, однако хочется отметить, что IDE прекрасно себя чувствует и на Windows 7, а к рекомендациям по поводу 8 ГБ оперативной памяти и использования SSD стоит тщательным образом прислушаться, не прогадаете 😉.

Как установить

Процесс установки вкратце описан на официальном сайте для каждой из поддерживаемых ОС:

На Windows

На Mac OS

На Linux

Подготовка к работе и настройка

Перед тем, как приступить к разработке в PyCharm, вам нужно создать проект, поскольку все дальнейшие манипуляции будут происходить именно в нём и на его основе.

Чтобы начать новый проект, нажмите New Project и придумайте ему имя. Теперь можно приступить к настройке.

Настройки интерфейса

Несмотря на то, что разработчики из JetBrains начинали свой путь в России, смена языка интерфейса в среде разработки не предусмотрена, поэтому к вашим услугам будет лишь родной язык Уильяма Шекспира.

Зато вы можете изменить сами шрифты и их размеры, пройдя по пути:

Поменять цветовую схему UI:

И сконфигурировать множество других аспектов, вроде общих настроек, конфигураций прокрутки, настроек цвета для каждого доступного языка и так далее. Для всего этого есть редактор:

Настройка интерпретатора

Для использования установленного интерпретатора, выберите его в настройках:

💭 Если PyСharm не видит интерпретатор, попробуйте добавить его вручную. Для этого:

Настройка виртуального окружения

Если по долгу программистской службы вам приходится работать с несколькими проектами, то определенно не помешает настройка и подключение виртуального окружения.

Venv – это, грубо говоря, директория, содержащая ссылку на интерпретатор и набор установленных библиотек. Виртуальное окружение “изолирует” ваши проекты, и помогает, в частности, не запутаться в разных версиях библиотек, адаптированных для каждого из них по отдельности.

Если вы настроили виртуальное окружение заранее, PyCharm покажет уведомление, в котором предложит использовать его в проекте. Если уведомления нет, вы всегда можете настроить и изменить его вручную в настройках:

Также в этом меню можно создать виртуальные окружения с нуля. Для этого:

Venv создано и готово к работе 👌.

Окружение Pipenv создается аналогичным образом

Запуск скриптов в консоли

Чтобы запустить код в PyCharm, нужно выбрать интерпретатор в настройках (как это сделать я писал чуть выше).

Также, перед запуском своего кода в PyCharm необходимо добавить конфигурацию (чтобы IDE понимал, какой файл ему запускать и по каким правилам). Изначально, если проект новый, конфигурации нет, и кнопка запуска не активна.

Чтобы запустить код в новом проекте, зайдите в

или выполните комбинацию:

Откроется диалоговое окно в выбором файла, который необходимо запустить.

После запуска, откроется терминал, в котором вы увидите результат выполнения своего скрипта и сообщение о том, что процесс завершился с кодом 0 (0 означает успешное завершение).

Далее, когда конфигурация создана и сохранена, запускать свой код на выполнения можно комбинацией:

☝️ Если скрипт не запускается, возможно вы не сохранили конфигурацию или PyCharm не видит интерпретатор. Настроить или создать конфигурацию можно в меню » Edit Configurations.. «, которое находится сверху справа, около кнопки «Run».

Есть еще один способ запуска кода:

💁‍♂️ В целях обучение, вам может понадобиться быстро писать и проверять Python-инструкции. Для этого в PyCharm-е реализован интерактивный режим (по аналогии с IDLE ). Чтобы его вызвать, достаточно нажать на » Python Conole » внизу слева.

Отладчик (debugger) в Pycharm

Отладка – чрезвычайно полезный инструмент. С помощью него можно пошагово исполнять программный код. Интерпретатор переходит в особый режим, фиксируя на каждом этапе выполнения текущее состояние программы. Т.е. для каждой строки кода вам будет представлен мини-отчёт, в котором можно посмотреть актуальные значения всех переменных и проследить таким образом весь процесс их изменения.

Находясь в руках опытного разработчика, отладчик сокращает время поиска ошибок на порядки.

Для старта отладки, нужно поставить так называемую точку останова. Это красный кружок напротив строки кода.

Вы можете установить её где захотите, но чаще всего точку следует ставить там, где интерпретатор увидел ошибку.

Для запуска кода в режиме отладки нажмите на значок в «жука» в левом верхнем углу:

Или выполните комбинацию:

Все варианты навигации в режиме отладки можно посмотреть в окне «Debugger»:

Для каждой кнопки существует свой hotkey – чтобы увидеть его, достаточно навести курсор на нужную кнопку.

Deploy на удаленный хост

Развернуть и отправить код на сервер возможно прямиком из PyCharm.

Инструмент не доступен в бесплатной комьюнити-версии

Чтобы добавить удалённый сервер, первым делом перейдём в:

Теперь можно производить deploy:

Макросы

Макросы, как и многие другие вещи нужны исключительно для облегчения нашей с вами жизни. Они позволяют автоматизировать ряд повторяющихся процедур, которые вы чаще всего выполняете во время написания кода. Вы можете записывать, редактировать и воспроизводить макросы, назначать им ярлыки и даже делиться ими.

Чтобы создать или настроить свой собственный макрос, вам нужно выбрать:

Полезные хоткеи и фишки

⚡ Как поменять цвет консоли в pycharm. Поменять цвет консольного бэкграунда или шрифтов предельно просто: для этого нужно всего лишь зайти в настройки цветовой схемы и изменить их так, как того пожелает ваш внутренний дизайнер:

⚡ Поиск по всему проекту.

⚡ Хоткеи по запуску и дебаггингу. С помощью комбинации клавиш Shift + F10 можно запустить ваш проект, а нажав Shift + F9 – начать его отладку.

Повторив то же самое действие на том же самом месте, вы выполните раскомментирование кода.

⚡ Некоторые горячие клавиши.

ТОП 7 полезных плагинов для Pycharm

Меню установки плагинов находится в:

Для установки плагина достаточно написать его название в строке поиска, найти плагин и нажать » Install «.

⭐ Вот список полезных плагинов, которые стоит установить:

Другие полезные плагины:

Что делать, если PyCharm не видит модули Python?

Если у вас возникла подобная проблема, то в первую очередь стоит проверить настройки интерпретатора.

Вариант №1 – сброс настроек и выборе новой версии интерпретатора. Настройки находятся тут:

Источник

Pycharm

Инструкция по началу работы

Это краткое руководство предназначено для ознакомления с ключевыми понятиями и поможет быстро начать работу с IDE.

Шаг 0. Прежде чем вы начнете

На каких языках поддерживается PyCharm?

С PyCharm вы можете разрабатывать приложения на Python. Кроме того, в Professional Edition можно разрабатывать приложения Django, Flask и Pyramid. Кроме того, он полностью поддерживает HTML (включая HTML5), CSS, JavaScript и XML: эти языки включены в IDE через плагины и включены для вас по умолчанию. Поддержка других языков и фреймворков также может быть добавлена ​​через плагины (перейдите к Settings | Plugins или PyCharm | Preferences | Plugins для пользователей MacOS, чтобы узнать больше или установить их во время первого запуска IDE).

File / Settings / Plugins

На каких платформах я могу запустить PyCharm?

Шаг 1. Откройте / создайте проект в PyCharm

Зачем мне нужен проект?

Все, что вы делаете в PyCharm, выполняется в контексте проекта. Он служит основой для поддержки кодирования, рефакторинга, согласованности стиля кодирования и т.д.

У вас есть три варианта начать работу над проектом внутри среды IDE:

1. Открыть существующий проект

Начните с открыв один из ваших существующих проектов, хранящихся на вашем компьютере. Вы можете сделать, нажав Открыть проект (Open )на экране приветствия (или File | Open):

Или выберите Open в меню File и укажите каталог, в котором находятся ваши источники:

PyCharm File/Open

Затем PyCharm создаст для вас проект из ваших источников.

Смотрите также. Раздел Импорт проекта из существующего исходного кода.

2. Создать проект с нуля

Если вы предпочитаете начинать с нуля, нажмите New Project и на открывшемся экране введите имя проекта в диалоговом окне и будет создан проект Python.

File / New Project

Смотрите также. Раздел Создание и управление проектами

Шаг 2. Ознакомьтесь с интерфейсом

Когда проект открывается, вы видите главное окно, разделенное на несколько логических областей. Давайте рассмотрим ключевые элементы пользовательского интерфейса здесь:

Интерфейс PyCharm (тёмный)

Интерфейс PyCharm (светлый)

Кроме того, в нижнем левом углу окна PyCharm в строке состояния вы увидите кнопку. Эта кнопка переключает показ панелей инструментов. Если вы наведите указатель мыши на эту кнопку, появится список доступных в данный момент панелей:

Эта кнопка переключает показ панелей инструментов

Переключение между панелями

Шаг 3. Настройте свою среду

Вы можете настроить среду IDE, чтобы она идеально соответствовала вашим потребностям и была удобна для Вас. Зайдите в меню File / Settings, чтобы просмотреть список доступных параметров настройки.

File / Settings PyCharm

Внешний вид IDE

File / Settings / Appearance and Behavior /Appearance

Редактор

Множество вкладок, доступных в меню File / Settings / Editor помогут вам настроить каждый аспект поведения редактора. Здесь доступно множество опций, начиная с общих настроек (например, с помощью функции Drag’n’Drop, конфигурации прокрутки и т.д.). Для настройки цвета для каждого доступного языка и варианта использования, для вкладок и настроек свертки кода, для поведения завершения кода и.т.д.

File / Settings / Editor

Стиль кода

Стиль кода может быть определен для каждого языка File / Settings / Editor / Code Style. Вы также можете создать и сохранить свой собственный стиль кода.

File / Settings / Editor / Code Style

Раскладка

PyCharm использует подход, ориентированный на клавиатуру, что означает, что почти все действия, доступные в среде IDE, сопоставляются с комбинациями клавиш.

PyCharm предоставляет вам стандартную раскладку (выберите Help / Keymap Reference в главном меню), делая ваше кодирование действительно продуктивным и удобным. Однако вы всегда можете её изменить File / Settings / Keymap

Help / Keymap Reference

PyCharm Default keymap

File / Settings / Keymap

Также есть некоторые предварительно определенные раскладки клавиатуры (такие как Emacs, Visual Studio, Eclipse, NetBeans и т.д.), И вы также можете создать свою собственную раскладку на основе существующей.

Некоторые предварительно определенные раскладки клавиатуры

Завершение кода

Интеллектуальный ввод анализирует контекст, в котором вы сейчас работаете, и предлагает более точные предложения, основанные на этом анализе.

Auto-Completing Code PyCharm

Intention Actions

PyCharm следит за тем, что вы сейчас делаете, и делает умные предложения, называемые Intention Actions. При указании с лампочкой Intention Actions позволяют применять автоматические изменения к коду.

Intention Actions

Полный список доступных Intention Actions можно найти в File / Settings / Editor / Intentions

File / Settings / Editor / Intentions

Шаг 5. Сделайте свой код аккуратным

PyCharm контролирует ваш код и пытается сохранить его точным и чистым. Он обнаруживает потенциальные ошибки и проблемы и предлагает быстрые исправления (quick-fixes) для них.

Полный список доступных проверок можно найти в разделе меню File / Settings / Editor / Inspections. Отключите некоторые из них или включите другие, а также настройте степень серьезности каждой проверки. Вы решаете, следует ли считать это ошибкой или просто предупреждением.

File / Settings / Editor / Inspections

Шаг 6. Создание кода

Написание кода может быть намного проще и быстрее, если вы используете варианты генерации кода, доступные в PyCharm. The Code / Generate ( Alt+Insert) поможет вам создать символы, а также предложит переопределить / реализовать некоторые функции:

Источник