что такое профайлер в майнкрафт

Руководство по профилировщикам Java

1. Обзор

Иногда просто написать код, который просто запускается, недостаточно. Возможно, нам захочется узнать, что происходит внутри, например, как распределяется память, последствия использования одного подхода к кодированию по сравнению с другим, последствия одновременного выполнения, области для повышения производительности и т. Д. Мы можем использовать для этого профилировщики.

В этой статье мы обсудим основные профилировщики Java: JProfiler, YourKit, Java VisualVM и Netbeans Profiler.

2. JProfiler

Обладая этой информацией, мы можем легко узнать, что нам нужно оптимизировать, исключить или изменить в базовой системе.

Вот как выглядит интерфейс JProfiler:

Обзорный интерфейс JProfiler с функциями

На приведенном ниже снимке экрана показан интерфейс проверки JDBC со списком текущих подключений:

Просмотр проверки базы данных JProfiler

Если мы хотим узнать о дереве вызовов взаимодействий с нашей базой данных и увидеть соединения, которые могут просочиться, JProfiler прекрасно справится с этим.

В случае дерева вызовов распределения мы можем выбрать просмотр дерева вызовов живых объектов, объектов со сборкой мусора или того и другого. Мы также можем решить, должно ли это дерево распределения быть для определенного класса или пакета или для всех классов.

На приведенном ниже экране показано использование оперативной памяти всеми объектами с количеством экземпляров:

Просмотр живой памяти JProfiler

3. YourKit

YourKit Java Profiler работает на многих различных платформах и обеспечивает отдельные установки для каждой поддерживаемой операционной системы (Windows, MacOS, Linux, Solaris, FreeBSD и т. Д.).

Вот краткий обзор результатов профилирования памяти серверного приложения Tomcat:

Профиль памяти YourKit Java Profiler серверного приложения Tomcat

YourKit имеет интересную функцию профилирования ЦП, которая позволяет целенаправленно профилировать определенные области нашего кода, например методы или поддеревья в потоках. Это очень мощный инструмент, позволяющий выполнять условное профилирование с помощью функции «что, если».

На рисунке 5 показан пример интерфейса профилирования потоков:

Рисунок 5. Интерфейс профилирования потоков YourKit Java Profiler

Мы также можем профилировать вызовы баз данных SQL и NoSQL с помощью YourKit. Он даже дает представление о фактически выполненных запросах.

Хотя это не является техническим соображением, модель разрешающего лицензирования YourKit делает его хорошим выбором для многопользовательских или распределенных групп, а также для покупок с одной лицензией.

4. Java VisualVM

Ниже мы можем увидеть простой обзорный интерфейс текущего сеанса профилирования с использованием Java VisualVM:

Профилирование приложения локального сервера Tomcat Java VisualVM

Ниже мы можем увидеть внешний вид памяти приложения Java, профилированного с помощью Java VisualVM:

Гистограмма кучи памяти Java VisualVM

5. Профилировщик NetBeans

Все другие описанные выше профилировщики предоставляют плагины для улучшения интеграции IDE.

На снимке экрана ниже показан пример интерфейса профилировщика NetBeans:

Интерфейс телеметрии Netbeans Profiler

6. Другие твердотельные профилировщики

7. Заключение

В этой статье мы обсудили профилирование и профилировщики Java. Мы рассмотрели особенности каждого Profiler и то, что определяет потенциальный выбор одного из них.

Доступно множество профилировщиков Java, некоторые из которых обладают уникальными характеристиками. Выбор профилировщика Java для использования, как мы видели в этой статье, в основном зависит от инструментов, выбранных разработчиком, требуемого уровня анализа и функций профилировщика.

Источник

Профилирование уже запущенных программ

Все мы пользуемся профайлерами. Традиционная схема работы с ними такова, что приходится изначально запускать программу «под профайлером» а затем, после окончания ее работы, анализировать сырой дамп с помощью дополнительных утилит.
А что делать если мы не имея root’а хотим запрофилировать уже работающую программу, которая долго работала «как надо», а сейчас что-то пошло не так. И хотим это сделать быстро. Знакомая ситуация?
Тогда рассмотрим наиболее популярные профайлеры и принципы их работы. А затем профайлер, который решает именно указанную задачу.

Популярные профайлеры

Если вы знаете принципиально другой — напишите о нем в комментах. А пока рассмотрим эти 4:

I. gprof

Старый-добрый UNIX профайлер который, по словам Кирка МакКузика, был написан Биллом Джоем для анализа производительности подсистем BSD. Собственно, профайлер «предоставляется» компилятором — он должен расставить контрольные точки в начале и в конце каждой функции. Разница между двумя этими точками и будет временем ее исполнения.
Стоит отметить, что gprof в данном случе точно «знает» и то, сколько раз была вызвана каждая функция. И хотя это может быть необходимым в некоторых ситуациях, это также имеет отрицательный эффект — overhead от замеров может быть сравним или даже больше чем само тело функции. Поэтому, например, для при компиляции C++-кода используют оптимизации приводящие к inline.
Так или иначе, но gprof не работает с уже запущеными программами.

II. Callgrind

Callgrind является частью Valgrind’а — отличного фреймворка для построения средств динамического анализа кода. Valgrind запускает программу «в песочнице», фактически используя виртуализации. Callgrind производит профилирование основываясь на брейкпоинтах на инструкциях типа call и ret. Он значительно замедляет анализируемый код, как правило, от 5 до 20 раз. Таким образом, для анализа на больших данных в runtime он, как правило, не годен.
Однако инструмент очень популярен, и простой формат графа вызовов поддерживается отличными средствами визуализации, например, kcachegrind.

III. OProfile

OProfile is a system-wide profiler for Linux systems, capable of profiling all running code at low overhead.

IV. Google perftools

Этот профайлер является частью набора Google perftools. Я не нашел на хабре его обзора, поэтому очень кратко опишу.
Набор включает серию библиотек нацеленых на ускорение и анализ C/C++ — приложений. Центральной частью является аллокатор tcmalloc, который помимо ускорения распределения памяти несет средства для анализа классических проблем — memory leaks и heap profile.

Второй частью является libprofiler, который позволяет собирать статистику использования CPU. Важно остановиться на том, как он это делает. Несколько раз в секунду (по-умолчанию 100) программа прерывается на сигнал таймера. В обработчике этого сигнала раскручивается стек и запоминаются все указатели инструкций. По-окончанию сырые данные сбрасываются в файл, по которому уже можно строить статистику и граф вызовов.

1. По-умолчанию сигналом таймера выбирается таймер ITIMER_PROF, который тикает лишь при использовании программой CPU. Ведь, как-правило, нам не очень интересно где была программа ожидая ввод с клавиатуры или поступления данных по сокету. А если все же интересно, используйте env CPUPROFILE_REALTIME=1

Интересен принцип действия — программа прерывается лишь N раз в секунду, где N достаточно мало. Это т.н. сэмплирующий профайлер. Его преимущество в том, что он не оказывает существенного влияния на анализируемую программу, сколько бы мелких функций там не вызывалось. Ввиду особенностей работы, он, однако, не позволяют ответить на вопрос «сколько раз вызывалась данная функция».
В случае с google profiler есть еще несколько неприятностей:

Crxprof

Как и обещал, теперь про другой профайлер, который написан именно для решения обозначенной выше проблемы — легкое профилирование уже запущенных процессов.

Он собирает стек вызовов и выводит наиболее «горячие» части в консоль по нажатию ENTER. Также он умеет сохранять граф вызова в упомянутом ранее формате callgrind. Работает быстро, и как любой другой сэмплирующий профайлер не зависит от сложности вызовов в профилируемой программе.

В основном, crxprof работает также как perftools, но использует внешнее профилирование через ptrace(2). Подобно perftools он использует libunwind для раскрутки стека, а вместо тяжелой работы по преобразованию в имена функций, вместо addr2line(1) используется libbfd.

Несколько раз в секунду программа останавливается (SIGSTOP) и с помощью libunwind «снимается» стек вызова. Загрузив при старте crxprof карту функций профилируемой программы и связанных с ней библиотек, мы можем быстро найти какой функции пренадлежит каждый отделый IP (instruction pointer).

Параллельно выстраивается граф вызова, полагая что есть некая центральная функция — точка входа. Обычно это __libc_start_main из библиотеки libc.

Исходный код доступен на github. Т.к. утилита создавалась для меня и моих коллег, я вполне допускаю что она может не соответствовать Вашему use-case’у. Так или иначе, спрашивайте.

Соберем crxprof и посмотрим на пример его использования.

Сборка

Что необходимо: Linux (2.6+), autoconf+automake, binutils-dev (включает libbfd), libunwind-dev (у меня он называется libunwind8-dev).
Для сборки выполняем:

Если libunwind установлен в нестандартное место, используйте:

Профилирование

Для этого просто запустите

И все! Теперь используйте ENTER для вывода профайла в консоль, и ^C для завершения. Crxprof также выведет профайл и по выходу программы.

Реальный пример

Для того чтобы привести реальный, но не сложный пример я использую этот код на C. Скомпилируем, запустим его и попросим crxprof сохранить граф вызова функций (4054 — pid профилируемой программы):

Визуализация делается по схеме «наибольшие поддеревья — первыми». Таким образом, даже для больших реальных программ можно использовать простую визуализацию в консоли, что должно быть удобно на серверах.

Для визуализации сложных графов вызова удобно использовать KCachegrind:

Картинка, которая получилась у меня, представлена справа.
Вместо заключения, напомню что профайлером пока пользуются лишь несколько моих коллег и я сам. Надеюсь, он будет также полезен и Вам.

Источник

О профайлинге. Что такое и с чем едят

Привет Пикабу! Хочу немного рассказать о своей работе, развеять некоторые мифы по этому направлению, и может быть, поделиться опытом, если это будет вам интересно.

Про профайлинг ходит много негатива, мифов и слухов, что как правило, вызвано непониманием, незнанием этой профессии. Надеюсь мои статьи и ваши вопросы помогут снять негатив и популяризировать это направление.

Начнем с понятия профайлинг и верификация.
Понятие профайлинг все чаще мелькает в интернете, а специалистов, которые обучают профайлингу, с каждым днем становится все больше.

Профайлинг («англ.profile» — профиль) — это понятие, обозначающее совокупность психологических методов и методик оценки и прогнозирования поведения человека на основе анализа наиболее информативных частных признаков, характеристик внешности, невербального и вербального поведения (взято с википедии).

Далее профайлинг начал развиваться, дополнятся другими методиками и использоваться в других сферах, например, бизнес, Hr, консультирование, расследования и другие. Со временем, понятие профайлинга стало расширяться.

В последнее время, расширенная трактовка понятия «профайлинг» включает ряд прикладных социально-психологических методик, целью которых является оценка достоверности сообщаемой информации по вербальному и невербальному поведению человека, т.н. неинструментальная детекция лжи.

И тут кроется важный нюанс, оценка достоверности/искренности сообщаемой информации, иначе говоря, детекция/распознавание/выявление лжи, называется верификацией. Таким образом, человек который занимается верификацией – верификатор, но никак не профайлер. Профайлер занимается оценкой поведения, а не оценкой информации. Профайлеры и верификаторы – разные люди, и не нужно их путать.

Однако верификатор, что бы эффективно и достоверно заниматься распознаванием лжи, должен понимать характер человека, механизмы его адаптации и защиты, то есть должен быть профайлером. Именно потому в понятие профайлинга ошибочно приписывают детекцию лжи. Сам по себе профайлер – самостоятельный специалист, который не обязан уметь верифицировать, а профайлер-верификатор обязан быть еще и профайлером. Да, вот такая путаница в понятиях.

Вывод: Верификатор – всегда профайлер, но профайлер – не всегда верификатор.

Профессия профайлера и верификатора в России слабо развита и только начинает развиваться. В то время как в США, например, профайлинг занимает серьезную позицию в сфере безопасности, а именно ФБР.

Пикабушники, надеюсь эта обзорная статья была интересна и понятна. Отвечу на все вопросы и конструктивную критику. Напишите в комментариях стоит ли мне писать о методиках, тонкостях и нюансах работы, личном опыте?

Источник

Профайлер объяснил странную позу Байдена

Пользователи Twitter озадачились странной позой президента США Джо Байдена на появившемся в сети видеоролике со встречи с избирателями, когда он согнул руки в локтях и сжал кулаки. В беседе с «Газетой.Ru» врач-психиатр, эксперт-профайлер Алексей Филатов рассказал, что такую позу можно объяснить желанием сконцентрировать внимание.

«А что тут странного, если человек уже в приличных годах. Это один из способов концентрации. Ничего страшного не произошло. Иногда бывает такое, что, когда человек устал, и ему нужно сконцентрировать свое внимание, что он делает, не знаю, кто-то может напрячь руки, кулаки. Это один из способов концентрации внимания на фоне интенсивной усталости. Почему это произошло — не знаю. Это не какая-нибудь неврология, не деменция. Да, у Байдена достаточно проблем всяких медицинских, но это ерунда. Это ничего не означает, просто хотел сконцентрировать свое внимание на фоне усталости», — сказал он.

Ранее в Twitter появился видеоролик, на котором президент США Джо Байден согнул руки в локтях и сжал кулаки, пока ведущий зачитывал вопрос о темпах инфляции в США. Он простоял в таком положении около пятнадцати секунд. Кадры быстро распространились по социальным сетям и вызвали бурную реакцию комментаторов.

President Biden says he expects gas prices will stay high until 2022.

Источник

Как работают профайлеры в Ruby и Python?

Перевод статьи подготовлен в преддверии старта продвинутого курса «Разработчик Python».

Всем привет! В качестве аперитива к профайлеру на Ruby я хотела рассказать о том, как работают уже существующие профайлеры на Ruby и Python. Также это поможет дать ответ на вопрос, который мне задает множество людей: «Как написать профайлер?»

В этой статье мы сфокусируемся на профайлерах процессора (а не, допустим, профайлерах памяти/кучи). Я расскажу о некоторых базовых подходах к написанию профайлера, приведу примеры кода и покажу много примеров популярных профайлеров на Ruby и Python, а также расскажу, как они работают под капотом.

Вероятно, в статье могут быть ошибки (при подготовке к ее написанию, я частично просмотрела код 14 библиотек для профайлинга, и со многими из них я была не знакома до этого момента), так что, пожалуйста, дайте мне знать, если вы их обнаружите.

2 вида профайлеров

Есть два основных вида профайлеров процессора – sampling- и tracing-профайлеры.

Tracing-профайлеры записывают каждый вызов функции в вашей программе, в конечном итоге предоставляя отчет. Sampling-профайлеры придерживаются статистического подхода, они записывают стек каждые несколько миллисекунд, создавая отчет на основе этих данных.

Основная причина использовать sampling-профайлер вместо tracing-профайлера – это его легковесность. Делаете вы 20 или 200 снимков в секунду — это не занимает много времени. Такие профайлеры будут очень эффективны, если у вас есть серьезная проблема с производительностью (80% времени тратится на вызов одной медленной функции), поскольку 200 снимков в секунду будет вполне достаточно для определения проблемной функции!

Профайлеры

Дальше я приведу общую сводку профайлеров, рассматриваемых в данной статье(отсюда). Я объясню термины, используемые статье (setitimer, rb_add_event_hook, ptrace) немного позже. Интересно, что все профайлеры реализованы с использованием небольшого набора базовых возможностей.

Профайлеры Python

«gdb hacks» не совсем профайлер Python — он ссылается на веб-сайт, рассказывающий о том, как реализовать хакерский профайлер в качестве обертки shell-скрипта вокруг gdb. Речь идет именно о Python, так как новые версии gbd фактически развернут для вас стек Python. Что-то вроде pyflame для бедных.

Профайлеры Ruby

Почти все эти профайлеры живут внутри вашего процесса

Прежде чем мы начнем разбираться в деталях этих профайлеров, есть одна очень важная вещь – все эти профайлеры, кроме pyflame, запускаются внутри вашего процесса Python/Ruby. Если вы находитесь внутри программы на Python/Ruby, у вас, как правило, имеется простой доступ к стеку. Например, вот простая программа на Python, которая печатает содержимое стека каждого работающего потока:

Вот вывод консоли. Вы видите, что в нем есть имена функций из стека, номера строк, имена файлов – все, что вам может понадобиться, если вы выполняете профилирование.

В Ruby даже проще: вы можете использовать puts caller, чтобы получить стек.

Большинство этих профайлеров являются расширениями С в плане производительности, поэтому они немного отличаются, но такие расширения для программ на Ruby/Python также имеют легкий доступ к стеку вызовов.

Как работают tracing-профайлеры

Я перечислила все tracing-профайлеры Ruby и Python в таблицах выше: rblineprof, ruby-prof, line_profiler и cProfile. Все они работают схожим образом. Они записывают каждый вызов функции и являются расширениями С для уменьшения оверхеда.

Как они работают? И в Ruby, и в Python вы можете указать коллбэк, который запускается, когда происходят различные события интерпретатора (например, «вызов функции» или «выполнение строки кода»). Когда вызывается коллбэк, он записывает стек для последующего анализа.

Полезно видеть, где именно в коде находятся эти коллбэки, поэтому я сошлюсь на соответствующие строки кода на github.

Чем-то похоже на PyEval_SetTrace в Python, но в более гибкой форме – вы можете выбрать, о каких событиях вы хотите получать уведомления (например, «только вызовы функций»).

Недостатки tracing-профайлеров

Основным недостатком реализованных таким образом tracing-профайлеров является то, что они добавляют фиксированное количество кода для каждого выполняемого вызова функции/строки. Это может заставить вас принимать неправильные решения! Например, если у вас есть две реализации чего-либо — одна с большим количеством вызовов функций, а другая без, которые обычно выполняются за одинаковое время, то первая, с большим количеством вызовов функций, при профилировании будет казаться медленнее.

В документации cProfile сказано:
интерпретируемая природа Python добавляет столько накладных расходов во время выполнения, что детерминированное профилирование имеет тенденцию добавлять небольшую нагрузку на обработку в обычных приложениях

Большинство программ будет работать примерно вдвое медленнее, в то время как высокорекурсивные программы (такие как тест ряда Фибоначчи) будут работать в три раза медленнее.

Как в основном работают sampling-профайлеры: setitimer

Допустим, вы хотите получать снимок стека программы 50 раз в секунду. Сделать это можно следующим образом:

Причина, по которой stacksampler.py занимает всего 100 строк в Python, заключается в том, что при регистрации функции Python в качестве обработчика сигнала функция передается в текущий стек вашей программы. Поэтому обработчик сигналов stacksampler.py регистрируется очень просто:

Он просто извлекает стек из фрейма и увеличивает количество раз, которое конкретный стек просматривался. Так просто! Так круто!

Один ИНТЕРЕСНЫЙ недостаток профайлеров на основе setitimer – то, что таймеры вызывают сигналы! Сигналы иногда прерывают системные вызовы! Системные вызовы иногда занимают несколько миллисекунд! Если вы делаете снимки слишком часто, то можете заставить программу выполнять системные вызовы бесконечно долго!

Sampling-профайлеры, которые не используют setitimer

Существует несколько sampling-профайлеров, которые не используют setitimer :

Посты в блоге pyflame

Конечно же, все немного сложнее, чем я описала. Я не буду вдаваться в подробности, но Эван Клицке написал много хороших статей об этом в своем блоге:

На этом все на сегодня!

Есть много важных тонкостей, в которые я не вдавалась в этом посте – например, я в основном сказала, что vmprof и stacksampler – схожи (это не так — vmprof поддерживает профилирование строк и профилирование функций Python, написанных на C, что, я считаю, делает профайлер более сложным). Но у них есть некоторые одинаковые основные принципы, и поэтому я думаю, что сегодняшний обзор будет хорошей отправной точкой.

Источник