Поддержка санитайзеров

На основе извлеченного исходного кода Julia можно создать версию, поддерживающую очищение адресов в Julia и LLVM:

Здесь выбран каталог сборки /tmp/julia, но это может быть любой каталог на ваш выбор. После сборки запустите рабочую нагрузку, которую нужно протестировать с помощью /tmp/julia/julia. Обо всех ошибках памяти будет сообщаться.

Более подробные сведения, в том числе о настройке, см. в документации ниже.

Очевидно, что для применения санитайзеров Clang потребуется использовать Clang (USECLANG=1), но есть и еще один момент: большинству санитайзеров требуется библиотека времени выполнения, предоставляемая главным компилятором, однако инструментированный код, генерируемый JIT Julia, полагается на функциональные возможности этой библиотеки. Из этого следует, что версия LLVM главного компилятора должна соответствовать версии библиотеки LLVM, используемой в Julia.

Для решения этой проблемы можно просто создать специальную папку сборки для предоставления соответствующего набора инструментальных средств, выполнив сборку с параметром BUILD_LLVM_CLANG=1. Затем на этот набор инструментальных средств можно ссылаться из другой папки сборки, указывая параметр USECLANG=1 при переопределении переменных CC и CXX.

При обнаружении общей папки, открытой с помощью RTLD_DEEPBIND, санитайзеры выдают ошибку (см. google/sanitizers#611). Так как библиотека libblastrampoline по умолчанию использует RTLD_DEEPBIND, при использовании санитайзера необходимо задать переменную среды LBT_USE_RTLD_DEEPBIND=0.

Чтобы использовать один из санитайзеров, задайте SANITIZE=1, а затем установите соответствующий флаг для нужного санитайзера.

В macOS могут потребоваться дополнительные флаги. В целом это может выглядеть так с добавлением одного флага SANITIZE_* или нескольких, перечисленных ниже.

Этот код можно также поместить в файл Make.user, чтобы не вспоминать его каждый раз.

Для обнаружения или отладки ошибок памяти можно использовать санитайзер адресов (ASAN) Clang. Выполняя компиляцию с параметром SANITIZE_ADDRESS=1, вы включаете ASAN для компилятора Julia и генерируемого им кода. Кроме того, можно указать LLVM_SANITIZE=1, чтобы также санировать библиотеку LLVM. Имейте в виду, что эти параметры приводят к высоким затратам вычислительных ресурсов и ресурсов памяти. Например, при использовании ASAN для Julia и LLVM testall1 выполняется в 8—​10 раз дольше и потребляет в 20 раз больше памяти (с помощью описанных ниже параметров эти цифры можно уменьшить в 3 и 4 раза соответственно).

По умолчанию Julia устанавливает флаг ASAN allow_user_segv_handler=1, который необходим для корректной доставки сигналов. С помощью флага среды ASAN_OPTIONS можно задать и другие параметры; в этом случае придется повторять указанный ранее параметр по умолчанию. Например, указав fast_unwind_on_malloc=0 и malloc_context_size=2, можно сократить потребление памяти за счет точности обратной трассировки. В настоящее время Julia также задает параметр detect_leaks=0, однако в будущем это будет изменено.

Для обнаружения использования неинициализированной памяти можно применять санитайзер памяти (MSAN) Clang, выполнив компиляцию с параметром SANITIZE_MEMORY=1.

Для отладки состязаний за данные и других проблем, связанных с потоками, можно использовать санитайзер потоков (TSAN) Clang, выполнив компиляцию с параметром SANITIZE_THREAD=1.