Очень часто для применения моделей машинного обучения недостаточно знать, какое качество эти модели демонстрируют
в среднем. Также необходимо понимать причины, почему модель выдает то или иное предсказание для каждого конкретного примера. Для решения этой задачи применительно к любой модели был предложен алгоритм LIME (Local Interpretable Model-Agnostic Explanations - локально интерпретируемые объяснения, не зависящие от устройства модели), описанный в публикации [
https://arxiv.org/abs/1602.04938]. Оригинальную реализацию на языке Python можно найти по ссылке [
https://github.com/marcotcr/lime], также доступен порт на языке R: [
https://github.com/thomasp85/lime].