Машинное обучение: "ECOC design for non-parametric Bayes classifier"

Работа должна быть выполнена на python 3 Необходимо выполнить до 12:00 22.03.2019 Задания 1. В предположении о независимости парзеновских ядер визуализировать восстановленные двумерные плотности распределения для каждого класса. Использовать гауссовы окна, ширину окон определить по правилу Сильвермана. 2. Обучить непараметрические байесовские бинарные классификаторы при различных способах ECOC-кодирования: а) OVA; б) OVO; в) полное бинарное кодирование; г) полное тернарное кодирование. 3. Для каждого из полученных в п.1 наборов базовых классификаторов рассчитать классификационные очки многоклассового классификатора, используя различные способы ECOC-декодирования: а) взвешенное; б) невзвешенное. 4. В исходном пространстве признаков изобразить области классов (закрасить разными цветами), формируемые каждым из полученных в п.2 многоклассовым классификатором (всего 8 классификаторов). Нанести на диаграммы границы классов и данные из обучающей выборки. На отдельной диаграмме изобразить все границы классов, формируемые построенными многоклассовыми классификаторами. 5. Построить графики зависимости показателей качества (accuracy, micro-averaged и macro-averaged ROC AUC и PR AUC) построенных многоклассовых классификаторов на обучающей и тестовой выборках от коэффициента пропорциональности ? (отношение ширины парзеновского окна к ширине Сильвермана). Определить для каждого классификатора ширину окна, при которой наблюдается наилучшая обобщающая способность. 6. Сделать вывод о влиянии способов ECOC-кодирования, ECOC-декодирования и ширины парзеновского окна на точность многоклассовой классификации. Указания Кросс-валидация: Holdout (70/30). Априорные вероятности классов для каждого бинарного классификатора считать равными. В п.2. для оценки плотности распределения данных из нескольких классов использовать модель смеси распределений: плотность распределения данных из 1, …, k классов полагать равной , где – оцененная функция плотности распределения i-го класса, ni – объём выборки i-го класса. Классификационные очки бинарных классификаторов считать по формуле , где pk – апостериорная вероятность k-го класса. В п.5 вектор ширин парзеновских окон выбирать пропорциональным вектору ширины Сильвермана: . Литература 1. Escalera, S., Pujol, O., & Radeva, P. (2009). Separability of ternary codes for sparse designs of error-correcting output codes. Pattern Recognition Letters, 30(3), 285-297.