Дата-сайентисты, специалисты по машинному обучению и робототехнике много работают с математикой. Математические методы нужны для обработки информации, создания моделей и разработки эффективных алгоритмов. Но на старте обучения математика кажется магией, а в некоторых понятиях и вовсе легко запутаться.
Задача науки о данных — обрабатывать информацию. Есть набор данных, его нужно описать единой функцией и выявить закономерности. Но в наборах много шумов и колебаний, графики негладкие и нестабильные. Чтобы привести их к более понятному виду, существуют разнообразные численные методы.
Известные методы обработки данных — аппроксимация, интерполяция и экстраполяция. Названия методов звучат похоже. Но это разные вещи. Рассказываем, в чем их суть, чем они различаются и для чего нужны.
Аппроксимация. «Ближнее», как Проксима Центавра
Если говорить простыми словами, аппроксимация — это нахождение ближнего. В математике это построение кривых, близких к имеющемуся набору значений. Представьте себе изменение показателя: оно строится по множеству найденных точек. Получается неровный, угловатый график, ведь при нахождении каждой точки были погрешности.
Например, точки — показания, снятые с какого-то датчика. На точность могут влиять помехи и разные шумы вокруг. Даже если результат двух измерений на самом деле одинаковый, датчик может выдать для них два разных результата из-за помех.
В таких ситуациях нужно сгладить график — найти средние значения, чтобы привести набор результатов к единой функции. Для этого существует аппроксимация функции.
Пример аппроксимации по точкам:
Красные точки на графике — найденные результаты. Они неоднородные, неровные, по ним не получится построить гладкую функцию. А синяя линия — линия аппроксимации. Она высчитана по аппроксимирующей функции f(x) и сделала результаты однороднее и проще для восприятия
Технически аппроксимация — это замена одних результатов другими, близкими к исходным, но упрощенными.
Зачем нужно. Компьютер может хранить данные со всеми неровностями и погрешностями, для него разницы нет. Но с информацией работает человек, а ему проще, когда набор данных можно описать функцией. Одна из задач науки о данных — прогнозирование. Если набор результатов можно описать функцией, прогнозировать легче.
Как связано с другими методами. Методы аппроксимации помогают интерполировать и экстраполировать данные; об этом расскажем ниже. Аппроксимация — общий термин: интерполяция и экстраполяция считаются ее подвидами.
Интерполяция. Как «интервал» — находится внутри
Интерполяция — это нахождение неизвестных промежуточных значений с помощью нескольких известных. Выше говорили, что график строится по множеству точек. Показатели невозможно отслеживать непрерывно, поэтому график получается дискретным. Например, нашли результаты в точке А и в точке Б. А что находится между ними — не знаем.
Когда это происходит, рассчитываем значения между А и Б как нечто среднее. Если в точке А значение 0, в точке Б — 1, а график на отрезке идет как прямая, то ровно между А и Б рассчитаем значение как 0,5. Это и есть интерполяция простыми словами.
На этом графике красной точкой отмечен результат, полученный с помощью интерполирования:
Мы знаем результаты в точках 1 и 2 — их называют базовыми точками, — но не знаем, что посередине. Используем в качестве интерполяционной функции уравнение прямой и получаем примерные значения, которые находятся между точками
Это один из наиболее простых вариантов, линейная интерполяция. Виды интерполяции разнообразны, многие из них сложные:
- для прямой интерполяции есть интерполяционные формулы Ньютона, сплайн-функции, интерполяционный многочлен Лагранжа и многое другое;
- существует обратная интерполяция — когда промежуточное значение известно, но нужно понять, где именно в промежутке оно находится;
- бывает интерполяция функции с несколькими переменными, например билинейная или бикубическая.
Зачем это нужно. Часто для точного расчета нужно иметь под рукой промежуточные данные. Разнообразные методы интерполяции помогают найти их и составить полную картину. Результат получается приближенным к реальности в зависимости от выбранного метода.
Как связано с другими методами. Интерполирование проще проводить на аппроксимированных кривых. Когда есть просто набор точек, который не описан функцией, очень сложно предугадать, что находится посередине. А если есть приблизительная функция, которая поясняет, как распределяются точки, легче предположить промежуточное значение.
Экстраполяция. Экстремально за пределами
Экстраполяция — нахождение значений за пределами интервала. До этого мы искали промежуточные значения на графике. Теперь представим еще одну ситуацию. График заканчивается, мы узнали текущие значения, и надо предположить, какие значения этот же показатель будет принимать в будущем.
Получается задача прогнозирования, одна из ключевых в науке о данных. Для ее решения математика предлагает методы экстраполяции. Разница с интерполяцией в том, что неизвестные данные ищутся не в промежутке, а за его пределами.
Красные точки на графике высчитаны с помощью экстраполяции:
Мы не знаем, какими они были или будут на самом деле. Но можем рассчитать благодаря численным методам.
Как и в случае с интерполяцией, существует огромное количество методов для расчета. Некоторые из них дублируют интерполирующие методы. Например, популярный способ — параболическая экстраполяция, которую считают с помощью формул интерполяции.
Зачем это нужно. Для решения задачи прогнозирования и получения большего количества данных. И наоборот — для ретроспективного прогнозирования, чтобы понять примерные результаты из прошлого, еще до начала отслеживания.
Как связано с другими методами. Как и с интерполяцией, экстраполяцию удобнее проводить на аппроксимированных кривых. Для экстраполирования используются многие формулы и методы, которые обычно применяют при интерполяции данных.
А что еще? Другие численные методы
Коротко рассказали о сути аппроксимации, интерполяции и экстраполяции. Это довольно поверхностное описание, но важное для изучения более глубоких и конкретных понятий. Например, на практике используют такие численные методы, как:
- метод наименьших квадратов — для оценки неизвестных параметров на основе имеющихся;
- равномерное и среднеквадратичное приближение — для преобразования очень сложных функций в более простые, но приближенные к реальности;
- альтернанс Чебышева — один из способов приближения функций;
- алгоритм Ремеза — метод равномерной аппроксимации какой-то функции.
В зависимости от сложности задачи, могут встречаться разные способы приближения функций. Не всеми придется пользоваться постоянно, но иметь понимание нужно.
Еще одна важная деталь: рассчитанные таким образом значения имеют погрешность. Во многих случаях сложно сказать, какова величина ошибки. Поэтому обычно проверяют только то, насколько гладкими и логичными получаются итоговая функция и набор значений.
