Как найти nan в numpy

Adding to @nico-schlömer and @mseifert ‘s answers, I computed the performance of a numba-test has_nan with early stops, compared to some of the functions that will parse the full array.

On my machine, for an array without nans, the break-even happens for ~10^4 elements.

import perfplot
import numpy as np
import numba
import math

def min(a):
    return np.isnan(np.min(a))

def dot(a):
    return np.isnan(np.dot(a, a))

def einsum(a):
    return np.isnan(np.einsum("i->", a))

@numba.njit
def has_nan(a):
    for i in range(a.size - 1):
        if math.isnan(a[i]):
            return True
    return False


def array_with_missing_values(n, p):
    """ Return array of size n,  p : nans ( % of array length )
    Ex : n=1e6, p=1 : 1e4 nan assigned at random positions """
    a = np.random.rand(n)
    p = np.random.randint(0, len(a), int(p*len(a)/100))
    a[p] = np.nan
    return a


#%%
perfplot.show(
    setup=lambda n: array_with_missing_values(n, 0),
    kernels=[min, dot, has_nan],
    n_range=[2 ** k for k in range(20)],
    logx=True,
    logy=True,
    xlabel="len(a)",
)

What happens if the array has nans ? I investigated the impact of the nan-coverage of the array.

For arrays of length 1,000,000, has_nan becomes a better option is there are ~10^-3 % nans (so ~10 nans) in the array.

#%%
N = 1000000  # 100000
perfplot.show(
    setup=lambda p: array_with_missing_values(N, p),
    kernels=[min, dot, has_nan],
    n_range=np.array([2 ** k for k in range(20)]) / 2**20 * 0.01, 
    logy=True,
    xlabel=f"% of nan in array (N = {N})",
)

If in your application most arrays have nan and you’re looking for ones without, then has_nan is the best approach.
Else; dot seems to be the best option.

Автор оригинала: Pankaj Kumar.

Нан короткая для Не число Отказ Он используется для представления записей, которые не определены. Он также используется для представления отсутствующих значений в наборе данных.

Концепция Нэна существовала даже до того, как был создан Python. Стандарт IEEE для арифметики с плавучей точкой (IEEE 754) ввел НАН в 1985 году.

NAN – это специальное значение с плавающей точкой, которое не может быть преобразовано в любой другой тип, чем поплавок.

В этом уроке мы рассмотрим, как NAN работает в Pands и Numpy.

Нан в Numpy

Давайте посмотрим, как работает NAN под Numpy. Для наблюдения за свойствами NAN давайте создадим NAN-массив с значениями NAN.

import numpy as np
arr = np.array([1, np.nan, 3, 4, 5, 6, np.nan]) 
pritn(arr) 

Выход:

[ 1. nan  3.  4.  5.  6. nan]

1. Математические операции на NaMy Array с NAN

Давайте попробуем вызвать некоторые основные функции на Numpy Array.

Выход:

Давайте попробуйте найти максимум от массива:

Выход:

К счастью, Numpy предлагает методы, которые игнорируют значения NAN при выполнении математических операций.

2. Как игнорировать значения NAN при выполнении математических операций на Numpy Array

Numpy предлагает вам методы, такие как NP.NANSUM () и NP.NANMAX (), чтобы рассчитать сумму и MAX после игнорирования значений NAN в массиве.

Выход:

Если у вас есть автозаполнение в своей IDE, вы увидите следующий список опций во время работы с NP.NAN:

3. Проверка значений NAN

Чтобы проверить значения NAN в NAMPY MARY, вы можете использовать метод NP.ISNAN ().

Это выводит логическую маску размера, которая из исходного массива.

Выход:

[False  True False False False False  True]

Выходной массив имеет True для индексов, которые являются Nans в исходном массиве и ложь для остальных.

4. Приравнять два нанда

Две назы, равные друг другу?

Это может быть запутанным вопросом. Давайте попробуем ответить на него, запустив код Python.

Эти два утверждения инициализируют две переменные, A и B с NAN. Попробуем приравнивать два.

Выход:

В Python у нас также есть это оператор. Давайте попробуем использовать это, чтобы сравнить две переменные.

Выход:

Причина этого является то, что сравнивает значения как операндов, так и проверки на равенство стоимости. это оператор С другой стороны, проверяет ли оба операнды к одному и тому же объекту или нет.

На самом деле, вы можете распечатать идентификаторы как A и B и увидеть, что они относятся к одному и тому же объекту.

Выход:

Выход:

Нан в Pandas DataFrame

Pandas DataFrames – это обычный способ импорта данных в Python. Давайте посмотрим, как мы можем иметь дело с NAN ценностями в PandaS DataFrame.

Давайте начнем с создания DataFrame.

 s = pd.DataFrame([(0.0, np.nan, -2.0, 2.0),
...                    (np.nan, 2.0, np.nan, 1),
...                    (2.0, 5.0, np.nan, 9.0),
...                    (np.nan, 4.0, -3.0, 16.0)],
...                   columns=list('abcd'))
s

Выход:

1. Проверка на NAN ценности

Вы можете проверить значения NAN, используя Isnull () Метод Отказ Выходной вывод будет логической маской с размерами, что из исходного DataFrame.

Выход:

2. Замена значения NAN

Существует несколько способов заменить значения NAN в DataFrame PandaS. Наиболее распространенный способ сделать это является использованием .fillna () метод.

Этот метод требует, чтобы вы укажете значение, чтобы заменить назы.

Выход:

В качестве альтернативы вы также можете упомянуть значения значений столбца. Это означает, что все Nans под один столбец будут заменены с тем же значением.

values = {'a': 0, 'b': 1, 'c': 2, 'd': 3}
s.fillna(value=values)

Выход:

Вы также можете использовать интерполяцию для заполнения пропущенных значений в кадре данных. Интерполяция – это слегка продвинутый метод по сравнению с .Fillna ().

Интерполяция – это техника, с которой вы можете оценить неизвестные точки данных между двумя известными точками данных.

3. Строки падения, содержащие значения NAN

Чтобы бросить ряды или столбцы назами, вы можете использовать .DROPNA () метод.

Чтобы бросить строки с помощью Nans:

Чтобы опустить колонны с помощью Nans:

df.dropna(axis='columns')

Заключение

Этот учебник был о назах в Python. Мы высоко сосредоточены на том, чтобы иметь дело с называющимисями в Nanpy и Pandas. Надеюсь, вы веселились с нами.

np.nan — это константа, представляющая отсутствующее или неопределенное числовое значение в массиве NumPy. Означает «не число» и имеет тип float. np.nan эквивалентен NaN.

Синтаксис и примеры

Пример 1: Основное использование np.nan

Выход:

Важная вещь, которую я хотел бы, чтобы вы вынесли из этого, заключается в том, что все наши целые числа были преобразованы в числа с плавающей запятой, и это потому, что NumPy определил тип данных NaN как число с плавающей запятой.

Из-за неявного приведения вверх все наши элементы были преобразованы в типы данных с плавающей запятой.

Элементы NaN также предшествуют каждому другому элементу, когда используются математические операции.

Пример 2: значение nan в консоли

Выход:

Пример 3: Сравнение значений np.nan в Python

Вы можете использовать оператор двойного равенства(==) для сравнения двух значений nan в Python.

Выход:

np.isnan() — это библиотечная функция NumPy, которая поэлементно проверяет наличие NaN и возвращает результат в виде логического массива в Python. Она принимает входные данные в виде массива и необязательный выходной параметр. Например, если у вас есть массив x = [1, 2, np.nan], вы можете использовать функцию np.isnan(x), чтобы получить [False, False, True].

Выход:

Часто задаваемые вопросы

Чем np.nan отличается от None?

Основное различие между None и np.nan заключается в том, что None используется в Python для представления отсутствия значения, а np.nan специально используется в NumPy для представления отсутствующих или нулевых числовых значений.

В отличие от None, np.nan является значением с плавающей запятой и имеет тип float.

Как проверить значения np.nan в массиве NumPy?

Вы можете использовать функцию np.isnan() для проверки значений np.nan в массиве NumPy. Функция np.isnan() возвращает логический массив со значениями True, если элементы входного массива являются np.nan, и значениями False, если элементы не являются np.nan.

Как заменить значения np.nan в массиве NumPy?

Вы можете использовать функцию np.where() для замены значений np.nan указанным значением в массиве Numpy.

Выход:

Как np.nan можно обрабатывать в вычислениях?

Когда вы используете np.nan в числовых операциях, он распространяется через вычисления и приводит к другому значению np.nan.