pandas处理丢失数据

news/2024/7/19 13:23:15 标签: java, 大数据, 数据结构, 算法, js
import pandas as pd
import numpy as np

# 建立了一个6X4的矩阵数据并且把两个位置置为空
dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6, 4)), index=dates, columns=['A', 'B', 'C', 'D'])
df.iloc[0, 1] = np.nan
df.iloc[1, 2] = np.nan
print(df)
# 如果想直接去掉有 NaN 的行或列, 可以使用 dropna
df2 = df.dropna(axis=0,  # 0: 对行进行操作; 1: 对列进行操作
          how='any'  # 'any': 只要存在 NaN 就 drop 掉; 'all': 必须全部是 NaN 才 drop
          )
# 如果是将 NaN 的值用其他值代替, 比如代替成 0:pd.fillna()
df2 = df.fillna(value=0)
# 判断是否有缺失数据 NaN, 为 True 表示缺失数据:
df2 = df.isnull()
# 检测在数据中是否存在 NaN, 如果存在就返回 True:
df2 = np.any(df.isnull())==True
print(df2)


http://www.niftyadmin.cn/n/941660.html

相关文章

pandas数据导入导出

import pandas as pd# 示范档案下载 - 教师.xlsx # 读取excel data pd.read_excel(教师.xlsx) # 打印出data print(data) # 将资料存取成pickle data.to_pickle(teacher.pickle)

pandas合并concat

import pandas as pd import numpy as np# 定义资源集合 df1 pd.DataFrame(np.ones((3, 4)) * 0, columns[a, b, c, d]) df2 pd.DataFrame(np.ones((3, 4)) * 1, columns[a, b, c, d]) df3 pd.DataFrame(np.ones((3, 4)) * 2, columns[a, b, c, d]) # pandas处理多组数据的时…

pandas合并merge

import pandas as pd# pandas中的merge和concat类似,但主要是用于两组有key column的数据,统一索引的数据. 通常也被用在Database的处理当中. # 定义资料集并打印出 left pd.DataFrame({key: [K0, K1, K2, K3],A: [A0, A1, A2, A3],B: [B0, B1, B2, B3]}) right pd.DataFrame…

pandas出图Plot

import pandas as pd import numpy as np import matplotlib.pyplot as plt # 随机生成1000个数据 data pd.Series(np.random.randn(1000),indexnp.arange(1000)) # 为了方便观看效果, 我们累加这个数据 data data.cumsum() # pandas 数据可以直接观看其可视化形式 data.plot…

回归(Regression )

回归(Regression ) 模型定义 Regression 就是找到一个函数 functionfunction ,通过输入特征 x,输出一个数值 Scalar。 模型应用 股市预测(Stock market forecast) 输入:过去10年股票的变动、…

回归(Regression)演示

import numpy as np import matplotlib.pyplot as plt from pylab import mpl# 现在假设有10个x_data和y_data,x和y之间的关系是y_databw*x_data。b,w都是参数,是需要学习出来的。现在我们来练习用梯度下降找到b和w。 # matplotlib没有中文字…

误差与梯度下降

误差 误差 = 方差 + 偏差2 噪音 组成,一般来说,随着模型复杂度的增加,方差会逐渐增大,偏差会逐渐减小 偏差(Bias) 偏差(bias):偏差衡量了模型的…

逻辑回归、深度学习简介、反向传播

Logistic Regression逻辑回归 模型介绍 Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。 Logistic 回归的本质是:假设数据服从这个分布&…