快速开始

过滤

过滤操作允许您根据特定的条件从DataFrame中选择或排除数据。该操作对于处理和分析大型数据集至关重要，允许您集中关注其中最具相关性的信息。

• 示例1：显示前几行数据。

  import maxframe.dataframe as md
  
  df = md.DataFrame({'animal': ['alligator', 'bee', 'falcon', 'lion',
                     'monkey', 'parrot', 'shark', 'whale', 'zebra']})
  print(df.head().execute().fetch())
  
  # 返回结果
        animal 
  0  alligator 
  1        bee 
  2     falcon 
  3       lion 
  4     monkey 

• 示例2：删除指定的列。

  import maxframe.dataframe as md                                    
  
  df = md.DataFrame(np.arange(12).reshape(3, 4), columns=['A', 'B', 'C', 'D'])
  print(df.drop(['B', 'C'], axis=1).execute().fetch())
  
  # 返回结果
     A   D
  0  0   3
  1  4   7
  2  8  11

投影

您可以通过投影重塑DataFrame的结构，包括要展示的列或者重新安排列的顺序。通过投影操作，可以创建数据的简化视图或者调整数据的展示方式，以满足特定的分析目的。

示例：修改列名

import maxframe.dataframe as md
df = md.DataFrame({"A": [1, 2, 3], "B": [4, 5, 6]})
print(df.set_axis(['I', 'II'], axis='columns').execute().fetch())

# 返回结果
   I  II 
0  1   4 
1  2   5 
2  3   6 

抽样

抽样是一种选择DataFrame中随机样本的过程，对于处理大型数据集以及估计数据的统计属性尤为重要。

示例：随机抽样

import maxframe.dataframe as md

df = md.DataFrame({'num_legs': [2, 4, 8, 0],
                        'num_wings': [2, 0, 0, 0],
                        'num_specimen_seen': [10, 2, 1, 8]},
                       index=['falcon', 'dog', 'spider', 'fish'])
print(df['num_legs'].sample(n=3, random_state=1).execute())

# 返回结果
falcon    2
fish      0
dog       4
Name: num_legs, dtype: int64

聚合

聚合操作是将一组值转换为一个单一值的过程。在数据分析中，聚合是基本的数据归纳工具，用于总结、发现数据的统计特征。

示例：多类型聚合

import maxframe.dataframe as md

df = md.DataFrame([[1, 2, 3],
                   [4, 5, 6],
                   [7, 8, 9],
                   [np.nan, np.nan, np.nan]],
                  columns=['A', 'B', 'C'])
print(df.agg(['sum', 'min']).execute().fetch())

# 返回结果
        A     B     C
min   1.0   2.0   3.0
sum  12.0  15.0  18.0

df.agg({'A' : ['sum', 'min'], 'B' : ['min', 'max']}).execute().fetch()

# 返回结果
        A    B
max   NaN  8.0
min   1.0  2.0
sum  12.0  NaN

UDF

除了标准的数据处理算子外，MaxFrame还支持UDF，以支持在DataFrame对象上执行用户自定义的函数处理。这增加了数据处理的灵活性，允许使用自定义的逻辑对数据集进行更丰富的操作。

• 示例1：使用transform方法调用自定义函数

  import maxframe.dataframe as md
  
  from maxframe import config
  config.options.sql.settings = {
      "odps.session.image": "common",
      "odps.sql.type.system.odps2": "true"
  }
  session = new_session(o)
  
  df = md.DataFrame({'A': range(3), 'B': range(1, 4)})
  print(df.transform(lambda x: x + 1).execute().fetch())
  
  # 返回结果
     A  B
  0  1  2
  1  2  3
  2  3  4

• 示例2：使用apply方法调用自定义函数

  如果您希望UDF执行前后数据的列数发生变化，可以使用apply方法来调用自定义函数。

  import maxframe.dataframe as md
  import numpy as np
  
  from maxframe import config
  config.options.sql.settings = {
      "odps.session.image": "common",
      "odps.sql.type.system.odps2": "true"
  }
  session = new_session(o)
  
  def simple(row):
      row['is_man'] = row['sex'] == "man"
      return row
  
  df = md.read_odps_table('BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users')
  new_dtypes = df.dtypes.copy()
  new_dtypes["is_man"] = np.dtype(np.bool_)
  df.apply(
              simple,
              axis=1,
              result_type="expand",
              output_type="dataframe",
              dtypes=new_dtypes
          ).execute().fetch()
  
  # 返回结果
       user_id  age sex     occupation zip_code  is_man
  0          1   24   M     technician    85711   False
  1          2   53   F          other    94043   False
  2          3   23   M         writer    32067   False
  3          4   24   M     technician    43537   False
  4          5   33   F          other    15213   False
  ..       ...  ...  ..            ...      ...     ...
  938      939   26   F        student    33319   False
  939      940   32   M  administrator    02215   False
  940      941   20   M        student    97229   False
  941      942   48   F      librarian    78209   False
  942      943   22   M        student    77841   False
  
  [943 rows x 6 columns]