pandas는 데이터 전처리 및 분석 작업에서 널리 사용되지만, 대용량 데이터 처리를 위해 설계되지 않았습니다. 이로 인해 데이터 분석가들은 다음과 같은 딜레마를 직면하게 됩니다: 데이터를 다운샘플링하여 정보를 손실할 것인지, 아니면 분산 처리 프레임워크를 사용하여 데이터 워크로드를 확장할 것인지 선택해야 합니다. PySpark는 이러한 경우를 위한 대표적인 분산 처리 도구 중 하나입니다. 그러나 이를 사용하기 위해서는 데이터 분석가들이 새로운 PySpark를 처음부터 배워야 하는 번거로움이 있습니다. 이러한 문제를 해결하기 위해, Apache Spark는 pandas API를 제공합니다. 기존에 pandas를 사용하던 사용자들은 단순히 pandas 패키지를 pyspark.pandas로 교체함으로써 기존 워크로드를 분산 처리할 수 있습니다. 다른 방법으로는, 기존의 PySpark API에 포함되지 않은 사용자 정의 함수(UDF)를 직접 작성하여 처리 할 수 있습니다. Spark 3.0에서 도입된 Pandas Function APIs는 사용자가 임의의 Python 네이티브 함수를 PySpark 데이터프레임에 적용하여 pandas 인스턴스로 입력 및 출력을 처리할 수 있게 해줍니다. 이를 통해 데이터 분석가들은 기존에 사용하던 pandas 함수를 사용하여 데이터의 각 그룹을 기반으로 ML 모델을 학습시킬 수 있습니다. 이 세션에서는 위의 두 가지 pandas 사용자와 PySpark 사용자의 관점에서 분산 처리를 어떻게 수행하는지에 대해 다룰 예정입니다.