Spark 데이터 프레임에 전체 열 내용을 표시하는 방법은 무엇입니까?

Spark 데이터 프레임에 전체 열 내용을 표시하는 방법은 무엇입니까?

---

spark-csv를 사용하여 데이터를 DataFrame에로드합니다. 간단한 쿼리를 수행하고 내용을 표시하고 싶습니다.

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

열이 잘린 것 같습니다.

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

열의 전체 내용을 표시하려면 어떻게합니까?

---

results.show(20, false)잘리지 않습니다. 소스 확인

---

를 입력 results.show(false)하면 결과가 잘리지 않습니다

---

다른 솔루션은 좋습니다. 이것이 당신의 목표라면 :

1. 열 잘림 없음
2. 행 손실이 없습니다.
3. 빠르고
4. 실력 있는

이 두 줄은 유용합니다 ...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

지속함으로써, 실행기 내에서 임시 기본 데이터 프레임 구조를 사용 persist하거나 cache유지 보수 할 때 2 개의 실행기 조치 (카운트 및 표시)가 더 빠르고 효율적 입니다. 지속 및 캐시 에 대해 자세히 알아보십시오 .

---

아래 코드는 각 열에서 잘리지 않고 모든 행을 보는 데 도움이됩니다.

df.show(df.count(), False)

---

results.show(20, False)또는 results.show(20, false)Java / Scala / Python에서 실행 중인지 여부에 따라

---

results.show(false) 전체 열 내용이 표시됩니다.

기본적으로 20으로 제한을 false표시하고 앞에 숫자를 추가하면 더 많은 행이 표시됩니다.

---

이 명령을 시도하십시오 :

df.show(df.count())

---

Databricks 내 에서 데이터 프레임을 테이블 형식으로 시각화 할 수 있습니다. 다음 명령으로

display(results)

그것은처럼 보일 것입니다

---

results.show(20,false) 스칼라에서 나를 위해 속임수를 썼다.

---

플러그인 Chrome 확장 프로그램을 사용하면 꽤 잘 작동합니다.

[ https://userstyles.org/styles/157357/jupyter-notebook-wide][1]

참고 URL : https://stackoverflow.com/questions/33742895/how-to-show-full-column-content-in-a-spark-dataframe