国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

Spark臨時表tempView的注冊/使用/注銷/注意事項(推薦)

瀏覽:30日期:2023-03-06 14:25:34
目錄
  • createTempView運作原理
  • 低效做法
  • 緩存臨時表方式:
    • 方式1 創建
    • 方式2
    • 方式3
  • 臨時表生命周期

    createTempView運作原理

    先說一個眾人皆知的知識:
    Spark中的算子包含transformation算子和action算子,transformation是根據原有RDD創建一個新的RDD,而action則把RDD操作后的結果返回給driver。Spark對transformation的抽象可以大大提高性能,這是因為在Spark中,所有transformation操作都是lazy模式,即Spark不會立即計算結果,而只是簡單地記住所有對數據集的轉換操作邏輯。這些轉換只有遇到action操作的時候才會開始計算。這樣的設計使得Spark更加高效。

    低效做法

    sql("select a,b from table where xxx").createTempView("view1")
    sql("select a from view1 where xxx").show()
    sql("select b from view1 where xxx").show()

    使用createTempView后,查詢這個視圖每次都很耗時了,正是因為createTempView操作是lazy模式,在沒有action算子觸發之前,它并沒有什么實質性的運作,僅僅記錄了一個創建視圖的邏輯
    Spark每次遇到action算子show()方法的時候,才開始真正計算,上面代碼中兩次用到視圖view1,那么意味著創建視圖的方法會執行兩次,因此非常的耗時,所以需要對view1進行緩存處理

    緩存臨時表方式:

    方式1 創建

    // 創建它的SparkSession對象終止前有效
    df.createOrReplaceTempView("tempViewName")  
    // spark應用程序終止前有效
    df.createOrReplaceGlobalTempView("tempViewName") 

    注銷

    spark.catalog.dropTempView("tempViewName")
    spark.catalog.dropGlobalTempView("tempViewName")

    方式2

    創建

    session.table("tempViewName").cache()

    注銷

    session.table("tempViewName").unpersist()

    方式3

    創建

    commonDF.cahe() 或 commonDF.persist(StorageLevel.MEMORY_AND_DISK)
    commonDF.createOrReplaceTempView("tempViewName")

    注銷

    commonDF.unpersist()

    臨時表生命周期

    源碼

    createOrReplaceTempView

      /**
       * 使用給定名稱創建本地臨時視圖。此臨時視圖的生命周期與用于創建此數據集的 SparkSession 相關聯。
       *
       * @group basic
       * @since 2.0.0
       */
      def createOrReplaceTempView(viewName: String): Unit = withPlan {
        createTempViewCommand(viewName, replace = true, global = false)
      }
    

    也就是說,當一下代碼中spark stop(),之后 創建的臨時視圖表才失效

    createGlobalTempView

    /**
       * 使用給定名稱創建一個全局臨時視圖。此臨時視圖的生命周期與此 Spark 應用程序相關聯。全局臨時視圖是跨會話的。它的生命周期是 Spark 應用程序的生命周期,即當應用程序終止時它會被自動刪除。它與系統保留的數據庫 global_temp 相關聯,我們必須使用限定名稱來引用全局臨時視圖,例如從 global_temp.view1 中選擇。
       *
       * @throws AnalysisException if the view name is invalid or already exists
       *
       * @group basic
       * @since 2.1.0
       */
      @throws[AnalysisException]
      def createGlobalTempView(viewName: String): Unit = withPlan {
        createTempViewCommand(viewName, replace = false, global = true)
      }

    到此這篇關于Spark臨時表tempView的注冊/使用/注銷/注意事項的文章就介紹到這了,更多相關Spark臨時表tempView內容請搜索以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持!

    標簽: MsSQL
    主站蜘蛛池模板: 黄色a三级免费看 | 国产精品三级 | 精品中文字幕在线 | 国产精品免费综合一区视频 | 午夜三级国产精品理论三级 | 日韩欧美高清在线观看 | 高清国产一区二区三区 | 日本欧美国产精品 | 久久国产精品99久久久久久牛牛 | 亚洲成年男人的天堂网 | 久草日韩 | 亚洲精品久久九九热 | 91精品一区二区三区在线 | 黑人巨大交牲老太 | 久久亚洲精品中文字幕 | 日韩在线手机看片免费看 | 久久精品人人爽人人爽快 | 久草视频免费在线观看 | 欧美色欧| 成人免费毛片一区二区三区 | 99久久精品久久久 | www亚洲视频 | 成人免费视频一区二区 | 特级做人爱c级特级aav毛片 | japanese乱子另类 | 高清午夜看片a福利在线观看琪琪 | 韩日一级视频 | 欧美一级特黄特黄做受 | 国产日韩精品一区二区 | 久久久青青久久国产精品 | 欧美一区二区三区在线视频 | 亚洲精品国产一区二区在线 | 一级毛片免费观看不卡视频 | 国产亚洲欧洲精品 | 欧美粗又大gay69视频 | a在线v| 日韩免费一区二区三区在线 | 一级女性生活片 | 精品欧美一区二区三区四区 | 美女黄视频免费观看 | 成年女人免费视频 |