全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    RDD为什么要进行数据持久化？持久化操作步骤

    在Spark中，RDD是采用惰性求值，即每次调用行动算子操作，都会从头开始计算。然而，每次调用行动算子操作，都会触发一次从头开始的计算，这对于迭代计算来说，代价是很大的，因为迭代计算经常需要多次重复的使用同一组数据集，所以，为了避免重复计算的开销，可以让Spark对数据集进行持久化。 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |RDD数据持久化操作,持久化机制,RDD,Spark

  • 

    如何远程登录Hadoop虚拟机和开启SSH服务？

    完成虚拟机的安装和网络配置，虽然可以正常使用，但是工作中还需要远程操纵服务器进行各项操作，所以就需要对虚拟机实行配置远程登录和SSH免密登录，进行相关操作。接下来，就分别对这两种服务配置进行说明和详细讲解。 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |Hadoop虚拟机,SSH服务,远程登录虚拟机

  • 

    如何使用HBase分布式数据库？常见的Java API类型有几种？

    HBase是由Java语言开发的，它对外提供了Java API的接口。接下来，通过Java API来操作HBase分布式数据库，包括增、删、改以及查等对数据表的操作，具体操作步骤如下： 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |HBase的Java API操作步骤,常见的Java API

  • 

    RDD是如何操作数据转换的？RDD转换算子API示例

    RDD处理过程中的“转换”操作主要用于根据已有RDD创建新的RDD，每一次通过Transformation算子计算后都会返回一个新RDD，供给下一个转换算子使用。面，我们通过结合具体的示例对这些转换算子API进行详细讲解。 查看全文>>

    大数据技术文章2020-12-21 |传智教育 |RDD,转换算子,RDD数据处理

  • 

    Scala语言是什么？有什么特点？如何安装？

    Scala于2001年由瑞士洛桑联邦理工学院(EPFL)编程方法实验室研发，它由Martin Odersky(马丁·奥德斯基)创建。目前，许多公司依靠Java进行的关键性业务应用已转向或正在转向Scala，以提高应用程序的可扩展性和整体的可靠性，从而提高开发效率。Scala是Scalable Language的简称，它是一门多范式的编程语言，其设计初衷是实现种可扩展的语言，并集成面向对象编程和函数式编程的各种特性。基于这个目标与设计，Scala具有以下显著的特性。 查看全文>>

    大数据技术文章2020-12-21 |传智教育 |Scala语言是什么,Scala特点

  • 

    怎样使用Spark Shell来读取HDFS文件？

    使用Scala语言开发单词计数Spark程序，现有文本文件words.txt(读者需要在本地创建文件并上传至指定目录)在HDFS中的/spark/test路径下如果使用Spark Shell来读取HDFS中的/spark/test/ words.txt文件，具体步骤如下： 查看全文>>

    大数据技术文章2020-12-21 |传智教育 |Shell读取文件,运行Spark

  • 

    Scala的控制结构语句有几种？各语句的语法格式是什么？

    在Scala中，控制结构语句包括条件分支语句和循环语句。其中，条件分支语句有if语句、if...else语句、if...else if...else语句以及if...else嵌套语句;循环语句有for循环，while循环和do...while循环。条件分支语句和循环语句的语法格式具体如下。 查看全文>>

    大数据技术文章2020-12-17 |传智教育 |控制结构语句的语法格式

  • 

    IDEA工具开发WordCount单词计数程序的相关步骤有哪些？

    Spark作业与MapReduce作业同样可以先在本地开发测试，本地执行模式与集群提交模式，代码的业务功能相同，因此本书大多数采用本地开发模式。下面讲解使用IDEA工具开发WordCount单词计数程序的相关步骤。 查看全文>>

    大数据技术文章2020-12-17 |传智教育 |开发WordCount单词计数程序的相关步骤,Spark

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>