Presto

发表于2026-04-09|更新于2026-04-09|大数据

|浏览量:

Presto是一种工具，旨在使用分布式查询来有效查询大量数据。如果您使用TB或PB的数据，则可能会使用与Hadoop和HDFS交互的工具。 Presto旨在替代使用MapReduce作业的管道（例如Hive或Pig）查询HDFS的工具的替代方案，但Presto不仅限于访问HDFS。 Presto可以并且已经扩展为可以在包括传统关系数据库和其他数据源（例如Cassandra）在内的各种数据源上运行。

Presto旨在处理数据仓库和分析：数据分析，汇总大量数据并生成报告。这些工作负载通常被归类为在线分析处理（OLAP）。

https://blog.csdn.net/cakexuexi/article/details/80820170

文章作者: 褚成志

文章链接: https://blog.chucz.asia/2026/04/09/Presto/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源褚成志的分享站！

大数据 Presto SQL

相关推荐

presto启动时默认配置文件目录在安装目录下的etc下每个节点的配置在etc下创建node.properties文件，配置如下： 123node.environment=productionnode.id=ffffffff-ffff-ffff-ffff-ffffffffffffnode.data-dir=/var/presto/data node.environment: 集群名字，一个集群内所有的节点必须一致。 node.id: 节点id，每个节点同一集群内保持唯一。 node.data-dir：节点数据目录，数据目录用于存放日志和服务的pid。服务配置presto server分为coordinator和worker，coordinator可以认为是master节点，worker可以认为是计算节点。配置时在etc下创建config.properties文件。 coordinator配置如下：12345678coordinator=truenode-scheduler.include-coordinator=falsehttp-server.http.port=8...

Hadoop概念以及安装

Hadoop概论 Hadoop是一个由 Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说, Hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera内部集成了很多大数据框架。对应产品CDH。用的最多，方便 Hortonworks文档较好。对应产品HDP。高可靠性: Hadoop底层维护多个数据副本,所以即使 Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。 2)高扩展性:在集群间分配任务数据,可便的扩展数以千计的节点。 3)高效性:在 MapReduce的思想下, Hadoop是并行工作的,以加快任务处理速度。 4)高容错性:能够自动将失败的任务重新分配 Hadoop组成计算+资源调度+存储 1.x中MapReduce负责计算和资源调度 2.x中MapReduce负责计算，Yarn负责资源调度，解耦 HDFS存储 Hadoop ...

Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Y****arn基本架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 Y****arn工作机制（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM将用户的请求初始化成一个Task。（7）其中一个NodeManager领取到Task任务。（8）该NodeManager创建容器Container，并产生MRAppmaster。（9）Container从HDFS上拷贝资源到本地。（10）MRAppmaster向RM 申请运行MapT...

大数据概述

大数据( Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决海量数据的额存储和分析计算特点：大量，高速，多样，低价值密度，应用场景：物流仓储，分析用户零售，智慧旅游，广告推荐，保险预测，人工智能大数据生态 1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySql）间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据； 3）Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统； 4）Storm：Storm用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。 5）Spark：Spark是当前最流...

注意机器启动过之后，同步的时候不要同步data文件夹一次写入，多次读出，不支持文件修改。适合数据分析，不适合网盘应用分布式存储，文件系统。优点：高容错性。多复制，丢失自动恢复适合大数据，数据以及文件规模可以在廉价机器上，多副本来实现高可靠缺点：不适合低延时数据访问无法对小文件高效存储不支持并发多线程同时写入、文件随机修改，只支持append 组成nn:master，管理HDFS命名空间；配置副本策略（放在那个nn节点）；管理数据块Block（DN里面存放的是一个个数据块，不是简单的文件）的映射信息；处理客户端读写请求 dn:slave，nn下达指令，DN执行操作。存储实际的数据块，数据块的形式存在执行读写操作。 client: 文件切块，block大小由此处决定，平衡数据存储与NN交互，获取文件位置信息 DN交互，获取文件信息访问和管理HDFS 2NN： NN助手 HDFS文件块：物理上是分块存储的，大小可以通过配置参数来决定，默认是128M web页面无法新建文件夹权限问题http://hadoop101:98...

Hadoop-MapReduce

dr.who是通过http连接的默认用户，可以直接在配置文件里面修改为当前用户，重启之后就可以使用当前用户在页面里面对文件进行相关操作。 MapReduce概述分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。优点**MapReduce ****易于编程**它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。好的扩展性当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。高容错性MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。适合PB级以上海量数据的离线处理可以实现上千台服务器集群并发工作，提供数据处理能力。缺点不擅长实时计算MapRedu...

数据加载中