超级大土豆

MAVEN全套教学-黑马一、Maven介绍 1.1 maven是什么 Maven的本质是一个项目管理工具,将项目开发和管理过程抽象成一个项目对象模型(POM) POM( Proiect Obiect Model):项目对象模型 1.2 maven的作用 项目构建:提供标准的、跨平台的自动化项目构建方式 依赖管理:方便快捷的管理项目依赖的资源(jar包),避免资源间的版本冲突问题 统一开发结构:提供标准的、统一的项目结构 1.3 maven解压后的结构123456|-bin 启动项bat,sh文件|  |-mvn文件内部指定了 JAVA_HOME 等路径    |-boot 类加载器|  |-plexus-classworlds maven的类加载器|-conf 核心配置文件|-lib maven自己依赖的jar包 1.4 mvn安装1234567官网：http://maven.apache.org/下载地址：http://maven.apache.org/download.cg1.新建系统变量 MAVEN_HOME 指向解压目录2.在path里面新增 %MAVEN_H ...

本视频为极客学院mongoDB学习笔记 第一章、MongoDB入门 什么是MongoDB：一个以JSON为数据模型的文档数据库。 为什么叫文档数据库：以JSON Document进行存储，并非文件。 主要用途：类似应用数据库。 主要特点： 无需和传统数据库一样进行建模操作，建模为可选操作。 JSON适合开发者。 横向扩展可以支持很大的数据量和并发。 是否支持事务：MongoDB在4.0版本(2018年发布)之后支持。 是否开源：社区版开源。 MongDB优势一，灵活快速灵活：快速相应业务变化 JSON文档和对象模型接近，开发代码量低 多形态：同一集合中可以包含不同字段（类型）的文档对象 动态性：线上修改数据模式，修改是应用与数据库均无需下线 数据治理：支持使用JSON Schema来规范数据模式，在保证灵活的前提下，提供数据治理能力。 快速：最简单快速的开发方式，JSON模型快速特征 数据库引擎只需要在一个存储区读写 反范式、无关联的组织极大优化查询速度 程序API自然，开发快速 MongDB优势二，多节点原生高可用 Replica Set 支持 2 to 50 ...

RDD详解没有RDD/ Data Set之前做 Word Count(大数据计算)可以使用： 1.原生集合Java/ Scalar中的L山st但是只支持单机版!不支持分布式!如果要做分布式的计算需要做很多额外工作线程/进程通信,容错,自动均衡.…床烦,所以就诞生了框架 2.MR效率低运行效率低开发效率低)-早就淘汰 所以需要有一个分布式的数据抽象也就是用该抽象可以表示分布式的集合那么基于这个分布式集合进行操作就可以很方便的完成分布式的 Word Count!该分布式集合底层应该将实现的细节封装好提供简单易用的API!) AMP实验室发表了一篇关于RDD的论文:《 Resilient Distributed Datasets: A Fault- Tolerant Abstraction forn- Memory Cluster Computing》就是为了解决这些问是题的–在此背景之下RDD就诞生了 1.RDD创建API1.多种API ​ sc. parallelize(本地集合,分区数) ​ sc. makeRDD(本地集合,分区数)/&#x ...

Spark基础 第1章 Spark 概述1.1 Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Spark and Hadoop​ 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还 要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。 从功能上看区分： hadoop Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式 分析应用的开源框架 作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有 的 数 据 ， 支 持 着 Hadoop 的 所 有 服 务 。 它 的 理 论 基 础 源 于 Google 的 TheGoogleFileSystem 这篇论文，它是 GFS 的开源实现。 MapReduce 是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现， 作为 Hadoop 的分布式计算模型，是 Hadoop 的核心。基于这个框架，分布式并 ...

腾讯云低价搭建集群学习大数据 ​ 学习Hadoop，hive，等大数据组件，但是自己的电脑有点落伍，内存只有8G，cup还是6带i5，但是现在又没有换机的动力，毕竟戴尔游匣还是耐操，重装一遍系统直接起飞，所以就扔到公司继续上班开发用。 ​ 但是碰到大数据就头疼了，最少开三台虚拟机，每个给2G内存，宿主机直接卡爆炸，而且还想着回家了用家里的超极本Surface Por6来进行一遍学习，超极本开一堆虚拟机更加爆炸，但是我自己有一个腾讯云服务器，无意间看到了腾讯云官网上的云服务器有按量付费，就想着买几个服务器，按量付费，用完销毁，然后又让我发现了，按量付费下面还有一个竞价实例，比按量付费还便宜，不过代价就是腾讯云会随时回收你的服务器，我不怕呀，我就是学习，你可以随时回收的，剩下的就是看一看成本拉： CPU 内存 付费类型 北京区最低每小时价格(戒指20年12月1日晚上10点) 1 2G 按量付费 0.11元/小时 1 2G 按量付费-竞价实例 0.06元/小时 1 4G 按量付费 0.24元/小时 1 4G 按量付费-竞价实例 ...