hadoop入门基础配置
1
一、Hadoop运行环境搭建
把java和hadoop的压缩文件拷贝到服务器，路径是：
1/opt/software/
解压java和hadoop，解压命令以及路径
123解压路径以及解压的位置tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
配置java和hadoop的环境变量
12345678910111213# 在 /etc/profile 文件末尾添加JDK和hadoop路径#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$JAVA_HOME/bin##HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-2.7.2export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin# 重新载入配置文件sour ...
数据仓库
1
机械工业出版数据仓库图书学习记录，重点节选
第1章 决策支持系统的发展1.6 自然演化体系结构的问题与自然演化体系结构相关联的困难到底是什么呢？问题很多，主要有：
数据可信性。
生产率。
数据转化为信息的不可行性。
1.数据缺乏可信性时间没有基础一个部门在星期日晚上提取分析所需的数据，而另一个进行分析的部门在星期三下午就抽取了数据。有任何理由相信对某一天抽取的数据样本进行的分析与对另一天抽取的数据样本进行的分析可能相同吗？当然不能！公司内的数据总是在变的。任何在不同时刻抽取出来用于分析的数据集之间只是大致相同。
数据算法上的差异。 在自然演化体系结构中，数据可信性危机具有可预见性的第二个理由是算法上的差异。比如，一个部门选择所有的老帐号作分析。而另一个部门选择所有大帐号作分析。在有老帐号的顾客和有大帐号的顾客之间存在必要的相关性吗？可能没有。那么分析结果大相径庭就没有什么可大惊小怪的了。
抽取的多层次。无起始公共数据源。一个分析人员从《华尔街日报》取得数据放入分析流中，而另一个分析人员从《商业周刊》中取得数据。分析人员在取得数据之时所做的第一件事就是从大量外部数 ...
feign发送http请求错误记录
1
关于发送http请求过程中，出现的java.net.SocketException: Unexpected end of file from server错误情况记录
使用HttpURLConnection发送http请求的时候出现错误，经过排查发现是时间参数携带就会出现这个问题，时间参数的格式是
12345678910111213urlxxxx?time=2020-09-05 00:12:10如果没有时间参数则请求发送正常所以感觉是空格的问题，使用URL字符串转义，把参数进行转义，直接String endDate = format_hms.format(date).replace(" ","%20");转义完成后空格就消失了，结果HTTP请求就正常了。URL字符转义 对应的16进制字符集编码+ URL 中+号表示空格 %2B 空格 URL中的空格可以用+号或者编码 ...
python导包问题
1
python导包import问题
需求，自己写了几个py类，大家之间有引用但是import好像和java不太一样，从网上整理记录如下
第一类同文件夹应用A.py和B.py都在同一个文件夹下，引用最简单：
123456789A.py文件内容：import BB.py文件内容：import Aprint("abcd")执行A.py文件，输出abcd执行B.py文件，输出两遍abcd
第二类，py文件A.py引用当前文件夹tmp下的B.py文件，并且B.py文件引用同文件夹下的C.py文件A.py 文件内容
1234import tmp.Bimport tmp.Cprint("abc")
B.py文件内容，同时B的文件内容会引用同文件夹下的C.py文件
1from tmp import C
C.py文件里面引用了两个同文件下的request_util.py文件里面的request, authorization两个类
123from tmp.request_util import request, authorizationfrom 当 ...
feign
1
Feign使用参数123456789自动拼接参数@FeignClient(name = "getEnvironment",url = "http://aaa.bbb.ccc/8899")public interface EnvironmentFeign { @RequestMapping(value = "/api/v1/environment/data",method = RequestMethod.GET) String getEnvironment( @RequestHeader("Authorization") String auth, @RequestParam("page") int page, @RequestParam("size") int size );}name必须有，可以随意些无所有
请求头增加 ...