我也要用- 博客(111)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 欢迎大家关注知识分享公众号
欢迎大家关注以下知识分享微信公众号：Spring中文网程序猿梦工厂Spring中文网专注Spring，Java相关编程技术程序猿梦工厂专注技术分享，大数据相关技术分享
2020-11-26 19:03:10
16
原创 Ambari实战-6:构建HDP私有源
我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。基本环境信息由于是通过HDP数据源安装HDP组件，我们只需要在一台机器上运行即可，我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。主机名IP版本ambari-common10.10.0.201CentOS 7HDP数据源配置登录到ambari-common节点中ssh ambari-common
2021-01-05 16:01:40
19
原创 sonarqube使用maven插件提交出现MojoExecutionException: NullPointerException
当我们使用mvn clean install sonar:sonar命令后出现以下错误[ERROR] Failed to execute goal org.sonarsource.scanner.maven:sonar-maven-plugin:3.3.0.603:sonar (default-cli) on project incubator-demo: null: MojoExecutionException: NullPointerException -> [Help 1][ERROR][
2021-01-04 14:22:21
21
原创 Ambari实战-5:构建Ambari私有源
我们本篇文章主要讲述如何去同步远程服务器中的Ambari数据源到本地，并将其作为局域网yum安装源。基本环境信息由于是通过Ambari数据源安装ambari，我们只需要在一台机器上运行即可，我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。主机名IP版本ambari-common10.10.0.201CentOS 7Ambari数据源配置登录到ambari-common节点中ssh amb
2021-01-04 11:01:56
19
原创 Ambari实战-4:MySQL服务安装配置
我们使用MySQL作为保存Ambari的元数据的底层存储。当然Ambari还支持其他的底层存储，这里我们就不做一一的解释和演示。由于我们使用的是CentOS7系统，默认系统中并不安装MySQL服务，所以我们需要单独去安装该服务。并在CentOS7中也不再支持yum install mysql基本环境信息由于我们为了演示机器有限所以将MySQL服务部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。主机名IP版本amb
2020-12-31 09:47:29
18
原创 Ambari实战-3:配置集群环境必备依赖
我们本篇文章主要讲述在安装Ambari服务前需要安装的各种第三方支撑的系统依赖。安装配置NTP服务因为在集群中我们要保证时间的一致性特使用NTP来作为时间的同步服务，此操作登录到所有节点执行安装ntpyum -y install ntp当然我们也可以使用源码方式进行ntp服务的安装设置开机启动sudo systemctl enable ntpd启动服务sudo systemctl start ntpd关闭服务器的防火墙服务由于防火墙的限制可能会导致集群中的某些端
2020-12-30 11:24:10
16
原创 Ambari实战-2:配置服务器SSH免密登录
本文我们主要讲解如何配置集群中各个节点的免密配置及使用方式。为了防止我们使用非root账号执行命令要在所有命令前加上sudo命令基本环境信息主机名IP版本ambari-common10.10.0.201CentOS 7ambari-server10.10.0.202CentOS 7ambari-agent-00110.10.0.203CentOS 7ambari-agent-00210.10.0.204CentOS 7ambari-age
2020-12-29 09:58:00
23
原创 Ambari实战-1:Ambari使用场景及介绍
本篇文章主要讲解Ambari的一些基础知识，让大家对Ambari有一个潜意识的认识。什么是Ambari？Apache Ambari是一种基于Web的集群管理工具，支持Apache Hadoop的供应，管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS，MapReduce，Hive，Pig，HBase，Zookeeper，Sqoop和HCatalog等。Apache Ambari支持HDFS，MapReduce，Hive，Pig，HBase，Zookeeper，Sqoop和HCat
2020-12-29 09:51:17
29
原创 Presto Join查询导致Internal error
问题描述通过字面意思我们可以判断出来是系统内部出现了问题？那么该问题是怎么产生的呢？该问题产生是一般是在使用Presto进行了Join关联查询，导致关联的两个表中的关联字段不一致导致的。问题复原比如我有两个数据表，分别是t1表和t2表，他们的表结构分别是：t1表结构列名类型c1bigintc2bigintt2表结构列名类型c1bigintc2varchar (hive中是string)当我们使用以下两个SQL查
2020-10-28 14:46:06
55
原创 Java JDK 13 Version
13.xJDK版本 13 - 13.0.213.0.2 jdk-13.0.2_linux-x64_bin.deb jdk-13.0.2_linux-x64_bin.rpm jdk-13.0.2_linux-x64_bin.tar.gz jdk-13.0.2_osx-x64_bin.dmg jdk-13.0.2_osx-x64_bin.tar.gz jdk-13.0.2_windows-x64_bin.exe jdk-13.0.2_windows-x64_bin.zip13.0.1
2020-10-24 18:02:51
31
原创 Guice依赖注入(构造函数注入)
本教程主要详细讲解Guice的构造函数注入.基础环境技术版本Java1.8+Guice4.2.3初始化项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli.guice -DartifactId=guice-binder-constructor -DarchetypeArtifactId=maven-archetype-quickstart -Dversion=1.0.0 -DinteractiveMod
2020-10-10 16:41:09
45
原创 Guice依赖注入(一)
本教程主要详细讲解Guice的一些基本注入方式,通过该简单教程让我们可以快速使用Guice进行简单系统化开发,后续我们会更深入讲解更多模块,如果还不了解Guice大家可以先去网上自行了解一下.基础环境技术版本Java1.8+Guice4.2.3初始化项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli.guice -DartifactId=guice-basic -DarchetypeArtifactI
2020-10-10 11:47:28
12446
原创 Presto自定义函数@SqlNullable血泪史
看到标题我们会想到是由于@SqlNullable注解引发的问题，我们先看一段代码，正是这段有意思的代码，让我纠结了2个多小时，引发了Presto的问题。@Description("user_id")@ScalarFunction("user_id")@SqlType(StandardTypes.VARCHAR)public static Slice userId(@SqlType(StandardTypes.VARCHAR) Slice value) { String _value = va
2020-09-28 17:02:32
18901
原创 Guice依赖注入(接口多实现)
本教程主要详细讲解Guice依赖注入中的特性接口多实现，一般使用到guice的框架的插件机制都是基于该方式实现。基础环境技术版本Java1.8+Guice4.2.3初始化项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli.guice -DartifactId=guice-binder-multiple -DarchetypeArtifactId=maven-archetype-quickstart -
2020-09-27 20:47:48
17057
原创 Hive On Tez自定义Job Name
今天在使用Hive On Tez的时候发现一个问题，那就是我们无法设置Tez运行在Yarn上面的Job Name。按照设置MR正常的步骤来设置Job Name发现也是无效的。这让我很迷惑，于是想了一下是不是因为TezSession的时候已经写死了导致的，然通过将Hive的源码下载下来（我用的是Hive-3.1.2的源码，下载地址：https://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-src.tar.gz）将源码下载以后，按照
2020-09-24 21:27:49
13853
原创 Presto环境部署-Coordinator|Works配置
依赖版本Presto0.221CentOS7.xJava1.8.0_212+创建相关使用文件夹并授权(根据自己实际服务器环境选择)sudo mkdir -p /hadoop/data12/prestosudo chown -R presto:presto /hadoop/data12/prestosudo - presto从Presto官...
2020-01-21 10:29:15
319
原创 Java JDK 14 Version
JCEversion 7jce_policy-7.zipjce_policy_unlimited-7.zipjce_policy_source-7.tar.gzjce_policy_source-7.zip
2019-12-20 11:47:42
386
原创 SpringBoot整合MyBatis教程Provider进阶(Select)
本教程主要详细讲解SpringBoot整合MyBatis项目高级操作模式,主要使用到@Provider高级模式进行MyBatis整合开发,本文主要讲解Select查询数据操作.基础环境技术版本Java1.8+SpringBoot2.x.xMyBatis3.5.x创建项目初始化项目mvn archetype:generate -Dgroup...
2019-12-17 18:13:54
219
原创 SpringBoot整合MyBatis教程Provider进阶(Update, Delete)
本教程主要详细讲解SpringBoot整合MyBatis项目高级操作模式,主要使用到@Provider高级模式进行MyBatis整合开发,本文主要讲解Update更新数据操作.基础环境技术版本Java1.8+SpringBoot2.x.xMyBatis3.5.x创建项目初始化项目mvn archetype:generate -Dgroup...
2019-12-06 18:36:37
17084
原创 SpringBoot整合MyBatis教程(PageHelper版)
本教程主要详细讲解SpringBoot整合MyBatis使用PageHelper进行数据查询并分页功能!基础环境技术版本Java1.8+SpringBoot2.x.xMyBatis3.5.xPageHelper5.x.x创建项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli....
2019-12-04 10:52:24
982
原创 SpringBoot整合MyBatis教程Provider进阶(Insert)
本教程主要详细讲解SpringBoot整合MyBatis项目高级操作模式,主要使用到@Provider高级模式进行MyBatis整合开发,本文主要讲解Insert输入数据操作.基础环境技术版本Java1.8+SpringBoot2.x.xMyBatis3.5.x创建项目初始化项目mvn archetype:generate -Dgroup...
2019-12-03 18:59:55
847566
2
原创 SpringBoot整合MyBatis教程(注解版)
本教程主要详细讲解SpringBoot整合MyBatis进行数据库操作,本次讲解我们使用纯注解方式进行。基础环境技术版本Java1.8+SpringBoot2.x.xMyBatis3.5.x创建项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli.slisma -DartifactId...
2019-11-29 11:28:43
249
原创 SpringBoot Security整合JWT授权RestAPI
本教程主要详细讲解SpringBoot Security整合JWT授权RestAPI。基础环境技术版本Java1.8+SpringBoot2.x.xSecurity5.xJWT0.9.0创建项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli.slisj -DartifactI...
2019-11-26 21:31:55
138
原创 Spring DataJPA Redis教程(基础版)
本教程主要详细讲解Spring Data Redis,它向Redis提供Spring Data平台的抽象.Redis由基于key/value库的数据结构存数，以持久保存数据，并可用作数据库，缓存，消息代理等。基础环境技术版本Java1.8+SpringBoot2.x.xDataJPA2.x.xJedis2.9.x创建项目初始化项目...
2019-06-14 01:47:36
991
原创 SpringBoot开发存储服务器
今天我们尝试Spring Boot整合Angular，并决定建立一个非常简单的Spring Boot微服务，使用Angular作为前端渲编程语言进行前端页面渲染.基础环境技术版本Java1.8+SpringBoot1.5.x创建项目初始化项目mvn archetype:generate -DgroupId=com.edurt.sli.sliss ...
2019-06-10 16:46:44
18256
原创 Pinpoint分布式APM安装部署
为了方便测试，我们在一台机器上安装所需有的软件部署时间：2019-03-25需要的软件及版本软件名称版本号pinpoint系列(web, collector, agent)1.8.2(当前latest)tomcat7.0.93hbase2.1.3下载所需软件下载pinpointwget https://github.com/nave...
2019-03-25 11:21:09
157
原创 SpringBoot整合Scala构建Web服务
今天我们尝试Spring Boot整合Scala，并决定建立一个非常简单的Spring Boot微服务，使用Scala作为编程语言进行编码构建。创建项目初始化项目mvn archetype:generate -DgroupId=com.edurt.ssi -DartifactId=springboot-scala-integration -DarchetypeArtifactId=ma...
2019-03-01 17:55:09
319
原创 Kotlin整合Vertx开发Web应用
今天我们尝试Kotlin整合Vertx，并决定建立一个非常简单的Web应用程序，使用Kotlin和Vertx作为编程语言进行编码构建。生成项目打开控制台窗口执行以下代码进行生成一个maven项目mvn archetype:generate -DgroupId=com.edurt.kvi -DartifactId=kotlin-vertx-integration -DarchetypeA...
2019-02-26 17:41:54
233
原创 Spring校验@RequestParams和@PathVariables参数
我们在写Rest API接口时候会用到很多的@RequestParam和@PathVariable进行参数的传递，但是在校验的时候，不像使用@RequestBody那样的直接写在实体类中，我们这篇文章讲解一下如何去校验这些参数。依赖配置要使用Java Validation API，我们必须添加validation-api依赖项：<dependency> <gr...
2019-02-25 11:32:58
893
原创 SpringBoot整合Kotlin构建Web服务
今天我们尝试Spring Boot整合Kotlin，并决定建立一个非常简单的Spring Boot微服务，使用Kotlin作为编程语言进行编码构建。创建一个简单的Spring Boot应用程序。我会在这里使用maven构建项目：<?xml version="1.0" encoding="UTF-8"?><project xmlns:xsi="http://www.w3.or...
2019-02-20 18:42:57
79
原创 Spring Security整合KeyCloak保护Rest API
今天我们尝试Spring Security整合Keycloak，并决定建立一个非常简单的Spring Boot微服务，使用Keycloak作为我的身份验证源，使用Spring Security处理身份验证和授权。设置Keycloak首先我们需要一个Keycloak实例，让我们启动Jboss提供的Docker容器：docker run -d \ --name springboot-s...
2019-02-18 15:10:39
1379
1
原创 基于Spring Security Role过滤Jackson JSON输出内容
在本文中，我们将展示如何根据Spring Security中定义的用户角色过滤JSON序列化输出。为什么我们需要过滤？让我们考虑一个简单但常见的用例，我们有一个Web应用程序，为不同角色的用户提供服务。例如，这些角色为User和Admin。首先，让我们定义一个要求，即Admin可以完全访问通过公共REST API公开的对象的内部状态。相反，User用户应该只看到一组预定义的对象属性。我们...
2019-02-15 17:18:34
66229
原创 使用Maven配置Spring
这篇文章说明了如何通过Maven配置Spring依赖项。最新的Spring版本可以在Maven Central上找到。Maven中的Spring基本依赖关系Spring的设计是高度模块化的 - 使用Spring的一部分不应该而且不需要另一部分。例如，基本的Spring Context可以没有Persistence或MVC Spring库。让我们先从一个基本Maven配置，将只使用了spr...
2019-01-30 10:36:07
2501
原创 Hadoop小文件解决方案-基于文件整合的解决方案
文章目录解决MapReduce性能问题HbaseS3DistCp使用CombineFileInputFormatHive配置使用Hadoop的附加功能选择解决方案通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。解决MapReduce性能问题以下解决方案来缓解MapReduce性能问题：更改摄取过程/间隔批处理文件合并序列文件HBase...
2019-01-29 09:47:42
135
原创 Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案
文章目录解决NameNode内存问题Hadoop存档文件Federated NameNodes解决MapReduce性能问题更改摄取过程/间隔批处理文件合并序列文件结论在第一篇文章中，我讨论了什么构成了一个小文件，以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75％的任何文件，并解释说由于NameNode内存使用和MapReduce性能，Hadoop更喜欢较少的...
2019-01-26 11:47:23
368
原创 Hadoop小文件解决方案-Hadoop小文件的前因后果
文章目录什么是小文件？为什么会出现小文件？为什么Hadoop有一个小文件问题？MapReduce的性能问题如果你有小文件，你会怎么做？Hadoop不适用于大量小文件，而是需要更少的大文件。这可能是您之前听过的声明。但是，为什么Hadoop会出现大量小文件的问题？而且，“小”究竟是什么意思呢？在本系列的第一部分中，我将回答这些问题。后续部分将讨论解决或解决小文件问题。什么是小文件？小文件可以...
2019-01-23 11:40:08
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝