YaPiBlog

You look look you one day day de

Golang标准库-strconv、regexp

strconv包 定义了字符串和基本数据类型之间转换的方法,这⾥的基本数据类型包括:布尔、整型（包括有/⽆符号、⼆进制、⼋进制、⼗进制和⼗六进制）和浮点型等 strconv 包转换错误处理 由于将字符串转为其他数据类型可能会出错，strconv 包定义了两个 error 类型的变 量：ErrRange 和 ErrSyntax。其中，ErrRange 表示值超过了类型能表示的最⼤范 围，...

Created by YaPi on August 13, 2019

Golang标准库-sort、container

sort包 该包实现了四种基本排序算法：插⼊排序、归并排序、堆排序和快速排序.但是这四 种排序⽅法是不公开的，它们只被⽤于sort包内部使⽤。所以在对数据集合排序时不必考虑应当选择哪⼀种排序⽅法，只要实现了sort.Interface定义的三个⽅法： 获取数据集合⻓度的Len()⽅法 ⽐较两个元素⼤⼩的Less()⽅法 交换两个元素位置的Swap()⽅法 就可以顺利对数...

Created by YaPi on August 13, 2019

Golang标准库-strings

是否存在某个字符或者字串 func Contains(s, substr string) bool func ContainsAny(s, chars string) bool func ContainsRune(s string, r rune) bool 字串出现次数(字符串匹配) 朴素匹配算法 KMP算法 Rabin-Karp算法 Boyer-M...

Created by YaPi on August 13, 2019

HBase优化、协处理器、容灾

"Apache HBase is the Hadoop database, a distributed, scalable, big data store "

优化策略 什么导致HBase性能下降? jvm内存分配和GC回收策略 HBase运行机制相关的部分配置不合理 表机构设计及用户使用方式不合理 HBase存储时耗时操作 HBase写入时当memstore达到一定的大小会flush到磁盘 保存成HFile,当HFile小文件太多会执行compact操作进行合并(当每一个store只包含一个HFile时,查询...

Created by YaPi on July 20, 2019

HBase入门及简单应用

"Apache HBase is the Hadoop database, a distributed, scalable, big data store "

HBase HBase简介 HBase安装 HBase读写流程 HBase实战使用 HBase简介 面向列、适合非结构化数据存储 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System...

Created by YaPi on July 18, 2019

MapReduce基础

"Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terabyte data-sets) in-parallel on large clusters (thousands of nodes) of commodity hardware in a reliable, fault-tolerant manner. "

概述 源自与谷歌的MapReduce的论文,发表于2004年12月 Hadoop MapReduce 是 Google MapReduce的克隆版 MapReduce的有点 : 海量数据的离线处理&易开发&易运行 MapReduce的缺点 : 实时流式计算 input --> spliting --> Maping --> shuf...

Created by YaPi on June 20, 2019

Hadoop基础

"The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing "

Hadoop初识 狭义的Hadoop: 是一个舍和大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源调度(YARN)的平台 广义Hadoop: 指的是Hadoop的生态系统,包含各种只解决某一个特定问题域的子系统，zk、hiv(sql查询)、pig(脚本)、R语言、Hbase、sqoop(将关系型数据库与hadoop的数据进行交换)、F...

Created by YaPi on June 20, 2019

HDFS基础

"HDFS is the primary distributed storage used by Hadoop applications. "

HDFS基础 Hadoop Distributed File System 分布式文件系统 运行在 commodity hardware fault-tolerant 高容错 部署在廉价的(low-cost hardware)的机器上 高吞吐量 high throughput 适用于大数据量 普通文件系统 目录结构 存在的是文件或文件夹 对外提供...

Created by YaPi on June 20, 2019

SpringBoot源码系列之webflux解析

webflux理论 传统的Spring MVC是采用的同步阻塞式IO模型，即是每一个请求，容器都会新开一个线程去处理。 在处理完成之前，不会接收其他的请求。 webflux是一个异步阻塞式IO模型。当容器内发生了一个线程密集型的请求，就会将这些请求交给 一个worker线程组去处理。这样，这个线程本身就可以去处理另外的请求，达到容器只需使用少量 线程就可处理大量的请求。 可以提升吞吐量...

Created by YaPi on January 19, 2019

SpringBoot源码系列之Mybatis Starter解析

使用 pom.xml文件引入 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.0</...

Created by YaPi on January 18, 2019

Hot Tags
JVM docker Kubernetes mongodb redis mysql golang 设计模式 Python SpringBoot 大数据 数据结构 SpringCloud 运维 架构师 typeScript Go微服务 go C++ Rust Vue3 Shell
About Me

待到秋来九月八 我花开后百花杀

Links