reb12345reb的博客
reb12345reb · 共 51 篇文章
Hadoop组件之-HIVE(位图索引)
索引概述 什么是索引? 索引是Oracle 数据库 中提供的一种可选的 数据结构 ,用于关联一个表。 为什么要使用索引? 索引在有些情况下可以加快访问速度,减少磁盘IO。 通常情况下时候使用索引? 表中的某列经常会在查询中使用,并且经常用返回占表中数据总量比例较少的row set。 引用完整性约束列。 unique key 。 下面我们来简述一下两种常见的索引类型:B-Tree索引以及BitMap索引。 B-Tree 索引 B*Tree索引,这是OracleDatabase中最常用的索引类型,在各种Oracle各种数据库类型中都得到了广泛的使用。原理上来讲,它的逻辑结构就像一个B-树,一种多…
2016-06-24 15:43 · Hadoop · 评论(0)
Hadoop组件之-HDFS(HA实现细节)
Hadoop NameNode 高可用 (High Availability) 实现解析 在 Hadoop 的整个生态系统中,HDFS NameNode 处于核心地位,NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机制进行详细的分析,主要包括 NameNode 的主备切换实现分析和 NameNode 的共享存储实现分析。文章的最后在结合作者自身实践的基础上,列举了一些在高可用运维过程中需要注意的事项。 0 评论 程 磊 , 架构师, 搜狗 杨 剑飞 , 高级研发工程师, 搜狗 2015 年 11 月 10 日 …
2016-06-23 10:10 · Hadoop · 评论(0)
Hadoop组件之-HDFS(FederationAndHA)
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案,由于行业的特殊性,客户对服务的可用性有着非常高的要求,而HDFS长久以来都被单点故障的问题所困扰,直到Apache Hadoop在2012年5月发布了2.0的alpha版本,其中MRv2还很不成熟,可HDFS的新功能已经基本可用,尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1,包含了Hadoop 2.0的诸多新功能和组件,于是我们就基于CDH4.0.1进行了HA和Federation的测试。…
2016-06-23 10:06 · Hadoop · 评论(0)
Spark-SQL简介
分享到... 复制网址 邮件 QQ空间 新浪微博 腾讯微博 微信 人人网 易信 网易微博 搜狐微博 QQ好友 开心网 飞信 豆瓣 一键分享 查看更多(122) 这是什么工具? JiaThis 石山园 博客园 首页 新闻 新随笔 联系 管理 订阅 随笔- 83 文章- 0 评论- 140 Spark入门实战系列--6.SparkSQL(上)--SparkSQL简介 【注】该系列文章以及使用到安装包/测试数据 可以在《 倾情大奉送--Spark入门实战系列 》获取 1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark,给熟悉RDBMS但又不理解…
2016-01-11 22:09 · Hadoop · 评论(0)
Python-With...As语法
理解Python中的with…as…语法 Posted in python - 22 五月, 2013 - 2 Comments 使用语言的好特性,而不是那些糟糕的特性————不知道谁说的 好久不学习python的语法了,上次去面试,和面试官聊到了python中的with-as statement(也称context manager),挺感兴趣的,这两天学习了一番,收获颇丰在此分享。 先说明一个常见问题,文件打开: 1 2 3 4 5 6 7 try: f = open('xxx') do something except: do something finally: f.close() 其…
2015-12-22 14:12 · Hadoop · 评论(0)
Linux-RPM详解
rpm命令手册和查看rpm安装包的安装路径的方法 来源:互联网 作者:佚名 时间:04-22 14:07:45 【 大 中 小 】 rpm -qpl xxxxxx.rpm 1.如何安装rpm软件包 rmp软件包的安装可以使用程序rpm来完成。执行下面的命令 rpm -i your-package.rpm 其中your-package.rpm是你要安装的rpm包的文件名,一般置于当前目录下。 安装过程中可能出现下面的警告或者提示: ... conflict with . <iframe id="aswift_0" style="margin: 0px; padding: 0px; left: …
2015-12-12 14:22 · Hadoop · 评论(0)
Linux-NTP服务配置
配置NTP服务ntpd/ntp.conf(搭建Hadoop集群可参考) 标签: ntp ntpd ntp.conf 2014-11-24 08:55 5915人阅读 评论 (0) 收藏 举报 版权声明:本文为博主原创文章,未经博主允许不得转载。 本文原文出处: http://blog.csdn.net/bluishglc/article/details/41413031 严禁任何形式的转载,否则将委托CSDN官方维护权益!本文拟定是在一个局域网内(比如一个Hadoop集群)设定一台NTP服务器作为整个网络的标准时间参考,使用网络(集群)内的所有机器保持时间一致!以下是详细的操作步骤: 1. …
2015-12-10 20:51 · Hadoop · 评论(0)
Hadoop组件之-MapReduce(InputFormat)
Hadoop源码解析之: TextInputFormat如何处理跨split的行 标签: hadoop split TextInputFormat 跨split 2013-07-19 14:44 6402人阅读 评论 (1) 收藏 举报 版权声明:本文为博主原创文章,未经博主允许不得转载。 我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理: 对输入数据进行切分,生成一组split,一个split会分发给一个mapper进行处理。 针对每个split,再创建一个RecordReader读取Split内的数据,并按照<key,value>的形式组…
2015-12-07 20:03 · Hadoop · 评论(0)
Hadoop组件之-Sqoop
前置条件 已经成功 安装配置Hadoop 和Mysql数据库服务器,如果将数据导入或从Hbase导出,还应该已经成功安装配置Hbase。 下载sqoop和Mysql的JDBC驱动 sqoop-1.2.0-CDH3B4.tar.gz : http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz mysql-connector-java-5.1.28 安装sqoop [hadoop@appserver ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz 配置环境变量 拷贝Hadoop核心包和MYSQL驱动包…
2015-12-07 17:33 · Hadoop · 评论(0)
Hadoop组件之-Kafka
一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在 设计 实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例( server )成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。 <ignore_js_op> 2…
2015-12-07 17:32 · Hadoop · 评论(0)
Hadoop企业级搭建之-Cloudera产品部署
<iframe id="cproIframe_u1728839_3" style="word-wrap: break-word;" src="http://pos.baidu.com/acom?adn=4&at=160&aurl=&cad=1&ccd=24&cec=GBK&cfv=0&ch=0&col=zh-CN&conOP=0&cpa=1&dai=3&dis=0&layout_filter=rank%2Cimage<r=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DlVqeyhkvZ7BCL3zOYt63sWbSv6wn3fpP2Sc2gsZP0…
2015-11-30 22:12 · Hadoop · 评论(0)
Hadoop企业级搭建之-版本选择
太多选择——如何挑选合适的大数据或Hadoop平台? 作者 Kai Wähner ,译者 王灵军 发布于 2013年10月9日 | 注意: ArchSummit全球架构师峰会(北京)2015年12月18-19日, 了解更多详情! 5 讨论 分享到: 微博 微信 Facebook Twitter 有道云笔记 邮件分享 稍后阅读 我的阅读清单 今年,大数据在很多公司都成为相关话题。虽然没有一个标准的定义来解释何为 “大数据”,但在处理大数据上,Hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了Hadoop。然而,当你已经决定要…
2015-11-27 14:37 · Hadoop · 评论(0)
Hadoop企业级搭建之-组网设计方案理解
深入理解Hadoop集群和网络 发表于2012-08-30 14:09| 次阅读| 来源个人博客| 0 条评论| 作者Brad Hedlund Hadoop 大数据 虚拟化 服务器 **摘要:**本文将着重于讨论Hadoop集群的体系结构和方法,及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。 导读:云计算和Hadoop中网络是讨论得相对比较少的领域。本文 原文 由Dell企业技术专家 Brad Hedlund 撰写,他曾在思科工作多年,专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。 本文将着重于讨论Hadoop集群…
2015-11-27 14:08 · Hadoop · 评论(0)
Hadoop企业级搭建之-组网设计(收敛比)
高性能数据中心网络的流量收敛设计 收藏 打印 推荐 在数据中心网络领域,性能、规模似乎永远没有边界,是业界技术人员、设计者们不断追求与创新的目标。从1G速率骨干网的应用、10G速率骨干网的普及,到40G/100G以太网标准的制定和颁布, IT领域同样有着更高、更快、更强法则。但是有了高速的转发技术,并不意味着就可以实现高性能,高性能网络设计是一个系统化的工程,需要考虑网络流量收敛比、网络设备性能、网络设备缓存等多种因素。本文将重点阐述高性能数据中心的流量收敛设计,从二三层架构、产品选型等几个方面提供设计参考建议。 文/刘鑫 1. 什么是网络流量收敛? 数据报文的流量收敛,是指数据报文在网络转…
2015-11-27 13:55 · Hadoop · 评论(0)
FIND
find命令查找包含指定内容的文件 2011-09-05 18:59 10285人阅读 评论 (0) 收藏 举报 shell file command function user build find / | xargs grep function 查找系统根目录下面的所有文件的内容中包含有function字符串的文件列表。 find .|xargs grep x find . -exec grep x{} \; find / -name "httpd.conf" find / -name "rsync" 为什么会这样能,因为通道命令符是把上一部的结果传递给下一步来处理,在 find . |…
2014-12-25 17:11 · 评论(0)