文章列表
分类： 技术博文 Linxu技术博文 2014-10-01 21:23 1480人阅读 评论(0) 收藏 举报
概览：
目前网卡绑定mode共有七种(0~6)bond0、bond1、bond2、bond3、bond4、bond5、
hadoop机架感知
背景
分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通 ...
文本文件与二进制文件区别
一、文本文件与二进制文件的定义
大家都知道计算机的存储在物理上是二进制的，所以文本文件与二进制文件的区别并不是物理上的，而是逻辑上的。这两者只是在编码层次上有差异。简单来 ...
spark 安装 0.8 版本操作系统Ubuntu 10.04，已经安装JDK 1.7。1. 下载spark代码http://spark.incubator.apache.org/downloads.html2. spark 0.8依赖于scala 2.9.3，安装这个版本的scala。2.1 下载scala 0.9.3 http://www.scala-lang.org/download/2.9.3.html#Software_Requirements2.2 解压缩到/usr/local/scala目录下2.3 在/etc/profile添加一行代码： export PATH=$PATH ...
编写DOS批处理脚本从FTP下载文件
博客分类：
Shell和DOS相关
编写DOS批处理脚本从FTP下载文件
工作当中经常需要从远程Linux的指定目录下载文件到自己日常使用的Windows系统，老是通过FTP工具比较麻烦，所以写个batch脚本，每次需要下载的时候只要跑一下脚本就行了，非常方便。
PS：脚本中有些代码“没用”，其实是为了考虑后期扩展
单个batch脚本，从ftp下载文件
Java代码
@echo off
SETLOCAL
set BASE_P
map的环形内存缓冲区
- 博客分类：
- Hadoop
map的环形内存缓冲区
博客分类：
hadoop源码解读
HadoopMapreduceApache工作
hadoop在执行MapReduce任务时，在map阶段，map函数产生的输出，并不是直接写入磁盘的。为了提高效率，它将输出结果先写入到内存中（即环形内存缓冲区，默认大小100M），再从缓冲区（溢）写入磁盘。 下面我们就来看看这段代码。 1、找到环形内存缓冲区 在运行job时，有条输出： 09/04/07 12:34:35 INFO mapred.MapTask: io.sort.mb = 100 上面的io.sort.mb，即map环形内存缓冲区
shift可以用来向左移动位置参数。Shell的名字 $0第一个参数 $1第二个参数 $2第n个参数 $n所有参数 $@ 或 $*参数个数 $#
shift默认是shift 1以下边为例：
复制代码 代码如下:
cat shift.sh#----------------------------输出文字-开始----------------------------#!/bin/bashuntil [ -z "$1" ] # Until all parameters used updoecho "$@ "shiftdone#--------- ...
linux特殊符号大全
在shell中常用的特殊符号罗列如下：# ; ;; . , / \ 'string'| ! $ ${} $? $$ $* "string"* ** ? : ^ $# $@ `command`{} [] [[]] () (()) || && {xx,yy,zz,...}~ ~+ ~- & \<...\> + - %= == !=
# 井号 (comments)这几乎是个满场都有的符号，除了先前已经提过的"第一行"#!/bin/bash井号也常出现在一行的开头，或者位于完整指令 ...
linux awk命令详解
简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已 ...
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任何疑问或建议请留言到后面，谢谢！ Shuffle的正常意思是洗牌或弄乱，可能大家 ...
在查询语句中使用 NOLOCK 和 READPAST 处理一个数据库死锁的异常时候，其中一个建议就是使用 NOLOCK 或者 READPAST 。有关 NOLOCK 和 READPAST的一些技术知识点： 对于非银行等严格要求事务的行业，搜索记录中出现或者不出现某条记录，都是在可容忍范围内，所以碰到死锁，应该首先考虑，我们业务逻辑是否能容忍出现或者不出现某些记录，而不是寻求对双方都加锁条件下如何解锁的问题。 NOLOCK 和 READPAST 都是处理查询、插入、删除等操作时候，如何应对锁住的数据记录。但是这时候一定要注意NOLOCK 和 READPAST的局限性，确认你的业务逻辑可以容忍这些记 ...
我们先弄清楚操作系统的页大小概念。
操作系统的页大小：
对于操作系统来说， 存放文件不是以文件的大小来存放的,而是首先将内存按照一定的大小，给拆分开来，比如4K大小作为一个单元。这样做有什么好处呢？
使用了分页的机制后， 就可以使用虚拟存储的概念了。对于32位操作系统来说，每个程序来都有4G的逻辑访问空间，这4G逻辑访问空间是虚拟出来的，实际没有这么多。操作系统负 责虚拟4g的逻辑访问空间，可能和外存来不断交换协调。比如windows操作系统，在C盘下有一个叫 pagefile.sys 的文件，这个就是虚拟内存所存放在硬盘的地址。
逻辑4G分成了很多页，而实际的 ...
RS/6000是一种小型机,IBM出的,一般用AIX等操作系统;
AS/400也是一种小型机,也是IBM出的,主要用在电子商务等场合.
AS/400和RS/6000具有不同的应用侧重点，即面对不同的应用，机器的性能可以得到充分的发挥，以达到最好的性能。 AS/400是一种专用于商务应用在线交易处理和信息管理的多处理器并发处理计算机系统，主要适用于政府部门、金融部门、电信部门、大型企业、重要网站等 进行办公管理、数据维护、数据分析、ERP （企业资源计划）、MIS（管理信息系统）等业务，安全性、稳定性、可靠性高。 AS/400是 IBM的独家产品，配备了PowerPC RISC第 ...
DB2 V9.7 分区索引新特性
改进大型数据库性能
郝庆运, 软件工程师, IBM
简介： 在本文中将介绍 DB2 V9.7 中的新功能 - 分区索引，如何使用和管理分区索引，以及分区索引如何改进大型数据库性能。
信贷业务：
1. 信用风险（Credit Risk）又称违约风险，是指交易对手未能履行约定契约中的义务而造成经济损失的风险：
违约风险：交易一方不愿或无力支付约定款项而使交易另一方遭受损失的风险。
价差风险：信用品质的变化引起的信用价差的变化而导致的风险。
信用风险：指债务人或交易对手未能履行合同所规定的义务或信用质量发生变化，影响金融产品价值，从而给债权人或金融产品持有人造成经济损失的风险。分为系统性风险和非系统性风险。
市场风险：是由于价格波动而导致商业银行表内、表外头寸遭受损失的风险。可分为利率、股票、汇率和商品风险四种。
操作风险：是指由于人为错误、技术缺陷或不利 ...