文章列表
TokyoCabinet应用服务器配置管理数据结构多线程 .
转载于：http://hi.baidu.com/ah%5F%5Ffu/blog/item/1f59571157625277cb80c44c.html
由于自己的单词水平退化到初中时代，因此先在单词上扫盲：
· Tokyo，是东京，就是日本首都东京....（光这行就能雷走很多读者）
·Cabinet, 储物柜
·Tyrant, 暴君（让我产生了诸如“誓死效忠天皇陛下”一类幻觉，哦，不好不好，技术就是技术，不要带上民族情绪）
1、首先先下载最新的TokyoCabinet安装包：
cd /home/ahfu
wget http: ...
- 2012-07-01 18:24
- 浏览 986
- 评论(0)
hive的安装与使用
- 博客分类：
- Hive
HadoopSQLApache.
hive的安装非常简单。官方下载地址是：http://hive.apache.org。hive目前最新版本是0.7.0，支持Hadoop 0.20.1 及 0.20.2，由于我这里hadoop的版本是0.19.2，所以我就只能用之前的版本了。我使用的版本是0.5.0，可以支持hadoop 0.17到0.20。貌似现在官网上已经没下载链接了，我放到附件供大家下载吧。
hive是依赖于hadoop的，所以安装hive之前请先装好hadoop，可以参看我的另一篇文章 hadoop的安装和使用。
将下载到的文件hive- ...
- 2012-07-01 00:15
- 浏览 885
- 评论(0)
Cassandra是一个非常可靠的大规模分布式存储系统。高度可伸缩的、一致的、分布式的结构化key-value存储方案，Facebook目前在使用此系统。
开发语言： Java
授权协议： Apache License 2.0
项目主页： http://incubator.apache.org/cassandra/
...
1，下载tokyocabinet-1.4.46.tar.gz
下载tokyotyrant-1.1.41.tar.gz
要在本地连接可以选择下载tokyocabinet-java-1.22.tar.gz
详细安装文档http://www.162cm.com/p/tokyotyrant.html
2，解压缩后进入目录：先安装tokyocabinet-1.4.46.tar.gz,再安装tokyotyrant-1.1.41.tar.gz
安装方法：
cd进入对应目录
./configure
...
Tokyocabinet数据库
- 博客分类：
- Tokyo Cabinet
Tokyo Cabinet是日本人平林幹雄开发的一款DBM数据库，该数据库读写非常快。但是单单的TC数据库，用处不大，宿主程序需要进行很多开发。TC的作者开发了Tokyo Tyrant(TT)这个网络服务程序，除了自己的二进制协议，还提供了现在被广泛应用的HTTP协议，memcached协议来访问TC数据库，这样一来，一下子就扩展了TC的使用范围，让TC从一个单纯的开发库变成了易用，高效的数据库系统。
Tokyo Tyrant是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。
Tokyo Tyrant 加上 T ...
ulimit -SHn 65535 含义
- 博客分类：
- Linux
ulimit -SHn 65535 含义
linux下用ulimit设置连接数最大值，默认是1024.
在高负载下要设置为更高，但最高只能为65535.
ulimit只能做临时修改，重启后失效。
可以加入
ulimit -SHn 65535
到 /etc/rc.local 每次启动启用。
终极解除 Linux 系统的最大进程数和最大文件打开数限制：
vim /etc/security/limits.conf
# 添加如下的行
* soft nproc 11000
* hard nproc 11000
* soft nofile 655350
* hard nofile 655350
1、查看是否安装了gcc
命令 #rpm -ql gcc
#rpm -qa |grep gcc
参数：q-询问
a-查询全部
l-显示列表
2、权限
安装和删除只有root和有安装权限的用户才可以进行。查询是每个用户都可以进 ...
吞噬大数据存储领域新机制——NoSQL模式解析
- 博客分类：
- Java
在过去几年，一种新兴的大型数据存储机制正吞噬大数据存储市场。这种存储解决方案与传统的RDBMS有显著的区别，它们被称之为NoSQL。
在NoSQL世界中有以下关键的成员，包括
●Google BigTable、HBase、Hypertable
●Amazon Dynamo、Voldem ...
关于 TCP 并发连接的几个思考题与试验
- 博客分类：
- Java
第一道初级题目是：
有一台机器，它有一个 IP，上面运行了一个 TCP 服务程序，程序只侦听一个端口，问：从理论上讲（只考虑 TCP/IP 这一层面，不考虑IPv6）这个服务程序可以支持多少并发 TCP 连接？答 65536 上下的直接刷掉。
...
分布式系统中要部署几台 NTP 服务器才够用？
- 博客分类：
- 心情日志
分布式系统中要部署几台 NTP 服务器才够用？
.
本作品采用“Creative Commons 署名-非商业性使用-禁止演绎 3.0 Unported 许可协议(cc by-nc-nd)”进行许可。
http://creativecommons.org/licenses/by-nc-nd/3.0/
分布式系统中各节点的时钟同步是必 ...
- 2012-06-09 21:28
- 浏览 776
- 评论(0)
参加IT168架构师大会总结-转自阿里兄弟
- 博客分类：
- 心情日志
9月9号和10号在北京参加了IT168主办的架构师大会，也很荣幸做了淘宝Java中间件之路的分享，分享的PPT已经在大会的官网放出了。这次两天的会议，跟新老朋友有了不少线下的交流和沟通，感觉不错。也听了好几个Session，有些没有听的，也是当时跟几个朋友在场外交流所致。
下面总结一下自己听的几个Session
余沛-自动化运维关系管理
这里面提到了几个阶段，跟陈硕的blog里面讲的不同阶段的运维策略，理念上比较的类似。
第一个阶段 几台---几十台 手工并且是模块儿的视角。也就是看到的只是单个的部署的产品等
...
关于ActiveMQ集群
- 博客分类：
- ActionMQ
1 前提
1. 下载jdk6(update24)，解压，安装，下面用 $java_dir$ 表示JDK主目录
2. 下载ActiveMQ5.4.2，解压，下面用 $activemq_dir$ 表示activeMQ主目录
3. 下载AapcehANT1.8，解压，下面用 $ant_dir$ 表示ANT主目录
4. 配置好环境变量
1) Java_home ： 指向 $java_dir$
2) Ant_home ：指向 $ant_dir$
3) Path ...
从上篇的图中可以猜测到还会有Redis 2.2.1 的测试，相同的测试环境，1K的数据量，使用ServiceStack.Redis客户端进行如下测试：
1） Set操作
2） Get操作
3） Del操作
每一套测试分别使用三个配置进行测试：
1） 绿色线条的是开启Dump方式的持久化，5分钟持久化一次
2） 蓝色线条是开启AOF方式的持久化，每秒写入磁盘一次
3） 红色线条是关闭任何的持久化方式
对于每一个配置都使用相同的其他配置：
1） 开启VM 最大内存10GB（128字节一页）之后开始换出，VM空间160GB
2） 最大使用内存15GB，确保在Du ...
- 2012-06-05 22:50
- 浏览 899
- 评论(0)
Redis 是一个有趣的项目，与其把它说成键值存储、键值缓存还不如把它说成是一个远程的数据结构。
Redis的项目名是Remote Dictionary Server的缩写，我觉得还不如叫Remote Data Structure Server – Redss
很多人把它和memcached比较，把它和tt比较，我觉得Redis在提供了诸多功能的同时又保证了代码的简洁和实现的简洁，这个很好。
Redis中的很多功能是memcached/tt没有的，当然对于mongodb来说可能可以实现Redis的大多数功能但是又显得过于重量级了。
所谓程序就是数据结构加上算法，没错，但如果对于大 ...
假设有2个机房（测试服务器2/3以及123/124）互为灾备（灾备机房在主机房对外服务时处于待命），应用都只连接自己机房的存储服务（mongodb1.6.5和kt 0.9.28），两个机房之间的存储服务需要相互同步，尝试方案如下：
编号 机器IP和 ...
- 2012-06-04 22:31
- 浏览 965
- 评论(0)