-
Recent Posts
Archives
Categories
Blogroll
Meta
Monthly Archives: April 2007
用Hadoop搭建分布式存储和分布式运算集群
1.硬件和软件环境 普通PC,要求: cpu: 750M-1G mem: >128M disk: >10G 不需要太昂贵的机器。 机器名: finewine01 finewine02 finewine03 将finewine01设为主节点,其它的机器为从节点。 linux java 1.6.0 ssh , sshd 运行,用于Hadoop脚本来管理远程守护 rsync 软件同步 ntp 时间同步 2. 下载和生成 从这里checkout,我选择trunk http://svn.apache.org/repos/asf/lucene/hadoop/ 使用ant进行生成 3. 部署前的准备工作 在主节点的start-all.sh脚本执行后,主节点和从节点的所有服务运行。即这个脚本将启动主节点的服务,并ssh到从所有的节点,继而启动从节点的服务。 start-all.sh这个脚本假定hadoop被安装在所有机器的同一个位置,每一台机器都用同一个路径存放hadoop的数据。 我们需要在每台机器上创建同样的目录结构。 /hadoop /hadoop-install/hadoop-0.10.0 hadoop的0.10.0版的安装位置 /filesystem hadoop文件系统的根 … Continue reading
Posted in 分布式系统与并行运算, 应用平台和系统管理, 开发工具, 搜索引擎
Leave a comment
linux下暂时没法用q
腾迅改了通信协议,导致lumaqq和gaim都上不了qq,有需要的话加我msn:zhongzichang (at) hotmail.com
Posted in 生活
2 Comments