Monthly Archives: April 2007

刚开始时是没开评论，后来开了但是评论需要手动通过。我上blog的后台只会发文，发完就离开。对于以前没有回复的兄弟表示抱歉！！！ :-p

IBM MapReduce Tools for Eclipse 是一个插件，支持在Eclipse内创建MapReduce应用。 它使用 Hadoop 开源 MapReduce框架， 可以在普通机器组成的大型集群上，运行数据密集型应用程序。 这个Eclipse插件支持一下的特征： • 以 Jar 文件的方式打包和部署Java项目到一个Hadoop服务器（本地或者远程）； • 辅助开发过程的cheat sheets； • 独立的视角，观看 Hadoop服务器，Hadoop分布式文件系统和当前job状态； • 提供向导，促进基于MapReduce框架的类的开发。 他如何工作？ 插件自动创建包含支持开发和测试Hadoop库的项目。同时提供MapReduce驱动的模板。项目完成后，插件使用SCP（安全拷贝）来发布代码到一个Hadoop服务器，然后通过SSH（安全Shell）远程执行。执行期间，插件通过HTTP协议与Hadoop任务跟踪器通信来显示job状态。 IBM MapReduce Tools for Eclipse 是一个插件，支持在Eclipse内创建MapReduce应用。 它使用 Hadoop 开源 MapReduce框架， 可以在普通机器组成的大型集群上，运行数据密集型应用程序。 这个Eclipse插件支持一下的特征： • 以 … Continue reading →

这个模型比较适用于层次式的集群系统

1.硬件和软件环境 普通PC，要求： cpu: 750M-1G mem: >128M disk: >10G 不需要太昂贵的机器。 机器名： finewine01 finewine02 finewine03 将finewine01设为主节点，其它的机器为从节点。 linux java 1.6.0 ssh , sshd 运行，用于Hadoop脚本来管理远程守护 rsync 软件同步 ntp 时间同步 2. 下载和生成 从这里checkout，我选择trunk http://svn.apache.org/repos/asf/lucene/hadoop/ 使用ant进行生成 3. 部署前的准备工作 在主节点的start-all.sh脚本执行后，主节点和从节点的所有服务运行。即这个脚本将启动主节点的服务，并ssh到从所有的节点，继而启动从节点的服务。 start-all.sh这个脚本假定hadoop被安装在所有机器的同一个位置，每一台机器都用同一个路径存放hadoop的数据。 我们需要在每台机器上创建同样的目录结构。 /hadoop /hadoop-install/hadoop-0.10.0 hadoop的0.10.0版的安装位置 /filesystem hadoop文件系统的根 … Continue reading →

腾迅改了通信协议，导致lumaqq和gaim都上不了qq，有需要的话加我msn：zhongzichang (at) hotmail.com