ZhongZiChang’s Dao

March 2, 2007

十分钟比较google图书搜索和cbdb

Filed under: 搜索, 有用的网站 — 钟 子昌 @ 4:46 pm

google的书不全(关于计算机方面的书比较多),cbdb的书很全,包括了从1900年到2006年的所有中文书籍。

google图书搜索 将一些人们关心的分类提取出来(可全文阅读,国学图书),cbdb其实很智能,功能隐藏的太深了,应该适当的提示。

google提供部分电子书(可全文阅读,部分阅读),可能数据还很少,搜不出来。

google搜索结果不准确,我试了两个查询,分别是”小说”,“武侠小说”,”windows编程”,”邓小平”,”刘德华”,搜索结果惨不忍睹,cbdb的效果比它好多了。

google有书的封面图片,cbdb还没有,据说正在加。

google网页的视觉感受比cbdb好,cbdb的字体偏小,颜色淡,不耐看。

google提供购买书籍的途径,cbdb没有。

目前google使用操作比cbdb方便。建议cbdb在显示单本书的页面上使用ajax技术,比如评论就不要再跳转一个页面了,真的很麻烦。还要再转一个页面才能看图书详情,太麻烦了,而且“图书详情”这个是什么东西嘛,点击进去还是跟原来的页面内容差不多,晕菜了。在显示单本图书的页面时应该把和这本书相关的所有的功能服务都提供,一目了然比不断的跳转方便多了。

就这么点内容,不说总结了。

February 1, 2007

Ubuntu 6.06.1 LTS下scim引起的问题

Filed under: 未分类 — 钟 子昌 @ 6:48 pm

安装scim后,firefox2启动中断,java的GUI应用程序在运行时执行关闭窗口操作就会崩溃。

在网上搜索一下,firefox的问题可以通过在启动脚本firefox的shell说明语句#!/bin/sh后加入GTK_IM_MODULE=xim解决。但是java就没有相关的解释。最后还是把scim卸了,装了fcitx。

January 27, 2007

同学们好

Filed under: 随笔 — 钟 子昌 @ 2:10 am

很长一段时间没上同学录,密码都忘记了好几回。同样很长一段时间没用QQ,不过最近经常上,因为还有很多同学和朋友在,大学同学还建立了一个群。没事就上去群聊。可能是年龄和有一段时间没有联系的原因,大家问得最多的问题是“是否结婚了”。班里面除了我和海龙转行做IT,其他人基本上还是老本行。现在不是经理就是总工了,看样子都混得不错,替兄弟们高兴。国哥刚刚完成他的第二次考研,听说这次比上次考得好,上次差点,这次应该能上了吧!鸣哥毕业了一直在深圳设计院混,已经结婚了。陈安一声不响考完GRE就跑到CMU读研。坷哥已经当了很多年老板,和陈恒在一起已经十几年了,两人就是不结婚,不知道什么心态。都习惯了单身,我估计自己孤独终老了。

January 15, 2007

links for 2007-01-15

Filed under: 书签 — 钟 子昌 @ 8:45 am

说说插件

Filed under: 随笔 — 钟 子昌 @ 1:39 am

在我的印象里,第一个支持插件的软件是winamp。声音、视频、视觉,还有各种解码器插件,winamp之所以火起来,其功劳不可沒。

插件的使用带来的好处是 巨大的。

对于用户来讲,只需要安装需要的功能,并且在不需要时可以将相应的功能取消或者卸载,所以平台只需要为插件的提供四个接口,分别是安装、卸载、激活和取消激活。达到的目的是节约硬盘空间和网络带宽,并且在学习期不用花费太多的时间了解软件的功能(用户通常会被大型软件的功能淹没,不知所措),节约了时间和金钱。

对于项目开发人员来讲,模块化已经是习以为常的手段,符合高内聚低藕合的思想。可以降低软件的复杂度(如果把什么东西都堆在一起,维护成本极高,甚至无法维护),并且人员的组织更容易。 开发人员只需要维护自己负责的插件就万事大吉:)
现在firefox则将插件的使用发挥到淋漓尽致的地步。目前firefox的extensions、themes、search engines 和 plugins加起来有好几千,每一个插件的开发至少需要一个人,如何让这几千个分布在世界各地的人进行协同高效的开发,只有插件的方式才能做的到。然而对用户来讲,这些功能里面大部分都是不需要的,并且每个用户需要的都不一样,一般只是需要这成千上万的插件里面的某几个。这样的情况只有插件的方式才能应付。

January 14, 2007

links for 2007-01-14

Filed under: 书签 — 钟 子昌 @ 8:38 am

January 13, 2007

links for 2007-01-13

Filed under: 书签 — 钟 子昌 @ 8:54 am

庆祝2007新年

Filed under: 随笔 — 钟 子昌 @ 4:13 am

因为机房的问题,我的blog已经有两三周的时间没法访问。哼哼,本来新年的时候写的东西非要拖到现在。考虑是否春节前挪个地方。

2006年过去了,总结一下,自己今年没做多少事,从搜索到wiki,然后一心一意的作搜索。条件允许的话技术工作是很有意思的,只不过国内缺乏技术人员的生存土壤,逼得要去适应环境,否则没法生存,不得不功利起来。靠嘴巴吃饭,投机取巧的人多,看看的闾丘露薇这篇文章,八九十年代的人比我们七十年代的人更容易适应环境。

搜索涉及的技术太多,刚开始时大概了解一下,然后一直按碰到问题,解决问题这样的方式进行着,没有刻意系统地去学习,感觉现在才进了门。不过这样的方式比较适合我,自己不喜欢死啃书,比较注重实践,不动手就没法继续下去。而且现在的情况也不允许我做研究,环境不合适,只有自己去适应环境咯。

晚上工作的时间和白天差不多。还是和以前一样,时间基本上都是化在工作和学习上。长时间过一个人的生活,不对着电脑,都不知道干嘛。 07年需要改善这样的生活状况。
新的一年!工作不是很确定,不过搜索还是需要深化,其他的看情况吧。不过我是比较乐观的,只要踏踏实实一步步坚持下去,什么都会越来越好。

新年愿望?还是希望周围的人多点快乐,多点笑容:)

November 8, 2006

开始Hadoop

Filed under: 搜索 — 钟 子昌 @ 12:22 am

+ 下载和安装

设置环境变量 $HADOOP_INSTALL 作为Hadoop的安装目录。

各个版本的hadoop都是安装在$HADOOP_INSTALL这个目录下。

然后在$HADOOP_INSTALL创建一个软连接hadoop连接到指定版本的hadoop。这样运行hadoop的所有工具都是在$HADOOP_INSTALL/hadoop/bin下,所有的配置文件都是放置在$HADOOP_INSTALL/hadoop/conf下。

+ 启动脚本

$HADOOP_INSTALL/hadoop/bin目录下包含运行Hadoop DFS 和 Map/Reduce守护的脚本:

* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack
* stop-all.sh 停止所有的Hadoop。
* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack。
* stop-mapred.sh 停止Map/Reduce守护
* start-dfs.sh 启动Hadoop DFS守护.Namenode和Datanode
* stop-dfs.sh 停止DFS守护

+ 配置文件
$HADOOP_INSTALL/hadoop/conf 目录下包含Hadoop的配置文件.

* hadoop-env.sh 包含hadoop使用的环境变量集.设置这些变量可以影响Hadoop守护进程的行为。
* slaves 这个文件列出slave守护所在的主机(datanode和tasktracker),一行一个。缺省情况下,只包含一个条目”localhost”
* hadoop-default.xml 这个文件包含一些一般性的缺省设置.关系hadoop守护和map/reduce jobs,不要修改这个文件。
* mapred-default.xml 这个文件包含站点特定的设置,关系Map/Reduce守护和jobs.缺省情况下这个文件是空的。在这个文件中设置的属性将会覆盖hadoop-default.xml中的Map/Reduce设置,用这个文件来整理你的站点的map/reduce的行为。
* hadoop-site.xml 这个文件包含关系到所有hadoop守护和Map/Reduce jobs的特定设置。缺省情况下,这个文件是空的.这个文件中的设置将会覆盖hadoop-default.xml和mapred-default.xml中的设置。这个文件包含的设置关系到Hadoop安装过程中的所有服务器和客户端,对于实例讲,就是namnode和jobtracker的位置。

+ 在单一节点上设置Hadoop

一个HDFS实例(包含一个namenode和一个单一的datanode)和
一个Map/Reduce集群(包含一个jobtracker和单一的tasktracker)

下面的“基本配置”的过程仅适用于大型集群。

+ 基本配置

下面的配置一些是必需,一些是推荐。

* hadoop环境设置
确保在hadoop-env.sh中设置JAVA_HOME变量,指向想要使用的java安装目录。可以根据你的需要在hadoop-env.sh中设置其他的环境变量。HADOOP_HOME变量是根据启动脚本自动推断的.

*Jobtracker和Namenode的设置
指出在哪里运行你的namenode和jobtracker。
fs.default.name // 设置namenodes(host:port)
mapred.job.tracker // 设置jobtrackers(host:port)
这些设置在hadoop-site.xml文件中,你可能需要设置下面的端口:
dfs.datannode.port
dfs.info.port
mapred.job.tracker.info.port
mapred.task.tracker.output.port
mapred.task.tracker.report.port

* 数据的路径设置
指出数据的走向。
包括namenode将namespace checkpoint和编辑记录存储在哪里,datanode将在哪里存储文件系统块,Map/Reduce中间输出的存储位置和HDFS的临时存储。这些路径的缺省值是指到/tmp下的各个位置。这些设置必须都是在文件hadoop-site.xml文件中。hadoop-site.xml中的这些设置是很重要的,否则它们会被Map/Reduce jobs的客户配置所覆盖。给下面的变量设定相应的值:
dfs.name.dir
dfs.data.dir
dfs.client.buffer.dir
mapred.local.dir

+ 格式化namenode

开始安装Hadoop的第一步就是格式化Hadoop文件系统,在集群的本地文件系统上实现。 不要格式化一个正在运行的Hadoop文件系统,这会引起所有的数据都会被擦除。要格式化文件系统(初始化dfs.name.dir变量指定的目录),执行下面的命令:% $HADOOP_INSTALL/hadoop/bin/hadoop namenode -format

+ 启动一个单节点集群

运行命令:
% $HADOOP_INSTALL/hadoop/bin/start-all.sh
将会在你的机器上启动一个Namenode,Datanode,Jobtracker和一个Tasktracker。

+ 在安装中分离配置
在上面的例子中,Hadoop集群用到的配置文件都在Hadoop安装过程中列出。在升级到新的版本时,这将时非常麻烦的,因为所有的自定义配置必须重新创建。从安装中分离配置时可以的。要做到这样,选择一个放置Hadoop配置文件的目录(如:/foo/bar/hadoop-config),拷贝hadoop-site.xml, slaves和Hadoop-env.sh到这个目录。你可以设置环境变量HADOOP_CONFIG_DIR指到这个目录,或者将其以选项的形式传递一个Hadoop脚本 –config .在这里例子中,集群将以以下的命令启动和停止:
% $HADOOP_INSTALL/hadoop/bin/start-all.sh –config /foo/bar/hadoop-config
% $HADOOP_INSTALL/hadoop/bin/stop-all.sh –config /foo/bar/hadoop-config
传递一个脚本的配置目录的路径必须是绝对路径。

+ 启动一个大型集群
* 确保集群内所有的节点上相同路径的Hadoop包都是可访问的。如果你在安装时使用分开配置,确保配置目录也是可访问。
* 集群中的slaves文件必须是一行表示一个节点
* 然后按照上面的“基本配置”这一段来进行
* 格式化Namenode
* 在要运行Namenode的节点上执行
% $HADOOP_INSTALL/hadoop/bin/start-dfs.sh
这将会启动HDFS(Namnode和Datanode)。Namenode就是你执行这条命令的机器,Datanode在上面所提到的slaves文件列出。
* 在要运行Jobtracker的机器上执行
% $HADOOP_INSTALL/hadoop/bin/start-mapred.sh
这将启动Map/Reduce集群(Jobtracker和Tasktracker)。Jobtracker在你执行这条命令的机器上执行,而Tasktracker在slaves文件中列出的机器上运行。
* 上面两个命令同样可以带一个 –config选项执行。

+ 停止集群
分别在Jobtracker和Namenode 上执行
% $HADOOP_INSTALL/hadoop/bin/stop-mapred.sh
% $HADOOP_INSTALL/hadoop/bin/stop-dfs.sh
这些命令同样接受–config选项。

November 7, 2006

途牛旅行网正式运营

Filed under: 未分类 — 钟 子昌 @ 11:37 pm

途牛,你可以:

认识很多热爱旅行并且经验丰富的朋友

分享别人的旅行心得

建立或参与社群

创建旅行路线 ,并和认识或者将要认识的朋友一起出游

充分享受旅游带来的乐趣

在旅行后将您的心得,经验,知识与更多的人分享

……

了解更多 

« Older PostsNewer Posts »

Powered by WordPress