ITeye博客

menglh

dreambyheart · 共 15 篇文章

nutch 0.9在Windows下的安装

nutch 0.9在Windows下的安装 转载自:http://www.cnblogs.com/phinecos/archive/2007/11/20/965835.html 一、环境: 1.操作系统:windowsXp,windows2000+ 2.java1.6,设置JAVA_HOME到环境变量 3.cygwin,当然这个不是必需的,只是nutch提供的脚本只能在shell环境下使用,所以使用cygwin来虚拟shell命令。 4.nutch版本:0.9 5.tomcat:6.0 二、nutch的安装和配置: 1,安装Cygwin1.5.5(我这里装到d:\cygSys),将nutch…

2009-06-19 13:54 · nutch · 评论(0)

Heritrix初探

转载自:http://jason823.iteye.com/blog/84206 一、框架介绍 公司最近项目要用到全文检索,检索对象是一些网站的网页内容,要使用到网络爬虫工具。 目前技术选型对象主要有两个:Heritrix 和 Nutch。二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地,使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。 下…

2009-06-19 09:45 · Heritrix · 评论(1)

Lucene 学习笔记 1

今天开始研究Lucene,有关Lucene的简单介绍我就不做介绍了,直接google一下就了解了,我根据的是《Lucene in Action》这本书来学习的。学习还在进行,把学习过程中的一些经验和体会写出来供和我一样的新手参考。 1:这本书对应的Lucene版本。 我一开始用最新的lucene-2.4.1,结果根据书中的例子出现了很多不一致的情况,后来换成了lucene-1.4.3就可以用了。 2:创建索引的 Indexer 类中,向Document中设置的filename和contents,一个是目录,一个是内容或者是文件,在Searcher类中检索索引的时候 Query query =…

2009-03-11 16:56 · Lucene · 评论(0)

细节决定成败

最近在给某单位做一个对外服务的项目,数据量很大,其中还有一些需要根据数据生成的大量的图片,一千万级别吧,在管理这些图片生成和存储的过程中遇到了些问题,其中越到最后错误确出在了一些细节上面上。 1:图片的放置问题,千万级别的图片怎么存放,怎么来分配目录。 2:图片的大小在普通硬盘和存储上所占用空间是不是会有区别,因为没有进行空间测试,所以后来不得不把所有的图片忍痛重新生成了一下。耗费了很长时间。 3:图片的细节问题,在最后的时候突然发现因为一个字段变小了,而图片中还是原来加了1位的数字,结果导致再一次的全部重来。 4:时间安排,一千万的图片从普通硬盘拷贝到存储的方式和时间都要详细考虑到,否则这…

2009-02-21 15:20 · 杂谈 · 评论(1)

世界上最牛的逻辑(兔子)

原文地址:http://fengshen-xia.iteye.com/blog/296506 世界上最牛的逻辑 大兔子病了, 二兔子瞧, 三兔子买药, 四兔子熬, 五兔子死了, 六兔子抬, 七兔子挖坑, 八兔子埋, 九兔子坐在地上哭泣来, 十兔子问他为什么哭? 九兔子说, 五兔子一去不回来! 这是一件密谋杀兔事件 。 1 首先,兔子也是有阶级的,大兔子病了,要治它的病,就必须不惜一切代价,甚至牺牲一只兔子做药引。 2 病的是大兔子,五兔子却突然死了,显然是被做成了药引。 3 "买药"其实是黑话,因为实际上只需要一些简单的草药,主要是药引,所以这个"买药"指的是去杀掉做药引的兔子,三兔子是一个…

2008-12-27 11:51 · 杂谈 · 评论(0)

TimesTen学习笔记4(timesten 中个各种命令)

原文地址:http://ifindit.blog.sohu.com/77367977.html 1.ttAdmin(命令) 功能: 指定内存加载策略 指定replication agent策略 启动或停止cache agent 如: $ ttadmin -query tt_eservice; RAM Residence Policy : inUse Replication Agent Policy : manual Replication Manually Started : False Cache Agent Policy : manual Cache Agent Manually Sta…

2008-12-23 16:19 · TimesTen · 评论(0)

TimesTen学习笔记3(Timesten DataStore属性的说明)

在创建一个DataStore的时候有很多个属性,自己对照着翻译了一下英文的文档,但是终究水平有限,后来从网上找到了一篇博客,有对这些属性的说明。所以,拿来主义了,谢谢那个兄弟的总结。 原文地址:http://blog.chinaunix.net/u2/64350/showart_504614.html 我将内容粘贴到了一个excel文档里面,可以供大家下载参考。

2008-12-23 15:50 · TimesTen · 评论(0)

plsql developer tool设置

Q:输入表名+ '.' 后不自动谈出提示列名的做法: A:在code assisant 里面把 automatically activated选项取消就行 取消掉之后,所有的自动弹出的都没有了 根据 http://www.itpub.net/thread-1100511-1-2.html 总结而来。

2008-12-15 21:26 · 评论(0)

TimesTen学习笔记2(实践)

在看了相关的TimesTen的介绍后,我在Oracle的网站上下载了连接Oracle的文档(cacheconnect.pdf),然后按照文档里面的描述做了一个例子。 Oracle网站的“Oracle TimesTen 文档库”地址:http://www.oracle.com/technology/global/cn/documentation/timesten_doc.html 例子的实现过程可以参考文档,在此主要说明以下几个注意点: 1:创建的Oracle用户名和密码一定要和TimesTen创建的用户名和密码保持一致。 2:在建立DSN的时候,Database Character Set一…

2008-12-12 09:40 · TimesTen · 评论(0)

TimesTen学习笔记1(转载ITPUB的帖子)

我最初的了解了TimesTen的一些知识是在ITPUT论坛里面。下面我把论坛里面的内容转贴到我这里,如果需要看原文,可以点击下面的链接。 timesten系列一:简介 http://www.itpub.net/thread-1034746-1-1.html timesten系列二:如何安装timesten http://www.itpub.net/thread-1035392-1-1.html timesten系列三:如何安装创建自己的data store http://www.itpub.net/thread-1035425-1-3.html timesten系列四:应用程序如何访问tim…

2008-12-12 09:25 · TimesTen · 评论(3)

Timesten的错误:5105: OCI initialization failed:

我在Windows下配置Timesten连接Oracle的时候执行下面的命令的时候出现了错误。 我的Oracle版本是9.2 ,并且也安装了客户端,用户也都建立好了并赋予了相应的权限。 Command> call ttCacheUidPwdSet('testuser','mypsswrd'); 5105: OCI initialization failed: Error due to failure of ttOCIEnvNlsCreate (called from ttBDbEnvAlloc/ttBDbInit). The command failed. 原因是 在建立DSN的时候 Typ…

2008-12-12 09:15 · TimesTen · 评论(0)

UnsupportedClassVersionError: Bad version number

在配置Struts的时候出现了 java.lang.UnsupportedClassVersionError: Bad version number in .class file的异常 原因是web服务器TOMCAT用的JDK版本和程序的编译版本不一致造成的,检查Eclipse的设置: 1:Tomcat使用的JDK Window -> Preferences -> MyEclipse -> Servers -> Tomcat -> Tomcat 6.X -> JDK -> "Tomcat JDK name" 2:Window -> Preferences -> MyEclipse -> Ja…

2008-12-04 21:54 · Java · 评论(0)

websphere mq常用命令

创建队列管理器 crtmqm –q QMgrName -q是指创建缺省的队列管理器 删除队列管理器 dltmqm QmgrName 启动队列管理器 strmqm QmgrName 如果是启动默认的队列管理器,可以不带其名字 停止队列管理器 endmqm QmgrName 受控停止 endmqm –i QmgrName 立即停止 endmqm –p QmgrName 强制停止 显示队列管理器 dspmq –m QmgrName 运行MQ命令 runmqsc QmgrName 如果是默认队列管理器,可以不带其名字 往队列中放消息 amqsput QName QmgrName 如果队列是默认队列管…

2008-12-04 10:54 · MQ · 评论(0)

MQ从试用版升级为正版的过程

升级的过程只是将原来的rpm软件包卸载,安装正版的和注册的包就可以完成了, 不需要变动任何原来MQ已经有的队列管理器的配置。 用root账户登录进来 1:停止了连接MQ的服务 2:查看安装了MQ的系统里面的MQ有关的rpm包在系统里面的注册名称 用(rpm -q -a命令) 我自己的注册名字为下面的三个: MQSeriesSamples-6.0.2-3 MQSeriesServer-6.0.2-3 MQSeriesRuntime-6.0.2-3 3:停止mq的侦听和队列管理器 停止侦听 endmqlsr -m XXXXXX :XXXXXX为队列管理器名称 停止队列管理器 endmqm XXX…

2008-12-04 10:53 · MQ · 评论(0)

java中的正则表达式

众所周知,在程序开发中,难免会遇到需要匹配、查找、替换、判断字符串的情况发生,而这些情况有时又比较复杂,如果用纯编码方式解决,往往会浪费程序员的时间及精力。因此,学习及使用正则表达式,便成了解决这一矛盾的主要手段。 大 家都知道,正则表达式是一种可以用于模式匹配和替换的规范,一个正则表达式就是由普通的字符(例如字符a到z)以及特殊字符(元字符)组成的文字模式,它 用以描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板,将某个字符模式与所搜索的字符串进行匹配。 自从jdk1.4推出java.util.regex包,就为我们提供了很好的JAVA正则表达式应用平台。 因为正则表达…

2008-12-04 10:52 · 正则表达式 · 评论(0)