老浣熊
ld_hust · 共 123 篇文章
Yahoo S4
目前最流行的大规模数据处理是MapReduce,不过MapReduce只是一个面向批处理的框架。其它情况则是流处理系统或针对特定问题的特殊解决方案(比如Pregel、GraphLab等等),当然还有“应用最广”的并行数据库。 流计算来自于一个信念:数据的价值随着时间的流逝而降低,所以事件出现后必须尽快地对它们进行处理,最好数据出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存起来成一批处理。 S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台,引用项目开源地址( http://s4.io/ )首页对S4的介绍: S4 …
2011-04-06 21:19 · 并行计算 · 评论(1)
小对象的分配技术
小对象分配技术是Loki提高效率的有效途径,Loki里广泛使用小对象, 如果使用系统默认分配器,因为薄记得缘故,可能代价在400%以上,所以这个是必须要解决的问题。我们首先来谈Chunks。 1.MemControlBlock结构 struct MemControlBlock { bool available_; MemControlBlock* prev_; MemControlBlock* next_; }; 是的,你看到了,这里没有块大小标志,这个时候注意这点会对你理解Chunk代码很有帮助,因为MemControlBlock里没有保存块大小的字段,所以它的上层——Chunk必须每次在…
2011-03-21 12:01 · C/C++ · 评论(0)
GC的基本原理
GC的基本原理 Java的内存管理实际上就是对象的管理,其中包括对象的分配和释 放。 对于程序员来说,分配对象使用new关键字;释放对象时,只要将对象所有引用赋值为null,让程序不能够再访问到这个对象,我们 称该对象为"不可达的".GC将负责回收所有"不可达"对象的内存空间。 对于GC来说,当程序员创建对象时,GC就开始监控这个对象的 地址、大小以及使用情况。通常,GC采用有向图的方式记录和管理堆(heap)中的所有对象(详见参考资料1)。通过这种方式确定哪些对象是"可达的", 哪些对象是"不可达的".当GC确定一些对象为"不可达"时,GC就有责任回收这些内存空间。但是,为了保证GC能够在…
2011-03-21 10:36 · Java · 评论(0)
[转载]我在摩根士丹利的实习岁月
忽然一年。 上周四摩根士丹利来到图书馆5楼开宣讲会,又到招收实习生的时候了。我曾在摩根士 丹利IT部门实习过半年,不禁感慨良多。截取几段简短的回忆,纪念一段美好的时光。今 年的实习规模更大、过程更正规,可能过程会和去年有一定出入。 1。初识 去年4月的E200,摩根士丹利第一次来学校开实习生宣讲会。那次宣讲会全程用英文进 行,虽然内容已经记不清楚,但我依然记得为何决定投出简历。来的5个人西装革履,他们 进来后给在场每个人都发了彩色铜版纸打印的宣传单、在黑板上贴出一张大海报、在门口 立起一幅招贴画。教室并没有为他们预留出座位,每次有一个人在台上讲,其他4个人就在 窗台旁的角落里站着。令我吃惊的…
2011-03-08 13:04 · 五谷杂粮 · 评论(0)
Tomcat 那些事儿
tomcat接收中文参数乱码问题的总结 其实是一个相当老的问题,勾勾可以查到很多,昨天不小心又碰到了,总结一下. 1 一般我们的页面都用UTF-8编码,IE里面也是默认用UTF-8传递参数. 2 参数中包含的中文提交时都转为编码形式,如果是javascript提交可以用...+encodeURI(param)的方式提交参数,地址栏显示结果形如:xxxx&path=%E9%80%81%E5%A4%84%E7%90%86 3 一般推荐的方式是修改tomcat/conf/server.xml,在如下小节中加入URIEncoding="UTF-8" <Connector port="8080" ma…
2011-02-28 21:36 · 五谷杂粮 · 评论(0)
Chrome BookMark_back(2011-2-25)
Bookmarks 书签栏 IDC OA系统 百度 Google 搜搜更懂你 hao123 CSDN.NET 163邮 人人网 HUDBT 老浣熊 云计算 微软云计算中文博客(CSDN镜像博客) - CSDN博客 Hadoop Hadoop技术论坛 - Powered by Discuz! 摄影 蜂鸟网 - 中国影像第一门户 色影无忌_全球最大中文影像生活门户 锐意网-中文最大摄影器材商城 有用 Twitter联合创始人:最大的挑战是信息筛选 - CSDN 云计算频道 腾讯微博应用频道 Tangram Javascript库 flot - Project Hosting on Google …
2011-02-25 09:38 · 五谷杂粮 · 评论(0)
Lucene打分公式的数学推导
在进行Lucene的搜索过程解析之前,有必要单独的一张把Lucene score公式的推导,各部分的意义阐述一下。因为Lucene的搜索过程,很重要的一个步骤就是逐步的计算各部分的分数。 Lucene的打分公式非常复杂,如下: 在推导之前,先逐个介绍每部分的意义: t:Term,这里的Term是指包含域信息的Term,也即title:hello和content:hello是不同的Term coord(q,d):一次搜索可能包含多个搜索词,而一篇文档中也可能包含多个搜索词,此项表示,当一篇文档中包含的搜索词越多,则此文档则打分越高。 queryNorm(q):计算每个查询条目的方差和,此值并不…
2011-02-20 22:59 · Lucene相关 · 评论(0)
Java日期格式化及其使用例子收集
1 SimpleDateFormat担当重任,怎样格式化都行 import java.util.Date; import java.text.SimpleDateFormat; public class Demo { public static void main(String[] args) { Date now=new Date(); SimpleDateFormat f=newSimpleDateFormat("今天是"+"yyyy年MM月dd日 E kk点mm分"); System.out.println(f.format(now)); f=new SimpleDateFormat(…
2011-01-20 22:18 · Java · 评论(0)
EXTJS字体显示偏小的解决方法
在做Extjs项目的时候,发现IE运行很正常,而在火狐下字体感觉偏小了一点。后来查找到原因,是因为在ext-all.css里面,根据浏览器的不同,有些定义字体大小为11px,有些又为12px。为了达到同一性,解决的方法很简单,在ext/resources/css/目录下建立一个ext- patch.css文件,内容如下: ------------------------------------------------------------------------------------------------------------------------------------ .x-w…
2011-01-13 20:46 · 五谷杂粮 · 评论(0)
Mysql那些事儿
Mysql开放远程访问权限 Data source rejected establishment of connection, message from server: "Host '主机名'is not allowed to connect to this MySQL server 这是远程连接MySql 时出现的错误!用localhost 就不报异常,换成IP地址就出现如上异常! 解决办法**:** mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; 说明: …
2011-01-07 20:32 · 五谷杂粮 · 评论(0)
Windows下安装SVN
服务器 1.下载文件 下载最新版本subversion,我这里选择svn-1.4.5-setup.exe 下载 "Subversion Windows Service" 软件包 下载 TortoiseSVN shell integration utility 2.安装Subversion 服务器 由于我下载的是setup.exe版本,安装程序安装后会自动设置系统变量.如果你下载的是zip版就需要手动设置系统变量. setup.exe版直接安装就可以了.安装到D:\Program Files\Subversion 首先创建SVN储存库(repository) svnadmin create F…
2011-01-07 18:07 · 五谷杂粮 · 评论(0)
Java入门的那些事儿
Java安装和配置 安装Java环境(Windows 32bit) 1).下载JDK套装,我的是:jdk-6u17-windows-i586.exe 2).安装此JDK文件,双击,然后下一步下一步… 3).配置环境变量 首先要知道环境变量在哪里修改: 在桌面上右键“我的电脑” -> 属性 -> 高级 -> 环境变量。 环境变量分为两种,用户变量和系统变量,需要修改的是系统变量。 点击系统变量栏中的“新建变量”,可以新建一个环境变量。 按如下步骤来操作: 1.新建变量名称为“JAVA_HOME”的环境变量,其值为你前面JDK的安装目录,例如我的机器上安装的JDK目录为:“C:\Program …
2010-12-23 16:37 · 五谷杂粮 · 评论(0)
CUDA SDK2.3 示例程序说明
alignedTypes 演示了数据类型对齐对性能的影响 asyncAPI 演示了如何使用异步API bandwidthTest 测试主存与显存之间,以及显存内部进行数据传输时的带宽,通过命令行可以进行更加全面的测试。 bicubicTexture 通过texture实现双立方插值 binomialOptions binomialOption金融分析例子程序 bitonic Bitonic排序 BlackScholes BlackScholes金融分析例子程序 boxFilter 盒型滤波器,图像处理可以参考 clock 测时函数的使用方法 convolutionFFT2D 使用二维FFT实…
2010-12-21 17:13 · 并行计算 · 评论(0)
k均值聚类(K-means)
4.1、摘要 在前面的文章中,介绍了三种常见的分类算法。分类作为一种监督学习方法,要求必须事先明确知道各个类别的信息,并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足,尤其是在处理海量数据的时候,如果通过预处理使得数据满足分类算法的要求,则代价非常大,这时候可以考虑使用聚类算法。聚类属于无监督学习,相比于分类,聚类不依赖预定义的类和类标号的训练实例。本文首先介绍聚类的基础——距离与相异度,然后介绍一种常见的聚类算法——k均值和k中心点聚类,最后会举一个实例:应用聚类方法试图解决一个在体育界大家颇具争议的问题——中国男足近几年在亚洲到底处于几流水平。 4.2、相异度计算…
2010-12-20 22:08 · NPL&DataMining · 评论(1)