kfq131
- 浏览: 21246 次
- 性别:
- 来自: 保定
-
最新评论
文章列表
在一个项目实施初始，数据库的设计非常重要，很多时候，我们只关心和考虑到眼前的功能，而忽略了后续的可维护性和可拓展性，以及还有一个在大数据时代会遇到的高并发问题。
在设计表结构时要注意以下几个要点：
...
1.JMS消息确认机制
JMS消息只有在被确认之后，才认为已经被成功地消费了。消息的成功消费通常包含三个阶段：客户接收消息、客户处理消息和消息被确认。在事务性会话中，当一个事务被提交的时候，确认自动发生。在非事务性会话中，消息何时被确认取决于创建会话时的应答模式（acknowledgement mode）。该参数有以下三个可选值：
Session.AUTO_ACKNOWLEDGE。当客户成功的从receive方法返回的时候，或者从MessageListener.onMessage方法成功返回的时候，会话自动确认客户收到的消息。
Session.CLIENT_ACKNOWLEDGE。 客户 ...
问题：我的ActiveMQ接收消息用的是topic模式，持久化订阅，问题是我用了JMS接收消息的代码每次重新启动总是会收到最后一次的消息，但这些消息是已经接收过了的，而且启动一次就收到一次，难道ActiveMQ不会清除缓存的吗？
Java代码
//创建JMS连接和会话
ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory(url);
在足球比赛里，一个球员在一场比赛中进三个球，称之为帽子戏法(HAT-TRICK)。在分布式数据系统中，也有一个帽子原理(CAP THEOREM)，不过此帽子非彼帽子。CAP原理中，有三个要素：
一致性(CONSISTENCY)可用性(AVAILABILITY)分区容忍性(PARTITION TOLERANCE)CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是基本要求，否则就失去了价值。因此设计分布式数据系统，就是在一致性和可用性之间取一个平衡。对于大多数WEB应用，其实并不需要强一致性，因此牺牲一致 ...
长连接需要注意的事项
长连接最大的问题是对于连接池中连接的维护，连接池中的连接保持一定大小，当少于阀值时，则在获取连接时，自动创建新的连接，并添加到连接池中；连接池中的连接采用RR算法获取。
维护连接池需要应对IO类的异常(SocketTimeoutException、IOException)的情况，确保获取的连接是正常的连接；异常情况主要有：在建立连接时出现异常，需要采取重试策略，超过重试次数，清除连接池中的该连接，还有是在IO过程中出现异常，关闭并清除连接池中的该连接。
架构说明
架构图
hash 索引结构的特殊性，其检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。
可 能很多人又有疑问了， ...
2014年7月4日，我从百度离职了。
这是第一次，我不是因为和老板闹翻而离职;
这是第一次，我带着晋升的喜悦而离职;
这是第一次，我带着满满的收获而离职。
我曾经认为，我永远不会成为一个好员工，因为 ...
1. 背景
你是否有这样的需求：
你需要监控访问网站的IP，当同一个IP地址访问次数过多需要做出处理，例如拉黑，直接丢进iptables 防火墙规则连中。你的做法只能每个一段时间查询一次数据库，并且判断是否满足拉黑需求？
你是否需要监控某些数据发生变化，并通知其他程序作出处理。例如新闻内容修改后，需要立即做新页面静态化处理，生成新的静态页面
你使用数据库做队列，例如发送邮件，短信等等。你要通知发送程序对那些手机或者短线发送数据
2. 解决思路
需要让数据库与其他进程通信，传递信号
例如，发送短信这个需求，你只要告诉发短信的机器人发送的手机号码即可，机器人永远守候那哪里，只要命令一下 ...
昨天写了一篇博文
身份证校验，检查身份证号码输入是否正确
http://netkiller-github-com.iteye.com/blog/1997402
很多人担心性能问题，我后来想用C写一个扩展，还会有人说影响性能，一不做二不休，干脆mq到远程，通过负载均衡解决。 ...
1. 关于 delete
delete from mytable 必死无疑，你需要分批删除，尽量缩小每个批次删除的记录数，delete 是可以并行执行的，你可以同时运行多个删除操作
mysql> show processlist;
+--------+-----------------+---------------------+-----------+---------+-------+-----------------------------+--------------------------------------------------------+
| Id | ...
结论：
如果使用httpclient 3.1并发量比较大的项目，最好升级到httpclient4.2.3上，保证并发量大时能抗住。httpclient 4.3.3，目前还有一些bug；还是用4.2.x稳定版本吧。
以库存项目为例：
httpclient一天并发量在1500w左右，峰值一秒7万。
在之前使用过程中，一直存在大量的
org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool
at org.apache.http.impl.conn.Pooling ...
相信在项目开发当中都曾经遇到过,有某些要储蓄到数据库当中的实体字段是不确定的,可能会动态变化,或者多个类型的字段同时存在或同时不存在,那创建数据库字段时,因为实体的字段不能确定,数据库的字段也就不能确定.
例子:
笔者参与开发的一个招生系统当中,每个课程都有各自的入学要求,而入学要求需要被保存到数据库当中被课程引用,但入学要求的实体是不确定的,入学要求可能是面试分数大于某个数字,亦可能是是否通过4级英语,那将是一个布尔类型的字段,而在进行某个操作时需要校验该申请人是否满足他申请课程的入学要求.
由于以上的需求,入学要求需要被保存到数据库,但数据库中没办法设立相应 ...
createSession(paramA,paramB);
paramA是设置事务的，paramB设置acknowledgment mode
paramA设置为false时：paramB的值可为Session.AUTO_ACKNOWLEDGE，Session.CLIENT_ACKNOWLEDGE，DUPS_OK_ACKNOWLEDGE其中一个。
paramA设置为true时：paramB的值忽略， acknowledgment mode被jms服务器设置为SESSION_TRANSACTED 。
Session.AUTO_ACKNOWLEDGE为自动确认，客户端发送和接收消息不需要做额外的工作。 ...
redis主从复制配置和使用都非常简单。通过主从复制可以允许多个slave server拥有和master server相同的数据库副本。下面是关于redis主从复制的一些特点
1.master可以有多个slave
2.除了多个slave连到相同的master外，slave也可以连接其他slav ...
redis是一个支持持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式，一种是 Snapshotting（快照）也是默认方式，另一种是Append-only file（缩写aof）的方式。下面分别介绍
...