ハッシュキーの存在チェックを超高速に省メモリで行う方法

2007-06-06 23:20 | WriteBacks (48) |
リンク先まとめて登録できる機能が付きました。
http://blog.livedoor.jp/staff_reader/archives/51034585.html

かとゆー家断絶からリンク張られてるサイトをまとめて登録とか
http://reader.livedoor.com/subscribe/?url=http%3A%2F%2Fwww6.ocn.ne.jp%2F~katoyuu%2F&extract=on

スタートマック体験モニタのブログをまとめて登録とか
http://reader.livedoor.com/subscribe/?url=http%3A%2F%2Fwww.apple.com%2Fjp%2Farticles%2Fstartmac_monitor_2%2Fwinners.html&extract=on

できます。

リンク先の全件にAuto Discoveryをかけると、件数次第でとんでもなく時間掛かってしまいますが、Auto Discoveryは使わずに、ページ内のリンクを抽出してデータベースから購読者数の多いフィードを出してます。で、データベースに問い合わせるのも件数次第では負荷が高いので、実際はオンメモリでフィードを提供していそうなサイトに絞り込んでから実行してます。URLの上の階層を辿っていってフィードを吐いてそうなURLを見つけたら返すという仕組み。

ここらへんはYAPC::Asiaで話したのと大体おんなじ。
http://la.ma.la/blog/diary_200704051627.htm

で、高速化のために内部でBloom::Filterというのを使ってます。

Bloom filterを使うといいよ。

Edit

WriteBacks

大型特殊免許取得

大型特殊免許取得

Posted by 大型特殊免許取得 at 2007/06/07 (Thu) 14:07:43

4級船舶免許更新

4級船舶免許更新

Posted by 4級船舶免許更新 at 2007/06/07 (Thu) 14:26:10

メモリ（記憶装置）の概要

メモリ（記憶装置）は、コンピュータにおいて、情報の記憶を行う装置の総称。現在のコンピュータにおいては、CPUが直接データをやり取りする主記憶装置と、外部媒体にデータを記録しておく補助記憶装置の2つに分類される。主記憶装置は半導体を使ったものであり、補助記録装置としては、磁気を使ったものが大部分である。記憶装置は、読み出し時にデータの内容を破壊してしまうもの（破壊読み出し）とそのまま残るもの（非破壊読み出し）に分けることができる。磁気コアメモリは破壊読み出し、スタティックRAM...

Posted by パソコンＰＣパーツ激安通販王 at 2007/06/08 (Fri) 19:55:09

Posted by 中古バイク at 2008/10/21 (Tue) 14:53:25

ホームページ作成

ホームページの制作、カタログ、パンフレット等のデザイン、印刷。 ... ホームページ作成,WEBシステム開発,ウェブシステム,

Posted by ＩＭ at 2009/05/29 (Fri) 13:51:37

コーチ専門店　COACH Avenue　コーチアベニュー

コーチアベニューでは、コーチ新作を中心に、お客様のニーズに合わせたコーチ商品を取り揃えております。

Posted by コーチ at 2009/05/29 (Fri) 13:55:25

クレジットカードのショッピング枠で現金化　城南ギフト

貴方のお持ちのクレジットカードのショッピング枠を活用して、低金利でのキャッシングが可能です。金利カット・借換え、低金利でのキャッシング方法としてお使い下さい。カードをお持ちで無い方でもご利用は可能です。

Posted by クレジットカード　現金化 at 2009/05/29 (Fri) 14:52:40

金買取、貴金属買取の事なら東京渋谷にあるバイセラジャパンBUYSELa JAPAN

金買取、貴金属買取の事なら東京渋谷にあるバイセラジャパンBUYSELa JAPAN

Posted by 金買取 at 2009/05/29 (Fri) 14:53:30

過払い請求

日本全国２４時間無料で相談に応じておりますので疑問に思われたり、お困りなことがありましたら、お気軽にお問い合わせ下さい。

Posted by oizumi at 2009/05/31 (Sun) 11:08:52

債務整理

債務整理のご相談は日本全国対応電話相談受付しています。
メール相談は完全無料で365日24時間受付中です。

Posted by 債務整理　相談 at 2009/05/31 (Sun) 11:10:29

現金化のアイギフト

現金化のことならアイギフト！

Posted by 現金化 at 2009/05/31 (Sun) 11:12:12

アクセサリーショップ

アクセサリー・ジュエリーの通販ショップ

Posted by アクセサリー at 2009/05/31 (Sun) 11:14:18

アイギフト

現金化のことならアイギフト！

Posted by 現金化 at 2009/05/31 (Sun) 11:17:47

電子タバコ

電子タバコのランキングで比較して購入！正規品激安専門販売店。

Posted by 電子タバコ at 2009/06/16 (Tue) 17:30:05

浮気調査　東京

浮気調査 東京 低料金・相談無料

Posted by 浮気調査　東京 at 2009/06/16 (Tue) 17:30:45

品川区の不動産

品川区　不動産（マンション、中古マンション）は不動産仲介手数料無料の品川区ホームネット

Posted by 品川区　不動産 at 2009/06/25 (Thu) 00:27:28

大田区の不動産

大田区,品川区,港区,中古マンションや不動産の情報を仲介手数料無料又は半額でご紹介

Posted by 大田区　不動産 at 2009/06/25 (Thu) 00:28:25

中国語教室比較サイト

中国語教室の比較サイトです。

Posted by 中国語教室 at 2009/08/03 (Mon) 19:32:17

ガンダムプラモデル通販

ガンダムプラモデルの通販サイトです。
激安です！

Posted by ガンプラ at 2009/08/03 (Mon) 19:33:30

電子タバコの感想

これは便利ですね＾＾

Posted by at 2009/08/16 (Sun) 13:03:39

電子タバコの感想

これは便利ですね＾＾

Posted by 電子タバコの感想 at 2009/08/16 (Sun) 13:05:04

ドッグフード売れ筋ランキング

ドッグフードの売れ筋ランキングや評判口コミ情報！

Posted by ドッグフード　ランキング at 2009/08/18 (Tue) 15:17:37

折りたたみ自転車　通販

折りたたみ自転車通販専門店 B-CON

Posted by 折りたたみ自転車　通販 at 2009/08/21 (Fri) 15:12:14

セクシーランジェリー

セクシーランジェリー　リリーです！セクシー下着通販はお任せ

Posted by セクシーランジェリー at 2009/08/21 (Fri) 15:12:39

競馬情報会社

競馬情報会社

Posted by 競馬情報会社 at 2009/08/30 (Sun) 21:20:01

競馬予想

競馬予想

Posted by 競馬予想 at 2009/08/30 (Sun) 21:34:11

粨��

粨��

Posted by 粨�� at 2009/08/30 (Sun) 21:44:08

仮性包茎

仮性包茎

Posted by 仮性包茎 at 2009/08/30 (Sun) 21:48:16

電磁波対策

電磁波対策

Posted by 電磁波対策 at 2009/08/30 (Sun) 21:51:47

アロエベラ

アロエベラ

Posted by アロエベラ at 2009/08/30 (Sun) 21:57:24

デリバティブ

デリバティブ

Posted by デリバティブ at 2009/08/30 (Sun) 21:59:40

ミニ株

ミニ株

Posted by ミニ株 at 2009/08/30 (Sun) 22:03:16

軽費老人ホーム

軽費老人ホーム

Posted by 軽費老人ホーム at 2009/08/30 (Sun) 22:06:10

プラセンタ注射

プラセンタ注射

Posted by プラセンタ注射 at 2009/08/30 (Sun) 22:08:10

アスコルビン酸

アスコルビン酸

Posted by アスコルビン酸 at 2009/08/31 (Mon) 22:57:32

整体の学校です。

整体学校 【資格取得・就職・開業に強い学校】

Posted by 整体　学校 at 2009/10/05 (Mon) 12:40:06

柔道整復師

マッサージ師、柔道整復師、鍼灸師、整体師、セラピストの求人募集

Posted by 柔道整復師　求人 at 2009/10/05 (Mon) 12:41:15

プリザーブドフラワー

極上のデザイナーアレンジ　ICHIHANAのプリザーブドフラワーギフト

Posted by プリザーブドフラワー at 2009/10/05 (Mon) 12:46:02

セクシーな下着

セクシーランジェリーの魅力、みなさんも知って下さいね。

Posted by セクシーランジェリー at 2009/10/05 (Mon) 12:55:52

倖田來未＆misono主催！地下パーティーが話題・動画

スタートラインは同じく歌手。
そして、現在も現役バリバリの倖田 來未＆misono姉妹。

Posted by 倖田來未＆misono主催！地下パーティーが話題・動画 at 2009/10/29 (Thu) 13:55:12

沢尻エリカ解雇!!妊娠！？女優復帰は！？【画像＆動画】

７月、スペイン・バルセロナから帰国した沢尻エリカ(23)に妊娠疑惑が浮上!!７月２０日午前には皆既日食を見るために鹿児島県奄美市入りした彼女。一部では薬物疑惑も騒がれているが、なんと妊娠したという情報が！！！

Posted by 沢尻エリカ解雇!!妊娠！？女優復帰は！？【画像＆動画】 at 2009/10/29 (Thu) 15:55:26

電子たばこ

電子たばこ

Posted by 電子たばこ at 2009/11/17 (Tue) 12:03:19

電子たばこ

電子たばこ

Posted by 電子たばこ at 2009/11/17 (Tue) 12:03:35

電子たばこ

電子たばこ

Posted by 電子たばこ at 2009/11/17 (Tue) 12:03:56

電子たばこ

電子たばこ

Posted by 電子たばこ at 2009/11/17 (Tue) 12:04:15

任意売却・住宅ローンの返済のことなら住宅ローン救済センターへ

住宅ローン救済センターの拠点のある大阪および東京周辺近畿一円と首都圏エリアについては、ご相談いただいてから早期の対応が可能です。それ以外の地域についても、全国の提携パートナーと共に対応してまいります。

Posted by 任意売却・住宅ローンの返済のことなら住宅ローン救済センターへ at 2009/12/16 (Wed) 17:11:01

電子タバコ

電子タバコ

Posted by 電子タバコ at 2009/12/23 (Wed) 11:10:30

白ロム買取｜中古携帯買取、査定ならピーカンパニー【P-company】

白ロム中古携帯買取専門店ピーカンパニーではご不要になった携帯電話を白ロム状態（SIMカードを抜いた状態）にて買取りを行っております。

Posted by 白ロム買取 at 2010/03/10 (Wed) 18:46:08
TrackBack ping me at
http://la.ma.la/blog/diary_200706062320.trackback
Post a comment

writeback message: Thanks for the writeback.







spam yoke. nanimo ireruna.