【カッパドキア】memories 2.0建造委員会2【過去ログ倉庫】
■ このスレッドは過去ログ倉庫に格納されています
2ちゃんねるの過去ログを一手に引き受けている
oyster902.peko.2ch.net+sumaもデビューから3年。
1.5TBのストレージはそろそろ満杯だし、フロントエンドも結構いっぱいいっぱい
そろそろ次の過去ログ倉庫を作らないとまずいなぁ・・・・
ってことで、RAID 6 8TBのbanana3000.maido3.comを作ってるんです
開発日記
http://www.maido3.com/server/zousan/
お姿
http://www.maido3.com/server/ebanana/
転送量グラフ
http://traffic.maido3.com/jfj1/McNh/nXAg/
■ ぞうさんからのお知らせ part1
http://qb5.2ch.net/test/read.cgi/operate/1197634004/l50
--------------------------------------------------------------
ここまでのお話
いよいよその姿を現した「ぞうさん(花子)banana3000.maido3.com」
しかし、過酷な試験に花子はくじけてしまいそうなのだった。
負けるな花子、がんばれ花子! >>501
wwwwwって過去ログ全部でどのくらいの大きさなんですか? 大きさはたぶん、せいぜい 30GBytes ぐらいですが(それでもすごいけど)、
今回は大きさが問題じゃないんです。
問題なのは、「数」ですよ「数」。
過去ログ倉庫にいったいいくつスレッドがあるんでしょうか。
# 数えるとさらに時間かかりそうなので数えません、、、。 >>504
30GBってだけでもすごい、。
VIPの過去ログ倉庫とか見てると、スレッド数の桁がなんか違いますもんねえ・・・。 今年の2/22〜11/20まで、約9ヶ月=約270日wwwww鯖で、
2〜3月は4000スレ/日、4〜6月は6000スレ/日、7〜11月は7000スレ/日ってところっぽいから
平均6,100スレ/日×270日でだいたい165万スレ、ってところかぁ。
まぁ、スレ立て数=過去ログ倉庫の数と考えて問題あるまい。
ってーか、今の2ch全体でのliveスレって、38万スレくらいだと思ったけど、、 一日に4,000-6,000スレッドじゃなかったっけ? 確かに今月はそのあたりで推移してるんですけど、
なんか、11/20の移転の直後あたりから
スレ立て数ががくっと落ちてるみたいなんですよ。
http://sabo2.kakiko.com/bbspost/autoimg.cgi?bbs=news4vip&type=th
いちおうこれは、2006年からは、
自分で20分おきにsubject.txt取得してきた値になっているのですが。。 規制が 11/24 から再開したからかな?
それもハードに wwwww
game11
news21
game12
etc6
life8
news22
anime2
収容したので、DNS 変更依頼へと。 現在の容量:
%df -h .
Filesystem Size Used Avail Capacity Mounted on
/dev/da0p1 5.7T 109G 5.2T 2% /home あと土地作成済みで未収容なのは ex23 (= banana3153) だけですが、
これもたんたんと収容でいいのかしら。 たぶんそうだと思うけど、
何か特殊要因ありましたっけ? >>517
ex23(= banana3153(T-banana))の個体は開放でいいんでしたっけ、
という確認です。 うん
banana3153 は引き上げ、改修予定。 >>519
了解です。
そんでは収容作業流して、ばんめしいってきます。 >>515
ex23 収容後:
$ df -h .
Filesystem Size Used Avail Capacity Mounted on
/dev/da0p1 5.7T 118G 5.2T 2% /home df 見てなーんだ 2% かー、って思ってたら 100GB って...。
テキストデータでそんなことがあり得るのかーと目を疑いますたよ。
そういや、dat 圧縮の試みとかはあったんでしたっけ。 news21 news22 の収容完了確認後は、
PV をうまく1箇所でとる設定方法(たぶんそれほど難しくないです)を、
すすめていければなと。 さて、「過去ログサーバのページビューの合計を1箇所でとれるようにする作戦」を、
ぼちぼちと。
1) http://memories2.2ch.net/_service/ でとれるようにする
2) 今とっている http://news21.2ch.net/_service/ 等はとりあえずそのまま
3) F22 でやっている _service/ のクリーンナップ機構については別途考慮する
(過去ログサーバではF22は動いていない(F35は動かしている))
こんなかんじかなと。 etc6っていつまでread.cgi止めたままなの? Λ,,,,Λ ?
( ・ ・ )
.≧\。/ミ
/ |
〜(_.UU Λ,,,,Λ ?
( ^_^; )
.≧\。/ミ
/ |
〜(_.UU jane Doe Style だとetc7に変換されて読めないな。
壺なら読める。 うちのStyleでは設定しているブラウザで朝生(仮) 板の過去ログ倉庫が開くんだが >>538
doujin/.htaccess にかつてのウイルス除けのゴミが残ってました。 >>539
あれ?
同人板にウイルスの爆撃がまた始まったはゴミ取りをされたせいかしら? >>540-541
なるほど、500エラーになることで
「たまたま」止まっていたと。 ムーンライトバーチン☆⌒ 凵\(\・∀・) マダァ?? ||
||
||
||
;;-、 `爪
/ヽ;;) /ハヽ
∧_∧ / // |.| (\ (\
∧_∧_(◎・∀・∩ !,! . !,! / ⌒ ::ヽ
( ・∀|[__|o|_∧つ .ヽヽ_ノノ | :::::|
| つ ∩( ・∀・)) ( :::::::::| たのしいにちようび
と_)_)( つ|三|O / ::::::::| ┼ヽ -|r‐、. レ |
と_) ̄) | |_/ :::::::::::::| d⌒) ./| _ノ __ノ
_______
企画・製作 OHK は、花子が・・・
2ch サーバーダウン(鯖落ち)情報 part196
http://qb5.2ch.net/test/read.cgi/operate/1210076267/
255 :出先 ◆NAO/2MXDEk :2008/05/07(水) 10:09:28 ID:y6Ip9Vh3O
3000の件ですが、リブート中のfsckで不具合が出たそうです
で、再リブートだそうです まぁハードウェアには効いてもソフトウェアにまでは効かないからね>RAID 旧式datな鯖のalldat.soがヤバイ
,区切りな行と<>区切りな行が交互にある
↓例
http://1999.2ch.net/lobby/dat/6019319.dat >>555
旧版read.cgi入れたサーバは、anydat.so 消しておきます。
というか、anydat.so 自体過去ログサーバには必要ない予感。 書き方があいまいでしたが、
> 旧版read.cgi入れたサーバは、anydat.so 消しておきます。
のみを実施しました。 http://qb5.2ch.net/test/read.cgi/operate/1211962556/338
> 338 名前:マァヴ ◆jxAYUMI09s []: 2008/07/26(土) 19:12:06 ID:pJkWQt070 ?DIA(100721)
> >331
> これ、花子がサーバダウンしたためリブートした(^_^;)
> やっぱどっかがいまいちなんだけど、ログとかからは何も判明せず・・・・
> マザーボード交換作戦の季節がやってきた予感
そろそろアームの見せ所? 6番HDDのリビルド完了予定時刻は8月17日午前7時頃との予測(^_^;) 6.5Tじゃな・・・
引っこ抜きテストの時だって、中身無しなのに4h位掛かってなかったっけ? んだんだ(^_^;)
しかもサービス動かしながらだしねー 2ch運用情報板( http://qb5.2ch.net/operate/ )、
2ch規制議論板( http://qb5.2ch.net/sec2chd/ )
の各板の過去ログ倉庫の更新がストップしている問題について、報告します。
# 2ちゃんねる 過去ログ倉庫 運用情報 板
# http://qb5.2ch.net/operate/kako/
# 2ちゃんねる 過去ログ倉庫 アクセス規制議論 板
# http://qb5.2ch.net/sec2chd/kako/
のいずれも、倉庫番号は「1198」で停止したままです。
このため、それぞれの板で
昨年末以降から現在までにdat落ちしたスレッドを
過去ログ倉庫から探すのが困難になっています。
他板ではおおむね、倉庫番号は「#(板ディレクトリ名)1219」
あたりまで、過去ログ倉庫の作成が進行しています。 >>567 に追加して、
一例をあげますと、
# 重い重い重い重い重い重い重い×46@運用情報
# http://qb5.2ch.net/test/read.cgi/operate/1194499657/
までは、過去ログ倉庫
# http://qb5.2ch.net/operate/kako/o1194/
に収納され表示されています。
## 重い重い重い重い重い重い重い×47@運用情報
## http://qb5.2ch.net/test/read.cgi/operate/1196843423/
は、総レス数が7レスしかなく、
レスが付かないまま放置されてdat即死判定されたものでしょう。
これより後に立てられたスレッドについて、
# 重い重い重い重い重い重い重い×47@運用情報
# http://qb5.2ch.net/test/read.cgi/operate/1197346168/
(本スレとして総レス数1001)
は、過去ログ倉庫
# http://qb5.2ch.net/operate/kako/o1197/
に表示がされず、
それ以降のスレについては
そもそも過去ログ倉庫が存在しない状態です。 |⊂⊃;,、
|・д・) おいらのスレけ?
|⊂ノ】
|-J |⊂⊃;,、
|・д・) たぶんそうだべさ
|⊂ノ】
|-J
♪ ,,;⊂⊃;,、
♪ (・∀・∩) カッパッパ♪
【( ⊃ #) ルンパッパ♪
し'し'
ここがいいのかな。
2点ほど確認させてくださいです。
1) 私が体調崩しまくっている間に「仔花子」が入って、
状況が変化したわけですが、今って、
花子(全データを格納、一部データは外部にサービス)
| | |
| データをコピー、
| コピー分のバーチャルホストを仔花子に移動
| ↓ ↓
| 仔花子s(花子のデータのコピーを格納、コピーデータで外部にサービス)
| | |
↓ ↓ ↓
過去ログを見るユーザ
という構成でいいんでしたっけか。
それともデータは全部仔花子に分散コピーされて、
サービスは全部仔花子任せになったのかしら。
2) 1) だとして、仔花子s はどんなサーバが何台ぐらい入っているんでしたっけか。 *banana3000花子に残ってる分(26)
http://sv2ch.baila6.jp/memories-hanako.html
*仔花子sは現在7台(予備機1台は退役済)
banana3174, 3251, 3258, 3184, 3204, 3238, 3211
*こんなサーバ?
花子 ★と花代 ★の秘密の花園 2
http://qb5.2ch.net/test/read.cgi/operate/1221978255/762-766
766 名前: ●マァヴ@札幌 ◆jxAYUMI09s 投稿日: 2008/10/07(火) 17:44:39 ID:dDeKbTgn0 ?DIA(100888)
ってことで
500GB RAID1 100MbpsのTbananaを発注した(^_^;)
母体は現存するT-bananaサーバでHDDを換装する。
ていうかマァヴさん治ったらどうぞ
↓ >>576
ありがとうです。
1) 花子 1台、仔花子 7台
の8台でサービスしている
2) サービスの全部が仔花子経由、
というわけではない
ということですかね。 それでよいと思います
花子分の内訳はこうなってます
カンマセパレートdatなので移転せず
jbbs,kitanet,mentai,piza,pyon,salad,tako,
移転後、秘密の花園500番地発生で花子に出戻り
curry,ebi,cocoa,choco,cheese,cornm,kaba,
natto,piza2,saki,salami,yasai,ton,teri
live11, なぜかスレッドがライブだったので移転見合わせ
live16, 移転後、壷とViewで見れなくなったので花子に出戻り
memories, memories2, afox, そのまま 全文検索を入れよう話しがあるんですが、
いつものアカウントでdatは全部見られるんですよね?
>>579
見れるはずです。
ただ、仔花子への移動の際に一部、
アカウントが「受け渡し用」のままになっているものがあるらしく、
たまに削ジェンヌさんが削除作業する際に、
かっこいいおにいさんにパスワード変更作業をしてもらっているようです。
ちなみに「花子」と呼ばれているmemories2 = banana3000、
「仔花子」と呼ばれているT-banana 500G HDD版とも、
いわゆる「root権限なしサーバ」になるです。 あと、最初は「花子」だけだったんですが、
(ディスク容量はそれで十二分に足りてます)
通常の過去ログサービスだけでHDDのI/Oが100%をオーバーし、
サーバダウンを繰り返したため、
(結果としては RAID 6 15+1台構成でのHDD I/Oパフォーマンスが出なかった、
ということの模様)
「仔花子」サーバが多数投入され、バーチャルホストがそこに移され、
負荷分散がされた、という状況があるようです。
「ようです」というのは、ちょうど私が体調不良で療養していた頃と重なっているため、
状況をきちんと把握しきれていないためです。 あ、「移され」は間違いかも。
「コピーされ」ですね。>>583
「花子」に元データ自体は残っているはずなので。
ということで少なくとも、
1) 現在の構成のままで
2) banana3000 のディスク I/O 負荷を上げる方向で
全文検索のシステムを導入するのは、makeしないような気がするです。 現状はたぶん、そんなところで。
私も「仔花子」投入以降の現状をまだ把握しきれてなくて、
>>574-578 あたりで現状把握をしようとしているところだったり。 で、当時、banana3000 のようなハードウェア構成(HDD16台)なら、
・RAID6 で 15台+スペア1台 の 1つのHDDアレイを作るよりも、
・RAID1 で 7つのHDDアレイ作って、残りの2台をホットスペアにする
とかに変更したほうが、パフォーマンス的に有利で安全性も高いんじゃないか、
というような話をスレで少ししたような記憶が少しあるですが、かんちがいだったかも。 書き込むのはリフレッシュ工事の時だけで読み出しが主になるはずだから
派手に値崩れしたJMicronなSSDを大量投入するとか。それでも高くつくかな… データの状況をみて、別のサーバで検索を動かすことになる気がするので、
アカウントを検索の中の人に送ってあげてくださいー。
>>584 >>589
どうやらさん
ニュー速+でリモホ表示してほしいって話でてるけどどうですか?
◆◆◆雑談・批判要望・自治議論(IP表示議論中)◆◆◆440
http://tsushima.2ch.net/test/read.cgi/newsplus/1245865342/ >>589
承りました。
が、どうも食あたりしてしまったらしく、
作業は明日以降になると思いますです。すみません。
皆様も時節柄御身お大事に、、、。 >>591
書き込み者情報の開示は
句読点のない在日朝鮮人の書き込みばかりだよ。
2ちゃんねる=匿名掲示板であり、
書き込み者の素性を明かすなんて2ちゃんねる破壊だ。 >>593
×書き込み者情報の開示は
○書き込み者情報の開示賛成は findの機能UPとかかなあ。
>>592
あらら、お大事に… 外野で的外れかもしれないけど、花子本体もサービスしてるって事は、
http://qb5.2ch.net/test/read.cgi/operate/1236572606/119
で出たように、むむむさんが同期取るまでは繋がった鯖によって削除したはずのが見れたりしちゃうのかな…? >>598
「私が」同期とる作業をするのかどうかは別問題として、
花子にあるマスターデータは更新されないですね。
でも、DNSは仔花子を指しているので、通常の方法でWebを見る限り、
「つながったサーバによって削除したはずのデータが見えたりする」
という症状は起こらないはず。 これって、2ちゃんの監視ソフト(だっけ?)あたりに関係してる話なのかな??
協力なんだか対抗なんだか・・・まあ、違うか。 仔花子4号のHDDが片肺死んだ(^_^;)
ってことで、仔花子4号を移転するだす。
ダウンタイムはないだす。
来週の頭あたりまでに、いつのまにか終わる予定だす。 ■ このスレッドは過去ログ倉庫に格納されています