WatchNAVER日韓翻訳掲示板のスレッドリストを見やすく表示する。※本サイトは終了いたしました。様のPerlスクリプトを借用させていただいております。増えたスレッドを監視して、過去ログを継続保管する機能も付け加えています。使ってないノートPCがあったので、15〜30分間隔くらいで24h運用しています。過去ログへのアクセス方法:リストの”ログ”というリンクをクリックしてください。ログはローカルマシンを公開していて、そちらに飛んでいきます。※全板10以上コメントが付いたものをローカルに保管しています。40ページ(約1200スレ)、他は5〜20ページだけ監視しています。それ以前のものはログ取得対象になりません。※URLの最後についているcp=XXXというやつを1固定にしています。これでページが移ってもvisitedの色が消えないハズ。※注:イメージ板の過去ログのイメージがリンク切れになる場合があります。cygwinがあればWindows環境でもOKですし。いうより、だれでも好きに使ってください。・過去ログを公開しました。遅くなってすみません。原因を取り除くのに時間がかかってしまった、といったところです。・酷い文字化けの原因は、NAVER特有の笑える文字化け(\x5Cが消える件)が起きているスレで、jcode.plでEUC変換->SJIS変換すると全体がハンカクカナバケバケになる場合があったためです。⇒ありがちな\x5C消えを補完、文字化けになる場合はEUC変換しないする、などを修正、再取得していて時間がかかっておりました。必要性は低かったんですが。・NAVER特有の笑える文字化けの件は、どうもMYSQLがらみのようです。いう文字が勝手に改行コードに変わったりしています。・おそらくこれで最後の更新になると思います。・とりあえず取得済み過去ログの閲覧のみ再開。ログ取得は停止しています。http://218.45.182.39/search.html歴史板以外は過去ログ(2月末までに取得済みのもの)は閲覧可能です。歴史板はコメントとスレタイトルが全て消えたので、復旧のための全件再取得を実施中。1日1000ページ=30000スレくらいなので2〜3週間はかかりそうです。⇒歴史板の再取得と平行して、全過去ログのCSVやソースなど公開した後、それなりな時間がたった後にサイトを閉じようと思っとります。・歴史板の復旧は、現在の再取得だけでおしまいにしようと思います。・最近なんとなく忙しくて、あまり時間が取れないので遅め遅めで申し訳ないところです。CSVにしてみるとデータに改行コードが残ってて、いろいろ修正が必要になったり、もともと直したかったところがあったりして、思ったより時間がかかっております。ファイルがでかくなりそうなので、公開もやはり自鯖で。(FTP先の指定も適当に修正)・自鯖がいや、という話が出ていましたが、逆鯖的な使い方が可能なCGI可フリーサーバってあるのかな?あまり無さそうな気がする+探す、試すのが面倒+作りがそんなことを想定していない、なので現状無理。自宅でバッチ処理を動かして更新情報を圧縮してアップロードすれば、近いものにできるかもしれない。・突然でまことに申し訳ないのですが、本サービスは終了させていただきます。残念ながら復旧が不可能っぽい状況なため、サービス継続をあきらめました。・止めるにあたり、まず歴史板のみスレ監視し、過去ログは閲覧可能な状態に戻そうと思っています。(歴史板はNID<500000のみ、他は全て健在です)その後、残っている全過去ログやスレ一覧等をCSV等で公開しようと思っています。ソース類や設定方法等も公開しようと思っています。開始当初から監視していた歴史板が消えてしまったのは非常に辛い感じです。AM2:45から4:40ごろにIPが変わりました。個人的にはIPを晒し続けるのは非常に好ましくないのですが、すでに1年半以上そんな状態なので、いまさら何をといった感じですな。・毒もくらわば皿、下記DDNSを採用することにしました。過去ログ等のリンクも更新しました。今後はログへのリンクはホスト指定をお勧めします。・Googlebotのログについては、次回クロール時(何ヶ月か?)で消えてしまう、ということらしい。移動した(IPが変わった)、ということも特に指示できないようだ。したくても元のIPから変わっちゃったし・・・)まあ、自宅サーバなぞ想定しているはずもなし、当然といえば当然か。・NAVERのURLをコピペして過去ログを参照できるようにした。上のテキストボックススから利用できます。・お気づきとは思いますが、過去ログのHTML版は参照できなくなっています。※マシン引越しのからみです・イメージ系の板で、投稿された画像を公開前から閲覧できるようにしています。いっても機械的にURLを置き換えているだけ。試してみるとよいかも。・と思ったら、どうもその修正を入れた時から、JPEG以外のイメージだとずっとリンクが切れるようになったようだ。1日500〜1000リクエストくらい。・年が明けて、IP変わりました+マシンを引っ越しました。諸般の事情により、前のノートPCに戻しています。体感できるくらい遅くなっていると思います。・時事板が直っていそうなので、避難先を閉じて元に戻した。ごろ、NAVERの掲示板が変なことになっていたようだ。リストの2ページ目以降がいきなり2日くらい前のスレになっていた。いつ直ったのか知らないけど、けっこう長かった気がする。あいかわらずひどいですなぁ。・最近、スレリストが一部更新できない場合があるようだ。geocitiesの容量制限に引っかかることが原因。12MBのはずなのに実質8MBくらいしか入らない。⇒とりあえず各リストのサイズをやや減らした。・前から気が付いてはいたのですが、コメントで一部文字化けがおきていました。256bytes以上のコメントがついていた場合に2つに分ける部分がいまいちだったため。⇒256bytes以上コメントがついたものは、おそらく半分くらい文字化けしていたことだろう。見ると4万すれくらいありそう・・・過去にさかのぼって直すのはむずかしそう・・・ごめんなさい※個別に直したい場合、過去ログの「CHECK」で再取得してみてください。・IPアドレスが変わっています。月1回くらい?プロバイダ(?)側から切られるようです。・日別のサマリ暫定版を公開しました。スレ検索から入って見れます。・過去ログ参照用のURLをHTMLからCGIに変更しました。HTMLの公開はしばらく続けますが、機会を見て閉じようと思っています。・前から気になっていた、mod_gzipを入れてみた。超簡単に圧縮送信できるようになった。時事板スレリストで1/4から1/5くらい。すばらしい!・これまで固定HTMLで公開していた過去ログも、CGIに移行しようと思っている。※ファイル数が多すぎるのがいや+過去のHTMLの見た目が違うのがいや、などの理由より。ひそかにBBS20もログ取得開始。・とりあえず過去のスレリスト検索の暫定版を公開。スレしか検索できません。⇒それより古いものは「過去ログから検索」で指定してください・スレ本文やコメントからの検索は不可。・前回実行から10秒以上経たないと次の処理を受け付けないようにしている・ログ取得でコメントが255文字までしか取得できなかったものを修正(最大が謎なのでいちおう510文字にした)・過去ログのDB移行がようやく完了。・お気づきと思いますが、いろいろ触りました。・とりあえず全部DBに突っ込んで保管するようにした。辿れば見れますのでそのようにお願いします。・修正にいやになるぐらい時間がかかっている+道半ばで中途半端。目的(自分のNAVERヲチをやりやすく)というより、日曜プログラミングの題材といった感じになっている。本末転倒ニダァァァ・DBに入れてもデータが多いのは変わらず、スレリストだけで180万レコード(200MB)、本文やコメントで80万レコード(150MB)とか。スレ、本文、コメントでテーブルを分けてみた。インデックスだけで100MBとかになっており、方針的に間違っているかも。(メモリも少ないし)・過去スレ検索機能を近日公開予定。だいたい出来ているが、がんがんリクエストが来ることを想定したチェック機能をまだつけていない感じ。・NAVERが重い原因になっていないか心配な今日この頃、まあ間違いなく負荷は上げてますな。?そんなに多くないし、まあいいか。必要なページ(リストorスレ)をチェックしてログ保管する、という形にしたいと思っています。・先日のプレビュー不可対応のからみでしばらく(1日くらい?)止まっていました。・このからみでイメージスポーツ板だけ投稿日が空白になっています。この板だけ一覧に投稿日が無いのかとNAVERを(r・どうも時事/ニュース板のリストが更新できていないようだ。原因不明だが、どうもgeocities側が怪しいと思われる。※HANDで置くと更新されるのだが・・・なぜか次回更新で元に戻ってしまう※元ファイルは更新されているし、正しくPUTされているはずなのに⇒とりあえず全板の右端の旧URLを消して容量削減を図ることにした⇒あと、FTPでgeocities側のファイルをDELしてみた。⇒やはり元に戻ってしまう。⇒とりあえず暫定で、ローカルの一覧を公開することにシマスタ。・今回の話題板は、実は相当昔から対応してたりして。(ここのリンクだけ無かったけど追加しました)・下の2ch互換出力はあまりニーズがなさそうなので、頃合を見て止めよう。他にも暇つぶしにanalogとか入れてアクセス状況を公開してみようかな、とかスレ一覧をDBに突っ込んで検索できるように仕様かな、とかnamazuとか入れてみようかな、とか考えているのだが・・・暇が無い+やる気も無い+スキルも無い感じ・Naverスレは見てますが、Naverは見てません。・お勉強がてら、前から気になっていた、2ch互換のdatとかsubject.txt形式を出力できるようにしてみた。12chスクリプトのread.cgiを拝借しています。ありがとうございます。FAQに載ってる外部板追加方法で、しかるべき設定をしてやれば使えるはず。1000000000+nid・いつものバッチでのログ取得しかできていない。過去ログ内にタグ付き書き込みがあるのを消していなかったのが気になっていたから。あと2chビューワ等で過去ログを保存しやすいように。