2013年3月27日水曜日

てきすとぽいドメインがTwitterに有害リンクとみなされてしまった事の顛末。

　記事が長くなってしまったので、同じような状況になってしまった時にしておいた方がよさそうなこと、先頭にまとめておきます。

1. Googleのサイト診断レポートを確認
http://www.google.com/safebrowsing/diagnostic?site=http://text-poi.net/
「http://～」の部分に、診断したいサイトのURLを入れて表示してください。

2. TwitterにURLの再審査を依頼
https://support.twitter.com/forms/spam
二番目の「Twitterがスパムと判断したため、リンクをツイートできません。」を選ぶと、URLとサイト名を入力する欄が出ます。
割とすぐに英語メールの返信が来ますが、これはおそらく自動返信です。
対応には、何日か待たされると思っておいた方がいいかも。

3. SpamhausにURLがリストされてしまっていないか確認
Spamhausのリスト確認と削除の手順は、↓ こちらのサイトが詳しいのでぜひこちらを。
http://did2memo.net/2012/10/18/spamhaus-how-to-remove-my-own-domain/
Twitterは独自に危険サイトを調査・管理しているわけではなく、SpamhausのようなブラックリストDBサイトの情報を参照しているようです。
Spamhausは、URLの削除依頼をすると待ち時間なしでリストから即削除されます。

4. TwitterでURLがツイートできない期間は、短縮URLサービスを利用
http://goo.gl などを利用して短縮URLを生成すると、ツイートできます。
試してみたところ、goo.glはリファラもTwitterになるようなので、ちょうどいいのではないかと。


　――以下、てきすとぽいドメインがTwitterに有害リンクとみなされてしまった時の記録です。


◇ ３月23日、はっきりした時間は分かりませんが、
　 てきすとぽい のドメイン text-poi.net がTwitterから有害リンクとみなされ、過去のツイートのリンクをクリックすると以下の様なページが表示される状態に。

↑ 右下にある小さなリンクをクリックすると てきすとぽい のページが表示されますが、不便極まりない上に、こんなページ出されたんじゃユーザーさんがビビります！

　また、新規に てきすとぽいドメイン text-poi.net を含むツイートをしようとすると、403エラーが返ってきてしまって呟けない状態に。

※ 親切なフォロワーさんが、てきすとぽい のリンクが何か変ですよ、と教えてくださったのが、この日の16:30頃でした（碧さん、その折はありがとうございました！）。
　 前日22日の22:30頃に、てきすとぽいアカウントで以下のツイートをしておりまして、この時は普通に呟けたので、有害指定されたのは恐らくそれ以降ではないかと。
　　　　　　https://twitter.com/textpoi/status/315093772193128449
　また、Twitter検索／Google検索しましたところ、23日朝頃から同様の状態になったサイト、ドメインが、どうやら複数あったようです。
　中でも利用者の多いと思われる、Twilogさんのツイートがこちら。
↑ このツイート、実は朝には目にしていたのですが、まさか ぽい のような、作りかけの地味なサイトがわざわざ有害指定されるとは夢にも思わず、試してすらみなかったのでした……。反省。


◇ ３月23日の21時頃、
　 とにかくTwitterにサイトの再審査を依頼せねば、と、うろうろしてようやくその方法を発見。

　前述の有害リンクページで 「詳細」 をクリックすると、 ↓ このページが表示されます。

　　　　　　https://support.twitter.com/entries/109623

　ページ一番下、「My Website Was Flagged as Malware or Spam」（日本語ページでは「自分のサイトがマルウェア、またはスパムと判断された」）をクリックすると、 ↓ このページが表示されます。

　　　　　　https://support.twitter.com/articles/90491-my-website-is-being-flagged-as-malware-or-spam

　ページ中ほどに、まずGoogleのサイト診断レポートを確認すべし、とありましたので、 ↓ さっそく表示してみることに。

　　　　　　http://www.google.com/safebrowsing/diagnostic?site=http://text-poi.net/
（他のサイトの診断レポートを見たい場合は、「http://～」の部分を書き換えてください。）

　――直訳っぽい日本語で少々分かりづらいですが、全く何の問題もなし。

　診断レポートに問題ない場合はTwitterサポートに連絡せよ、とのことで、先ほどのページ中ほどにある「filing a ticket here」をクリック（※日本語ページではリンクが切れている？ 英語ページから行きました）。

すると、 ↓ このページが。

　　　　　　https://support.twitter.com/forms/spam

　二番目の、「Twitterがスパムと判断したため、リンクをツイートできません。」を選ぶと、URLとサイト名を入力する欄が出ますので、以下のように入力して、「Submit」ボタンを押します。

　　　　　　　　問題のあるリンク ： http://text-poi.net/
　　　　　　　　名前 ： てきすとぽい
　　　　　　　　Twitterユーザー名 ： @textpoi
　　　　　　　　メールアドレス ： ********
　　　　　　　　電話番号（オプション） ： （空欄のまま）

　すると、こんなページが表示されました。


　――２、３日はぶっちゃけ遅い！ と思いましたけれども（何せ、ちょうど開催中だった第三回てきすとぽい杯が翌日に審査期間終了予定でしたので）、それでも待つしかありません。

　メールボックスを見ましたら、自動返信と思われる英語メールが届いておりました。
　引用してよいものか分からないので、内容を要約すると、

　　　　・メールありがとう、報告してくれたURLは再調査するよ。
　　　　・その間に、「Automation Rules and Best Practices」ってページに
　　　　　アフィリエイト広告に関する方針についてもう少し情報があるので、見てみてね：
　　　　　　　　https://support.twitter.com/entries/76915

※ しかしこのページ、日本語訳はないし、Twitter独特の用語が多く使われているしで、どの項目が今回の件に関係あるのか、さっぱり分からないのです。もしかしたら、どれも関係ないのではないかと疑い……。


◇ 再審査待ちの間に、てきすとぽいURLをツイートするには？

　第三回てきすとぽい杯の真っ最中でしたから、とにかくURLがツイートできないのが不便で仕方ありません。で、いろいろ探しまわった結果、短縮URLサービスを利用すれば、ほぼユーザーさんに迷惑をかけることなく てきすとぽい のURLが貼れることが判明。

　　　　例）goo.glを使う場合 → http://goo.gl/
　　　　　　ツイートしたいURLを入力して短縮URLを取得、それをTwitterに貼ると呟けました。


◇ ３月24日の深夜25時（25日1時）過ぎ頃、
　 てきすとぽいURLのリンクが通常通り、クリック→ジャンプできるようになっていることを発見！
　 テストツイートしてみて、問題なくツイートできることも確認！

　やったぁーーーーー。

※ 24日23時頃、更新情報をツイートした時にはまだ直接ツイートできなかったので、その後の約二時間の間に有害指定解除してもらえたものと思います。
　　　　　　https://twitter.com/textpoi/status/315826617484189697

　特にTwitterから連絡は来ませんでした。自分で気付け、ということなのですね……。
　　　　→ ３月30日の朝に、２回分まとめて返信が来ました。この日の一時解消は何だったのか……？

※ この記事をまとめている３月26日夜時点で、Twilogさんはまだ有害指定されたままのようです。私どもよりも先に再審査依頼を送っていたはずなのに、なかなか解除されないのは、Twilogが大きなサイトで審査に時間がかかっているから……でしょうか？ 気になります。
　　　　→ Twilogさん、３月29日朝までに解消されたようです。この時間差は一体？？


◇ ３月29日の午前９時45分頃、てきすとぽいドメインをツイートできない＆クリックすると警告表示される状態が再発。

※ たまたまその時間に、てきすとぽいURLをツイートしてくださった方と、その直後にツイートできないと呟いてくださった方がいらしたので、ここだけ妙に正確に時間が絞り込めました（何度もご不便をおかけして、申し訳ありませーん！）。
　　　　　　https://twitter.com/winter_rains/status/317435405609861120
　　　　　　http://twitter.com/yo4e/status/317438746222014467


◇ ３月29日の21時過ぎ頃、再度、Twitterにサイトの再審査を依頼。

　Googleのサイト診断レポート確認 → Twitterに再審査依頼ページからURL＆サイト名を報告 → 英語の自動返信メール受信、と、ここまでまるっと初回に同じ。

　――そこで、何ゆえ再発したのだろうか、ほぼ同時に有害指定されてしまった他のサイトの皆さまはどうされているのだろうかと、あちこち見て回っておりましたらば……。

　　　　　　http://did2memo.net/2013/03/28/twitter-says-your-domain-is-malicious-site/

　Twitterさん、どうやらSpamhausという名前の、スパムに加担するドメインをブラックリスト化するサイトの情報を利用しているらしいのです。
　そしてこのSpamhausというサイト、誤登録が大層多いらしいのです……。

　慌ててリスト検索してみましたらば、やはりと言うかまさかと言うか、てきすとぽい のURLを発見。
　何ゆえに てきすとぽい がリストに登録されてしまったかはさっぱり分かりませんけれども、とにかくSpamhausにも、急ぎ削除依頼をしてみることに。

　Spamhausのリスト検索、削除依頼の手続きにつきましては、↓ こちらのサイトを参考にさせていただきました。多謝！ <(_ _)>
　　　　　　http://did2memo.net/2012/10/18/spamhaus-how-to-remove-my-own-domain/

　フリーメールでは削除依頼できないそうなので、てきすとぽい ***@text-poi.net のメールアドレスで申請。

　……驚いたことに、即座にリストから削除されました。返信メールも何もありませんでした。
　さらに驚いたことには、Twitterの警告表示も、即解除されてしまいました。……Twitterさん、独自にURLリスト持ってないん？


◇ ３月30日の朝７時半頃。TwitterからURL再審査の返信メールが、２回分まとめて届きました。

　例によって、あやしい英語力でざっくり要約してみますと……。

　　　　・Twitterには、スパムっぽいURLとか、悪用されてるっぽいURLを探して、
　　　　　まとめてブロックする仕組みがあるんだけども。
　　　　・どうやらそのURLは、間違ってブロックされてたみたい。
　　　　・今はもうツイートできるようになってるはずです、不便かけちゃってごめんね。
　　　　　（文面は、２通とも全く同じです。）

　……こんな砕けた文調じゃない気はしますが、やはり、間違いだったそーです。
　よかったよかった。……よかったよかった（ひとつまみのモヤモヤを噛み潰しながら）。

　長らく、ご不便とご心配をおかけいたしました。<(_ _)>


◇ 結局、何が原因で有害リンクに指定されてしまったの？

　Spamhausは誤登録の多いサイト、ということで、あまり推測しても意味はないかもしれませんが……。


I) てきすとぽい で借りているサーバと同じサーバに、危険なサイトがある？
　　サーバには、あまりお金をかけない方針だったのですが……。
　　今後もしも頻発するようであれば、引越しを検討する必要が出てくる、の、かな？

J) ２月末頃まで多発していた、不審なリンク付きのコメント書き込みが原因？
　　てきすとぽい には、コメントや感想を書き込めるページがいくつかあるのですが、
　　そこに、海外からと思われる、謎のURLリンク付きの英語コメントが、
　　一時期大量に到来しておりました（対策済みで、今はほとんどありません）。

K) てきすとぽい は創作サイトですので……もしかしたら、何か不適切な内容が？？
　　てきすとぽい に投稿される小説などの作品は、ほぼ、フィクションです。
　　フィクションでなかったとしても、嘘か本当かは分からない内容です。
　　そして、それにつけられたコメントや感想は、作品の内容を補うものであって、
　　誰かに迷惑をかける意図で書かれたものではありません。
　　（そのような意図を感じるコメント・感想は、削除していく方針です。）

　　……と、ここで言ってみても、どうしようもないのですが。
　　内容にもしも問題があるのなら、なるべく該当箇所を教えていただきたいなあ、なんて。

L) もう本当に、他に理由が思いつきません……。
　　バタッ ミ__(o_ _)o


　――以下は、Spamhausのリストに誤登録されていることが判明する以前の推測です。


A) てきすとぽい にマルウェアが仕込まれていた？　→　×
　　何の対策もなく有害指定解除されたので、恐らくこれは、ないかと。

B) てきすとぽい のTwitterアカウント @textpoi のツイートに何か原因が？　→　△
　　Twitterアカウントに問題があるなら、普通はドメインではなく
　　Twitterアカウントの方を凍結する、のではないでしょうか？

　　ただ、先ほどご紹介したメールのリンク先に、自動ツイートやリツイートの話題が出ていたので、
　　確実に無関係、とは言えないかも……。

C) てきすとぽい のログイン用Twitterアプリに何か問題が？　→　×
　　てきすとぽい では、サイトのログインにTwitter OAuthを使用しています。

　　ですが、完全にログイン専用のROMアプリ（ツイートできない）なので、
　　このアプリが問題になる可能性は、ほぼ、ないのではないかと。

D) てきすとぽい の自動告知用Twitterアプリに何か問題が？　→　△
　　てきすとぽい では、投票の新規作成や、投票期間の開始／終了時に、
　　てきすとぽいTwitter @textpoi で自動的に告知のツイートを出しています。
　　（投票始まってますよ、とか、まもなく投票終わりますよ、とか。）

　　このアプリは基本的に、てきすとぽいのアカウントにしかアクセスしないので、
　　問題が起こる可能性はかなり低いはず、と、思うのですが、
　　「B」と同じ理由で、完全に除外はできないような気もします。

　※有害リンクに指定されている期間中に、一度、自動ツイートが発生しまして……。
　　一時間弱に渡り、403エラーで10分置きに数回ずつリトライした挙句、
　　ようやく呟けた、というログが残っていました。
　　なぜその時だけ呟けたのかは不明です（リトライ回数の上限を調整せねば）。

E) てきすとぽいサイト内でTwitter小説を表示しているのに何か問題が？　→　？
　　最近Twitterが、ツイートを外部のサイトで表示する時の形式に
　　だいぶ細かく厳しいルールを設けたと聞いておりましたもので
　　（そして管理人が少々英語に不自由なため、正しくルールを守れているか
　　　全く自信が持てないもので……）。

　　もしも何か、ツイート表示に関する指摘が送られてきたならば、
　　慌てて修正しなくてはいけないなあ……と覚悟していたのですが、何も来ず。

F) てきすとぽいサイト内でTwitterウィジェットを使用しているのに何か問題が？　→　？
　　トップページの横に、縦長に表示されるツイート自動検索のことです。
　　これも、「E」と同じ状態。

G) Twitter Cardsをまだ設定していないことに、問題が？　→　△
　　Twitter Cardsというのは、サイトのURLをツイートした時に、
　　ツイートのすぐ下にサイト情報がコンパクトに表示される機能のことですね。
　　これの対応を、やらなきゃやらなきゃと思いつつ、なかなかできていない状態で……。

　　そんな理由で有害リンク扱いされることはないと思いますが、
　　先にやっておけば、Twitterに親和性のあるサイトとみなしてもらえて、
　　もしかしたら回避できたかも……などという、妄想を少々。

H) 単純に、Twitterさんの勘違い？　→　？？？
　　すぐに解除されたことから見ても、可能性としては一番有り得そうな。

　　……それにしても、さほど派手に活動しているサイトではありませんから
　　目を付けられるなりの理由やきっかけが、何かあったのでは……と考えてしまいます。


◇ この件に関する てきすとぽい の公式ツイート一覧

投稿者 時刻:
ラベル:

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)