テキスト マイニング

先月LDAでニュース解析したときに
https://aoken.blog.so-net.ne.jp/2019-07-07

テレグラフ紙の記事のトピックとTED SpreadやCBOE Volatility Index: VIXの推移の関連があるように見えたのですが...


テレグラフ紙の記事には、リーマンショックの前には、セクターごとの株価情報のリンク（例：SHARE DATA ARRANGED BY SECTOR: GAS DISTRIBUTION）が入っていたのが、リーマンショックのときに無くなったのが要因でした。

これを除いて、計算しなおしたら、傾向が見えなくなってしまいました。

確かに、新聞の記事の内容は変わっているのですが、今まであった記事の項目が無くなったということで、ニュースのトピックのトレンドについては、全然解析できていませんでした。
こんな初歩的なミスをしてしまって... くやしいので、別の方法で解析し直しました。

続きを読む

LDAでニュース分析

今週末も雨だったので、いまさらですが、家で潜在的ディリクレ配分法（Latent Dirichlet Allocation : LDA)という難しそうな名前の方法を使って、新聞のニュースのトレンドを調べてみました。

英国のインデペンデント紙やテレグラフ紙は、Webサイトから過去の新聞記事を調べることができます。

インデペンデント紙 : INDEPENDENT
https://www.independent.co.uk/archive/

テレグラフ紙　： The Telegraph
https://www.telegraph.co.uk/archive/

リーマンショック（Financial crisis of 2007–2008）の時期のニュースのタイトルをgensimというライブラリを使って1週間ごとにトピック分類したら、下の図のようになりました。
上が、インデペンデント紙、下がテレグラフ紙です。


テレグラフ紙は、2008年9月のリーマンショックの前後で、ニュースのトピックの割合が大きく変わっています。


FREDのサイトにあるTED SpreadやCBOE Volatility Index: VIXのデータと並べて見ると、こんな感じです。


思ったより簡単に、なんとなく良い感じの分析結果が出てしまったので、もうすこし詳しく調べてみようと思います。
（追記　：　なんか間違ってたみたいなので、やり直しました　https://aoken.blog.so-net.ne.jp/2019-08-10　）

JETSON NANOのケースを作りました

Jetson nanoで、ImageNetなどは、USBからの給電で動かすことができたのですが、DarknetのYOLOを動かそうとすると、電源の容量不足で落ちてしまうので、DC 5V 4Aの電源を買いました。

Jetson nanoでは、J25 2.1×5.5×9.5mm センター　プラスのDCジャックの電源が使えます。

電源の容量を大きくすると、CPUやGPUからの発熱も多くなるので、冷却ファン付きのケースをアクリル板とアルミアングルを使って作りました。

続きを読む

ポイントクラウド（point cloud）データ

３次元計測用のLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging)や、写真測量ソフトが手軽に利用できるようになって、土木や建築でも３次元のポイントクラウド（point cloud）データが使われるようになってきていますが、静岡県がポイントデータを公開していることを（今頃）知りました。

静岡県ポイントクラウドデータベース（Shizuoka Point Cloud DB)
https://pointcloud.pref.shizuoka.jp/lasmap/ankenmap

出典：「静岡県ポイントクラウドデータベース」

lasというフォーマットのデータでAutoCADのようなソフトや、Linuxの、Displaz ( http://c42f.github.io/displaz/ ) などを利用して３D表示することができます。


出典：「静岡県ポイントクラウドデータベース」
白糸の滝滝見橋周辺整備事業　その４
28XXX00030004-1.las , 28XXX00030004-2.las , 28XXX00030004-3.las

続きを読む

JETSON NANO

先週家にやってきた、JETSON NANO
AIコンピュータということらしいので、NVIDIAのTwo Days to a Demoサイトにあるプログラムを動かして見ました。

Two Days to a Demo
https://developer.nvidia.com/embedded/twodaystoademo
Four Steps to Deep Learning
https://developer.nvidia.com/embedded/twodaystoademo#collapseTwo





ImageNet を実行

家のメイクーンは、トラ猫（Tabby）になりました。

続きを読む

千の技術博

国立科学博物館で３月３日まで開催されている「千の技術博」に行きました。




ミルバーン電気自動車 Milburn Electric Light Brougham
アメリカのMilburn Wagon Campany社の電気自動車、大正時代にヤナセが輸入販売していたらしいです。

続きを読む

p進数 (p-adic number)

「シンメトリーの地図帳」に、モジュラー算術（modular arithmetic; モジュラ計算）という計算方法が出てきます。

続きを読む

「もうひとつの脳」を読みました

先月のNHKスペシャル「アインシュタイン 消えた“天才脳”を追え」という番組の中で、アインシュタインの脳を調べたら、ニューロンの数などは一般の人と変わらないものの、グリア細胞の数が多かったという話が出てきました。

グリア細胞って、こんなやつらしいです。


Neuroscience: Glia — more than just brain glue
Nicola J. Allen & Ben A. Barres
Nature volume 457, pages 675–677 (05 February 2009)

・アストロサイト　(Astrocyte)
・オリゴデンドロサイト (Oligodendrocyte)
・ミクログリア (Microglia)

と、いう3種類がいるらしい。

とっても興味がわいてきたので、ブルーバックスの

もうひとつの脳　ニューロンを支配する陰の主役「グリア細胞」
著：Ｒ･ダグラス・フィールズ　監・訳：小西　史朗　訳：小松　佳代子
http://bookclub.kodansha.co.jp/product?item=0000226703

を買って読みました。

続きを読む

Post-K （スパコン）

富士通フォーラムで展示されていた、次世代スーパーコンピュータ Post-K のプロトタイプを見てきました。

プロトタイプなので、こんな地味なラックに入っている。

続きを読む

数学ガール/ポアンカレ予想 を読みました。

先日買った「数学ガール　ポアンカレ予想」やっと読み終わりました。
家にあった、「オイラーの贈物」と、「数学の大統一に挑む」を一緒に読むと「数学者は、世界に橋を架けるのが好き。」というミルカさんの言葉がよく理解できて、いままで消化不良だった「数学の大統一に挑む」の消化も進みました。三角食べは消化に良いかも...

続きを読む