ビッグデータ

1/2ページ

PythonでPDFからjpeg画像を抽出する方法

  • 2018.04.29

0.English sample Extract jpeg from PDF using Python. https://github.com/patch0000/Python3-PDF2TXT-sample 1.PythonでPDFからjpeg画像を抽出する方法まとめ ・PythonでPDFからjpeg画像を抽出するサンプルコードの紹介 ・jpeg以外の画像はpdfminerが非対応 ・PDFの […]

巨大データを効率よく分割するアフィニティ クラスタリング

  • 2018.03.26

1.巨大データを効率よく分割するアフィニティ クラスタリングまとめ ・Googleが新しいクラスタリング手法の実績を公開 ・アフィニティクラスタリングをベースとした手法で巨大データを効率よく分割 ・GoogleMapのデータベースアクセス効率を大きく向上させた 2.アフィニティ クラスタリングとは? 巨大で複雑なデータを効率良く扱うためには、データを分割すると良い。しかし、巨大データを同じくらいの […]

ヘルスケアデータを人工知能で使いやすくする試み

  • 2018.03.13

1.ヘルスケアデータを人工知能で使いやすくする試みまとめ ・アメリカでは8割以上の病院で電子カルテの導入が完了している ・しかし、書式が異なる等の理由のため人工知能で扱うのが難しい ・Googleは新しくオープンな仕様を公開する事で解決を考えている 2.FHIRとは? アメリカでは従来、紙に記録していた医療データをパソコンに取り込む試みが2009年から続けられており、8割を超える病院で電子カルテ( […]

スマホのカメラで検索が出来るGoogle Lens

  • 2018.03.10

1.スマホのカメラで検索が出来るGoogle Lensまとめ ・スマホカメラで撮影したものを認識する事ができるGoogle Lensの対応機種が増えた ・従来はGoogleが発売しているスマホであるPixelシリーズ専用のアプリであった ・現状、そんなに使い道はないが検索技術が発展すると応用範囲は広がりそう 2.Google Lensとは 2017年5月にGoogleが発売しているスマホであるPi […]

Googleがランドマーク認識のためのオープンデータを公開

  • 2018.03.09

1.Googleがランドマーク認識のためのオープンデータを公開まとめ ・Googleがランドマーク認識のためのオープンデータを公開 ・同時にランドマーク認識とランドマーク検索のコンテストも開催されている ・ランドマーク認識は通常の画像認識と比べて外見が変化しないなどの特徴がある 2.ランドマークとは何か? ランドマークとは、例えば富士山や東京タワーなど、観光名所になるような地域を特徴づける建造物な […]

ビッグデータとAIを使った混雑予測

  • 2018.02.21

1.ビッグデータとAIを使った混雑予測まとめ ・Yahooの乗換案内で突然の混雑を予測できる機能がリリースされた ・検索数の変動から異常を検知し、SNS情報から原因を推測するとのこと ・都心以外では予測は出来ても回避行動は難しいかもしれない 2.Yahoo!乗換案内のビッグデータを使った混雑予測機能 「月間4000万人の利用者を誇るYahoo!路線情報の膨大な検索データをもとに、異常による混雑度を […]

日本が目指すビッグデータ市場

  • 2018.02.20

1.日本が目指すビッグデータ市場まとめ ・日本政府が2020年にビッグデータのポータルサイト開設予定 ・G20などで欧米にも参加を呼びかけ10億人超のデータベース構築を目指す ・民間が有料でビッグデータを販売する事も視野に入れているがメリットは薄そう 2.官民ビッグデータ開放 日経新聞の2月20日記事より。日本政府が国、地方、民間が持つビッグデータの開放に乗り出すとの事。用語や書式を統一して官民の […]

EUのデータ保護規制が5月に施行

  • 2018.02.19

1.EUのデータ保護規制が5月に施行まとめ ・EUが今年5月に個人データ保護の規制を導入予定 ・遵守しない企業には巨額の罰金が課せられる ・EU外に個人情報を持ち出すにはかなり手間がかかるようになる 2.GDPRの概要 EUが2018年5月25日、EU一般データ保護規則(GDPR)という新たな個人データ保護の規制を導入する予定。このGDPRを遵守しない企業は最大2000万ユーロ(約26億円)または […]

ビッグデータを集めるためのクローラー学習本の選び方

  • 2018.01.12

1.ビッグデータを集めるためのクローラーの学習本レビューまとめ ・人工知能や統計解析の学習用データを集めるにはクローラーを作る必要がある ・色々なクローラー本が出版されているが言語、レビュー、出版に注目しよう ・クローラーはクローラーだけでなく様々な技術を知っておく必要がある 2.クローラーとは何か? インターネットの様々なページから必要な情報を自動的に取得するプログラムの事をクローラーと言う。な […]