ビッグデータ

ビッグデータ、データサイエンス、公的データなどの情報をまとめています。

ビッグデータ

PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)

1.PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(2/2)まとめ ・joblibを使用するとファイルを並列で読み込み速度アップできる ・pickle形式でファイルを保存するとCSVより更に高速になる ・jo...
ビッグデータ

PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(1/2)

1.PythonでExcelの巨大ファイルを扱う際に1000倍高速化する方法(1/2)まとめ ・ビジネスではExcelでファイルが共有される事が多いがPythonはExcelファイルでは特に低速 ・Excelファイルを保存する際にCSV...
ビッグデータ

デルタ変異株ではおそらく集団免疫は獲得できない

1.デルタ変異株ではおそらく集団免疫は獲得できないまとめ ・感染力が2.5倍高いデルタ株では集団免疫が獲得できるとされていた接種率では不十分になる ・ヨーロッパや米国ではワクチンをブースター接種して強化する事が議論されている ・デルタ...
ビッグデータ

データサイエンティストは10年以内に絶滅する!?

1.データサイエンティストは10年以内に絶滅する!?まとめ ・AIの進歩につれてデータサイエンスの利用しやすさはどんどん向上している ・データサイエンスの「適用」ではなく「実行」に重点が置かれるようになった ・データサイエンスはビジネ...
ビッグデータ

ETLの未来がELTではなくEL(T)である理由

1.ETLの未来がELTではなくEL(T)である理由まとめ ・ETLは柔軟性、視認性、及びデータ追加時にコストがかかる事が問題点である ・ELTは、データを取り込んだ後に変換するのでデータ要件が変更されても追加コストが不要 ・最終的に...
タイトルとURLをコピーしました