|
|
|
2022/04/23
テーマ：プログラミングあれこれ(230)
カテゴリ：ITの仕事
IT業界でフリーランスとして仕事を長くやっておりますよ
大きなプロジェクトの場合は システムの規模も大きいわけでして そこには巨大なデータも存在するわけですな そのようなデータをどう扱うかについては 一番メインの手段はExcel で読み込むことが多いですな json データの場合も階層の構造を把握できれば CSVに変換してExcel のセルに表示して確認したりしますよ データを加工する必要がある場合がほとんどですが Excel 関数でだけでいけると思えばそれで押し切って完成させてしまう場合もありますな VBAでのプログラミングは前提とはなりませんな やはり実装する時間や手間、バグが気になりますな もしExcel 関数だけでは足りずもう少し処理が必要ならVBA でシート用の関数を組んで それを利用して完成できれば簡単ですな さらに必要ならやはりVBA で簡単なプログラミングをするときもありますな 自分の作業としては分析という工程には沢山の時間をかけられるわけではありませんので 基本的にはスピードとミスがないことが第一でございますな というわけで手段にはまったくこだわらないという方針になるのでございますよ Excel ではシートの行数が約100万行が限界ですので それに収まっていていればとりあえずはExcelで表示して確認ですな 本格的に加工分析となると10万以下ならExcelが利用できますがそれ以上だと 処理速度が問題になる場合もあるのでケースバイケースですな 100万、10万を超える場合はファイルとしては CSV ファイルに保存されることがほどんどですな CSVはデータベースにインポートしてから利用することも検討になりますな データベースはSQL Server を使いますよ データベースであれば１億行を超えるデータでも 処理可能ですな SQL Server はインストールが簡単で環境構築も利用も簡単ですな 当然ですが基本的にSQL での加工となりますのでSQLの知識も必須ですな 加工したデータ件数が10万程度に絞られることが確定したら Excelでの作業に移行しますよ Access という選択肢もありますがほとんど利用しませんな やはりExcelでの作業に移行するほうが圧倒的に簡単ですな EXcel関数やSQLでの処理でデータ加工のほとんど完成していれば 最終的にはデータ加工処理の全体をC#やpython で書き直すということもありますな ただしここもその実装作業によるソースコードが成果物になったり 繰り返しデータ加工処理が必要になるという前提があればですな 対価が発生する成果物として認められそうもないのであれば VBA で適当に作って終わりにすることも検討しますな お気に入りの記事を「いいね！」で応援しよう
最終更新日
2022/04/23 10:30:09 PM
コメント(0) | コメントを書く |
|
