Stats-ColorMap / Data Process

データ取得・加工・確認方法について

Stats-ColorMapでは、公的統計データをもとに、都道府県別の統計値を地図上で見やすく可視化しています。 本ページでは、データの取得元、加工方法、確認・監査の流れを説明します。

1. データの取得元

本サービスで使用する統計データは、政府統計の総合窓口である e-Stat に掲載されている公的統計データをもとに取得しています。

たとえば「米収穫量」では、農林水産省の 作物統計調査 に含まれる、水稲の時期別作柄および収穫量に関する統計表を採用しています。

各年ごとに使用した統計表の statsDataId、統計名、統計表タイトル、調査年月、公開日、更新日を一覧化し、 サイト内の「出典・採用統計表一覧」ページで確認できるようにしています。

米収穫量 出典・採用統計表一覧を見る Stats-ColorMapで採用している年別の統計表ID・統計表タイトルを確認できます。

2. データの取得方法

データ取得には、e-Stat APIを使用しています。 あらかじめ採用する統計表IDを年ごとに整理し、取得スクリプトによって加工前の raw JSON データとして保存しています。

1
採用する統計表IDを年ごとに整理します。
2
e-Stat APIから統計表データを取得します。
3
取得したデータを raw JSON として保存します。
4
保存したrawデータをもとに、表示用データを生成します。
採用統計表IDの整理
↓
e-Stat APIからraw JSONを取得
↓
rawデータとして保存
↓
Stats-ColorMap用JSONへ加工

rawデータを保存しておくことで、あとから取得元の確認や加工処理の見直しができるようにしています。

3. データの加工方法

取得した raw JSON から、都道府県別の対象値を抽出し、Stats-ColorMap用のJSONデータに変換しています。

米収穫量の場合は、各年の統計表から「収穫期の収穫量」に該当する値を抽出しています。 ただし、年度によって項目名や項目コードの表記が異なるため、特定のコードだけに依存しない処理にしています。

項目名の表記ゆれの例

収穫期_収穫量
収穫期(収穫量)
収穫期_収穫量（子実用）
収穫期（確定値）_収穫量（子実用）

このような表記ゆれに対応するため、本サービスでは、項目名・単位・表記パターンをもとに、 対象となる「収穫期の収穫量」を判定しています。

地域コードの変換

地域コードも年度によって形式が異なるため、rawデータ上の地域コードや地域名をもとに、 Stats-ColorMapで使用する47都道府県コードへ変換しています。

また、市区町村や「早期栽培」「普通栽培」などの内訳データが都道府県全体の値と混ざらないよう、 採用対象を確認しながら加工しています。

4. 加工後データの形式

加工後のデータは、アプリで読み込みやすいように、年別・都道府県別のJSON形式に変換しています。 

{
  "dataset": {
    "2004": {
      "01": 623900,
      "02": 315200,
      "03": 328000
    }
  }
}

ここで、01 は北海道、02 は青森県、03 は岩手県を表します。 この形式にすることで、アプリ上では各都道府県の値を日本地図に対応させて表示できます。

5. 前年差・前年比データの生成

基本データである米収穫量から、前年差・前年比のデータも自動生成しています。

派生データ 計算方法 意味
前年差 当年の値 − 前年の値 前年からどれだけ増減したかを表します。
前年比 当年の値 ÷ 前年の値 × 100 前年を100としたときの割合を表します。

なお、前年差・前年比は前年データが必要なため、最初の年には生成されません。

6. データの確認・監査方法

加工処理の後には、確認用CSVを生成し、rawデータと加工後データの対応関係を確認しています。

確認用CSVには、どの年の、どの統計表IDから、どの項目コード・地域コードを使い、 どの都道府県コードへ変換したかを記録しています。

確認用CSVに記録する主な項目

確認列 意味
isDuplicate = FALSE
isAdopted = TRUE		 重複がなく、加工後データに採用した値です。
isDuplicate = TRUE
isAdopted = FALSE		 同じ都道府県コードにすでに値があるため、記録のみ残し、加工後データには採用していない値です。

この仕組みにより、都道府県全体の値が、市区町村や栽培区分などの内訳値で上書きされることを防いでいます。 たとえば、同じ都道府県を示す複数の地域コードが存在する場合でも、採用対象と除外対象をCSV上で確認できます。

確認の例： 北海道の値がrawデータ上のどの地域コードから取得されたか、沖縄県の値が第一期稲・第二期稲などの内訳で上書きされていないかを確認しています。

7. 掲載データの方針

本サイトでは、データの正確性と過去との厳密な比較（前年比など）を担保するため、後から数値が修正される可能性のある『速報値』は採用していません。国から『確定値』として公表され、47都道府県のデータが完全に揃った年（現在は2023年）を最新として統一しています。

そのため、最新データを即時反映するのではなく、取得・加工・表示確認が完了したデータを掲載します。 最新の公表状況や詳細な条件での検索が必要な場合は、政府統計の総合窓口 e-Stat での確認を推奨しています。
※掲載データについて誤りと思われる箇所を見つけた場合は、お問い合わせフォームより、品目名・年・都道府県名・データ記事の該当ページURLなどを添えてお知らせください。確認のうえ、必要に応じて修正いたします。

サービス 役割
Stats-ColorMap 加工・確認済みデータを、地図上で直感的に確認する場所
e-Stat 最新データや詳細な統計表を検索・確認する場所

このように役割を分けることで、Stats-ColorMapでは、授業・学習・資料作成で安心して使いやすい統計地図の提供を目指しています。

Stats-ColorMapに戻る

© Stats-ColorMap