$ sudo apt update
$ sudo apt install \
    awscli \
    jq

$ cd ~
$ wget -c https://github.com/duckdb/duckdb/releases/download/v1.5.4/duckdb_cli-linux-amd64.zip
$ unzip -j duckdb_cli-linux-amd64.zip
$ chmod +x duckdb
$ ~/duckdb

INSTALL h3 FROM community;
INSTALL lindel FROM community;
INSTALL json;
INSTALL parquet;
INSTALL spatial;

$ vi ~/.duckdbrc

.timer on
.width 180
LOAD h3;
LOAD lindel;
LOAD json;
LOAD parquet;
LOAD spatial;

$ aws --no-sign-request \
      --output json \
      s3api \
      list-objects \
      --bucket iceye-open-data-catalog \
      --max-items=100000000 \
    | jq -c '.Contents[]' \
    > iceye_s3.json

$ ~/duckdb -nullvalue " "

CREATE OR REPLACE TABLE s3_inventory AS
    SELECT * EXCLUDE(LastModified),
           LastModified: LastModified::TIMESTAMP,
           file_type:    IF(Key LIKE '%.%',
                            SPLIT(Key, '.')[-1],
                            NULL),
           captured_at:
                IF(KEY LIKE '%ICEYE_%' AND SPLIT(SPLIT(Key, '/')[-1], '_')[3] LIKE '%Z%',
                   MAKE_DATE(SPLIT(SPLIT(Key, '/')[-1], '_')[3][:8][1:4]::INT,
                             SPLIT(SPLIT(Key, '/')[-1], '_')[3][:8][5:6]::INT,
                             SPLIT(SPLIT(Key, '/')[-1], '_')[3][:8][7:8]::INT),
                   NULL)
    FROM   READ_JSON('iceye_s3.json');

PIVOT (
    SELECT   year_:  YEAR(captured_at),
             month_: MONTH(captured_at),
             cnt:    COUNT(*)
    FROM     s3_inventory
    WHERE    captured_at IS NOT NULL
    GROUP BY 1, 2
)
ON       year_
USING    SUM(cnt)
GROUP BY month_
ORDER BY month_;

┌────────┬────────┬────────┬────────┬────────┐
│ month_ │  2023  │  2024  │  2025  │  2026  │
│ int64  │ int128 │ int128 │ int128 │ int128 │
├────────┼────────┼────────┼────────┼────────┤
│      1 │        │     18 │     32 │    256 │
│      2 │        │        │     65 │    383 │
│      3 │        │     18 │    172 │    273 │
│      4 │        │     18 │     18 │    480 │
│      5 │        │    594 │     22 │    501 │
│      6 │        │     11 │     36 │        │
│      7 │     18 │     36 │        │    192 │
│      8 │        │     18 │     18 │    507 │
│      9 │        │     54 │     63 │     18 │
│     10 │     11 │     54 │    337 │        │
│     11 │     11 │     18 │   2543 │        │
│     12 │     18 │     29 │    342 │        │
└────────┴────────┴────────┴────────┴────────┘

PIVOT (
    SELECT   yyyy_mm: STRFTIME(captured_at, '%Y-%m'),
             file_type,
             cnt: COUNT(*)
    FROM     s3_inventory
    WHERE    file_type NOT IN ('html',
                               'geojson',
                               'jpg',
                               'js',
                               'json',
                               'kml',
                               'mvgfwxsk',
                               'png',
                               'xml')
    AND      captured_at IS NOT NULL
    GROUP BY 1, 2
)
ON       file_type
USING    SUM(cnt)
GROUP BY yyyy_mm
ORDER BY yyyy_mm;

┌─────────┬────────┬────────┬────────┐
│ yyyy_mm │  gif   │  mp4   │  tif   │
│ varchar │ int128 │ int128 │ int128 │
├─────────┼────────┼────────┼────────┤
│ 2023-07 │      1 │      1 │      5 │
│ 2023-10 │        │        │      3 │
│ 2023-11 │        │        │      3 │
│ 2023-12 │      1 │      1 │      5 │
│ 2024-01 │      1 │      1 │      5 │
│ 2024-03 │      1 │      1 │      5 │
│ 2024-04 │      1 │      1 │      5 │
│ 2024-05 │     33 │     33 │    165 │
│ 2024-06 │        │        │      3 │
│ 2024-07 │      2 │      2 │     10 │
│ 2024-08 │      1 │      1 │      5 │
│ 2024-09 │      3 │      3 │     15 │
│ 2024-10 │      3 │      3 │     15 │
│ 2024-11 │      1 │      1 │      5 │
│ 2024-12 │      1 │      1 │      8 │
│ 2025-01 │        │        │      9 │
│ 2025-02 │        │        │     18 │
│ 2025-03 │      1 │      1 │     47 │
│ 2025-04 │      1 │      1 │      5 │
│ 2025-05 │        │        │      6 │
│ 2025-06 │      2 │      2 │     10 │
│ 2025-08 │      1 │      1 │      5 │
│ 2025-09 │      3 │      3 │     17 │
│ 2025-10 │     17 │     17 │     93 │
│ 2025-11 │    122 │    122 │    701 │
│ 2025-12 │     19 │     19 │     95 │
│ 2026-01 │     13 │     13 │     71 │
│ 2026-02 │      6 │      6 │    105 │
│ 2026-03 │     14 │     14 │     75 │
│ 2026-04 │     23 │     23 │    133 │
│ 2026-05 │     15 │     15 │    138 │
│ 2026-07 │      7 │      7 │     53 │
│ 2026-08 │     18 │     18 │    140 │
│ 2026-09 │      1 │      1 │      5 │
└─────────┴────────┴────────┴────────┘

$ mkdir -p deliverables

$ fetch_if_new () {
      FN=`echo "$1" | rev | cut -d / -f1 | rev`

      if [ ! -e "deliverables/$FN" ]; then
          aws s3 cp \
              --no-sign-request \
              s3://iceye-open-data-catalog/$1 \
              deliverables/
      fi
  }

$ export -f fetch_if_new

$ grep '_2026' iceye_s3.json \
    | jq -r .Key \
    | grep CSI \
    | rev \
    | sort -r \
    | rev \
    | xargs -I% \
            --verbose \
            -P4 \
            bash -c 'fetch_if_new "%"'

$ touch all.json; rm all.json

$ for FILENAME in deliverables/ICEYE*.json; do
    jq -c . $FILENAME >> all.json
  done

$ ~/duckdb

COPY(
    SELECT * EXCLUDE(geometry),
           geometry: ST_GEOMFROMGEOJSON(geometry),
           duration: EXTRACT(seconds FROM (properties.end_datetime - properties.start_datetime))
    FROM   'all.json'
) TO 'all.parquet' (
      FORMAT 'PARQUET',
      CODEC  'ZSTD',
      COMPRESSION_LEVEL 22,
      ROW_GROUP_SIZE 15000);

COPY(
    SELECT * EXCLUDE(geometry),
           geometry: ST_CENTROID(ST_GEOMFROMGEOJSON(geometry)),
           duration: EXTRACT(seconds FROM (properties.end_datetime - properties.start_datetime))
    FROM   'all.json'
) TO 'all.centroid.parquet' (
      FORMAT 'PARQUET',
      CODEC  'ZSTD',
      COMPRESSION_LEVEL 22,
      ROW_GROUP_SIZE 15000);

SELECT COUNT(*)
FROM   'all.parquet'; -- 97

SELECT   duration,
         COUNT(*)
FROM     'all.parquet'
GROUP BY 1
ORDER BY 1;

┌──────────┬──────────────┐
│ duration │ count_star() │
│  int64   │    int64     │
├──────────┼──────────────┤
│        4 │            1 │
│        9 │            1 │
│       11 │            2 │
│       12 │            5 │
│       13 │            8 │
│       14 │            7 │
│       15 │           18 │
│       16 │           22 │
│       17 │           10 │
│       18 │           15 │
│       19 │            6 │
│       20 │            2 │
└──────────┴──────────────┘

SELECT   column_name,
         column_type,
         approx_unique,
         min[:20],
         max[:20]
FROM     (SUMMARIZE
          SELECT properties.*
          FROM   'all.parquet')
WHERE    column_type::TEXT NOT LIKE 'STRUCT%'
AND      column_type::TEXT NOT LIKE '%[]%'
AND      approx_unique != 1
ORDER BY LOWER(REVERSE(SPLIT(REVERSE(column_name), ':')[1]));

┌───────────────────────────────────────┬─────────────┬───────────────┬──────────────────────┬──────────────────────┐
│              column_name              │ column_type │ approx_unique │       min[:20]       │       max[:20]       │
│                varchar                │   varchar   │     int64     │       varchar        │       varchar        │
├───────────────────────────────────────┼─────────────┼───────────────┼──────────────────────┼──────────────────────┤
│ iceye:acquisition_prf                 │ DOUBLE      │            87 │ 5992.82              │ 6974.75              │
│ iceye:acquisition_range_sampling_rate │ BIGINT      │           110 │ 359894691            │ 2295520493           │
│ iceye:average_scene_height            │ DOUBLE      │            77 │ -43.0                │ 3974.0               │
│ view:azimuth                          │ DOUBLE      │            98 │ 35.44547             │ 316.667022           │
│ iceye:calibration_factor              │ DOUBLE      │            41 │ 1.6871631961018047e- │ 0.002931511185541565 │
│ sar:center_frequency                  │ BIGINT      │             3 │ 9600000000           │ 9800000000           │
│ created                               │ TIMESTAMP   │            94 │ 2026-06-02 12:37:37  │ 2026-09-03 04:44:03  │
│ datetime                              │ TIMESTAMP   │            91 │ 2026-01-06 21:33:12. │ 2026-09-01 01:59:44. │
│ iceye:doppler_cone_angle              │ DOUBLE      │            88 │ -100.693268          │ 96.740214            │
│ end_datetime                          │ TIMESTAMP   │           106 │ 2026-01-06 21:33:20. │ 2026-09-01 01:59:52. │
│ iceye:extent_azimuth                  │ BIGINT      │             2 │ 5000                 │ 5268                 │
│ iceye:extent_range                    │ DOUBLE      │             2 │ 5000.0               │ 5497.5               │
│ iceye:filename                        │ VARCHAR     │           112 │ ICEYE_3E4JMG_2026081 │ ICEYE_WYDM9Q_2026072 │
│ iceye:grazing_angle                   │ DOUBLE      │            99 │ 44.815299            │ 69.808083            │
│ iceye:grazing_angle_far               │ DOUBLE      │            91 │ 44.667599            │ 69.574988            │
│ iceye:grazing_angle_near              │ DOUBLE      │            98 │ 44.963567            │ 70.041772            │
│ iceye:image_id                        │ BIGINT      │            95 │ 8308406              │ 10424300             │
│ iceye:image_reference                 │ VARCHAR     │            78 │                      │ 01a0589f-913e-7690-8 │
│ view:incidence_angle                  │ DOUBLE      │            99 │ 20.191917            │ 45.184701            │
│ iceye:incidence_angle_far             │ DOUBLE      │            82 │ 20.425012            │ 45.332401            │
│ iceye:incidence_angle_near            │ DOUBLE      │           101 │ 19.958228            │ 45.036433            │
│ iceye:layover_angle                   │ DOUBLE      │            81 │ -20.59077            │ 21.179759            │
│ sar:looks_azimuth                     │ BIGINT      │             6 │ 3                    │ 13                   │
│ iceye:looks_azimuth_bandwidth         │ DOUBLE      │            99 │ 7149.95              │ 31894.69             │
│ iceye:looks_azimuth_overlap           │ DOUBLE      │            55 │ 10.03                │ 18.12                │
│ iceye:looks_range_bandwidth           │ BIGINT      │             3 │ 300000000            │ 1200000000           │
│ sar:observation_direction             │ VARCHAR     │             2 │ left                 │ right                │
│ view:off_nadir                        │ DOUBLE      │           102 │ 18.381658            │ 40.478552            │
│ iceye:orbit_mean_altitude             │ BIGINT      │            93 │ 387656               │ 615520               │
│ iceye:orbit_precision                 │ VARCHAR     │             2 │ precise              │ rapid                │
│ sat:orbit_state                       │ VARCHAR     │             2 │ ascending            │ descending           │
│ sar:pixel_spacing_azimuth             │ DOUBLE      │             3 │ 0.125                │ 0.5                  │
│ sar:pixel_spacing_range               │ DOUBLE      │             3 │ 0.125                │ 0.5                  │
│ platform                              │ VARCHAR     │            20 │ ICEYE-X11            │ ICEYE-X72            │
│ iceye:processing_bandwidth_azimuth    │ DOUBLE      │           117 │ 29866.279            │ 92112.353            │
│ iceye:processing_bandwidth_range      │ BIGINT      │             3 │ 300000000            │ 1200000000           │
│ iceye:processing_end_datetime         │ TIMESTAMP   │           104 │ 2026-06-02 12:37:37. │ 2026-09-03 04:44:03. │
│ iceye:processing_mode                 │ VARCHAR     │             5 │ SLED                 │ SLH                  │
│ iceye:processing_prf                  │ DOUBLE      │           130 │ 41032.441            │ 108609.44            │
│ iceye:pulse_bandwidth                 │ BIGINT      │             3 │ 300000000            │ 1200000000           │
│ iceye:pulse_duration                  │ DOUBLE      │            73 │ 1.4352e-05           │ 3.3216e-05           │
│ iceye:range                           │ DOUBLE      │           100 │ 445759.127972        │ 807565.618328        │
│ iceye:range_far                       │ DOUBLE      │            94 │ 447032.923338        │ 809328.20001         │
│ iceye:range_near                      │ DOUBLE      │           106 │ 444495.485974        │ 805806.760232        │
│ sar:resolution_azimuth                │ DOUBLE      │            97 │ 0.220435             │ 0.987193             │
│ sar:resolution_range                  │ DOUBLE      │            96 │ 0.194629             │ 1.325438             │
│ iceye:resolution_range_far            │ DOUBLE      │            82 │ 0.193929             │ 1.30943              │
│ iceye:resolution_range_near           │ DOUBLE      │            97 │ 0.195339             │ 1.341936             │
│ iceye:run_name                        │ VARCHAR     │             3 │ get-sicd             │ opencatalog          │
│ iceye:scene_id                        │ VARCHAR     │            64 │ 3E4JMG               │ WYDM9Q               │
│ iceye:shadow_angle                    │ DOUBLE      │            92 │ 21.996               │ 351.264613           │
│ iceye:squint_angle                    │ DOUBLE      │            86 │ -20.59077            │ 21.179759            │
│ start_datetime                        │ TIMESTAMP   │           107 │ 2026-01-06 21:33:05. │ 2026-09-01 01:59:35. │
│ iceye:synthetic_aperture_angle        │ DOUBLE      │            91 │ 3.746823             │ 11.200784            │
│ iceye:zero_doppler_end_datetime       │ TIMESTAMP   │            89 │ 2026-01-06 21:33:27. │ 2026-09-01 01:59:44. │
│ iceye:zero_doppler_start_datetime     │ TIMESTAMP   │            90 │ 2026-01-06 21:33:27. │ 2026-09-01 01:59:44. │
└───────────────────────────────────────┴─────────────┴───────────────┴──────────────────────┴──────────────────────┘