Joining Weather and Electricity Data (g15)

join.py output

Records with duplicate timestamps:

          Local Hour        Summary  degrees
1631  3/10/2014 0:00          Clear    49.52
1632  3/10/2014 0:00          Clear    49.52
7321  11/2/2014 1:00  Mostly Cloudy    51.48
7322  11/2/2014 1:00  Mostly Cloudy    50.03

Records after removing duplicates:

          Local Hour        Summary  degrees
1631  3/10/2014 0:00          Clear    49.52
7321  11/2/2014 1:00  Mostly Cloudy    51.48

Original "Local Hour" column:

0          1/1/2014 0:00
1          1/1/2014 1:00
2          1/1/2014 2:00
3          1/1/2014 3:00
4          1/1/2014 4:00
              ...       
8707    12/31/2014 19:00
8708    12/31/2014 20:00
8709    12/31/2014 21:00
8710    12/31/2014 22:00
8711    12/31/2014 23:00
Name: Local Hour, Length: 8710, dtype: object

Equivalent Pandas timestamp in "date":

0      2014-01-01 00:00:00
1      2014-01-01 01:00:00
2      2014-01-01 02:00:00
3      2014-01-01 03:00:00
4      2014-01-01 04:00:00
               ...        
8707   2014-12-31 19:00:00
8708   2014-12-31 20:00:00
8709   2014-12-31 21:00:00
8710   2014-12-31 22:00:00
8711   2014-12-31 23:00:00
Name: Local Hour, Length: 8710, dtype: datetime64[ns]

Results of merging on weather data:

both          8709
left_only       49
right_only       1
Name: _merge, dtype: int64

Records not merged:

      month  day  hour     usage  ...        Summary degrees  dow      _merge
7341     11    2    23  0.803550  ...            NaN     NaN  NaN   left_only
8398     12   17     0  0.266217  ...            NaN     NaN  NaN   left_only
8399     12   17     1  0.263683  ...            NaN     NaN  NaN   left_only
8400     12   17     2  0.286200  ...            NaN     NaN  NaN   left_only
8401     12   17     3  0.274383  ...            NaN     NaN  NaN   left_only
8402     12   17     4  0.383717  ...            NaN     NaN  NaN   left_only
8403     12   17     5  0.299917  ...            NaN     NaN  NaN   left_only
8404     12   17     6  0.589683  ...            NaN     NaN  NaN   left_only
8405     12   17     7  0.455433  ...            NaN     NaN  NaN   left_only
8406     12   17     8  0.233433  ...            NaN     NaN  NaN   left_only
8407     12   17     9  0.222017  ...            NaN     NaN  NaN   left_only
8408     12   17    10  0.224233  ...            NaN     NaN  NaN   left_only
8409     12   17    11  0.217467  ...            NaN     NaN  NaN   left_only
8410     12   17    12  0.399433  ...            NaN     NaN  NaN   left_only
8411     12   17    13  0.226267  ...            NaN     NaN  NaN   left_only
8412     12   17    14  0.227250  ...            NaN     NaN  NaN   left_only
8413     12   17    15  0.227567  ...            NaN     NaN  NaN   left_only
8414     12   17    16  0.425717  ...            NaN     NaN  NaN   left_only
8415     12   17    17  1.800333  ...            NaN     NaN  NaN   left_only
8416     12   17    18  1.829767  ...            NaN     NaN  NaN   left_only
8417     12   17    19  4.460100  ...            NaN     NaN  NaN   left_only
8418     12   17    20  3.942717  ...            NaN     NaN  NaN   left_only
8419     12   17    21  3.128550  ...            NaN     NaN  NaN   left_only
8420     12   17    22  0.897067  ...            NaN     NaN  NaN   left_only
8421     12   17    23  0.300350  ...            NaN     NaN  NaN   left_only
8494     12   21     0  0.288250  ...            NaN     NaN  NaN   left_only
8495     12   21     1  0.239267  ...            NaN     NaN  NaN   left_only
8496     12   21     2  0.305833  ...            NaN     NaN  NaN   left_only
8497     12   21     3  0.294050  ...            NaN     NaN  NaN   left_only
8498     12   21     4  0.389900  ...            NaN     NaN  NaN   left_only
8499     12   21     5  0.285717  ...            NaN     NaN  NaN   left_only
8500     12   21     6  0.275217  ...            NaN     NaN  NaN   left_only
8501     12   21     7  0.322300  ...            NaN     NaN  NaN   left_only
8502     12   21     8  0.459367  ...            NaN     NaN  NaN   left_only
8503     12   21     9  0.645700  ...            NaN     NaN  NaN   left_only
8504     12   21    10  0.994083  ...            NaN     NaN  NaN   left_only
8505     12   21    11  0.723383  ...            NaN     NaN  NaN   left_only
8506     12   21    12  1.196400  ...            NaN     NaN  NaN   left_only
8507     12   21    13  1.798317  ...            NaN     NaN  NaN   left_only
8508     12   21    14  4.214333  ...            NaN     NaN  NaN   left_only
8509     12   21    15  1.747133  ...            NaN     NaN  NaN   left_only
8510     12   21    16  1.163250  ...            NaN     NaN  NaN   left_only
8511     12   21    17  3.215467  ...            NaN     NaN  NaN   left_only
8512     12   21    18  1.506283  ...            NaN     NaN  NaN   left_only
8513     12   21    19  2.116267  ...            NaN     NaN  NaN   left_only
8514     12   21    20  1.798233  ...            NaN     NaN  NaN   left_only
8515     12   21    21  0.827350  ...            NaN     NaN  NaN   left_only
8516     12   21    22  0.721817  ...            NaN     NaN  NaN   left_only
8517     12   21    23  0.376617  ...            NaN     NaN  NaN   left_only
8758     11    2     1       NaN  ...  Mostly Cloudy   51.48  6.0  right_only

[50 rows x 9 columns]

Count of records by rounded temperature bin:

80.0     2094
70.0     1936
60.0     1490
50.0     1030
90.0     1020
40.0      647
30.0      292
100.0     181
20.0       20
Name: tbin, dtype: int64
Site Index | Zoom | Admin
URL: https://wilcoxen.maxwell.insightworks.com/pages/7438.html
Peter J Wilcoxen, The Maxwell School, Syracuse University
Revised 03/13/2022