0914 Chapter 3 使用dplyr进行数据转换

心好累。。看着和书上的代码一样,不是object not found 就是unexpected symbol等各种error,小白的进化之路还有一段距离啊。。。

mutate()

总是将新列添加在数据集的最后。
mutate(flights_sml, gain = arr_delay - dep_delay, speed = distance / air_time *60 )

mutate(flights_sml, gain = arr_delay - dep_delay, hours = air_time / 60, gainr_per_hour = gain /hours )

常用创建函数

  • 向量输入和输出
    -算数运算符 (向量化的),可与聚集函数结合使用,如x / sum(x),y - mean(y)
  • 模运算符 %/%取整,%%取余
  • 对数函数 log2(),log(),long10()
  • 偏移函数
    lead()和lag()返回一个序列的领先值和滞后值。常与group_by()联合使用
  • 累加和滚动集合
    cumsum(),cumprod(),commin(),cummax()
  • 逻辑比较
  • 排秩
    min_rank, row_number,dense_rank,percent_rank, cume_dist, ntile

p45练习

df1 <- mutate( flights,
dep_hours = dep_time %/% 100, 
dep_minute = dep_time %% 100)

mutate(flights, 
dep_minutes =  df1$dep_hours * 60 + df1$dep_minute  )
df2 <- mutate( flights,
sched_dep_hours = sched_dep_time %/% 100, 
sched_dep_minute = sched_dep_time %% 100)

mutate(flights, 
sched_dep_minutes =  df2$sched_dep_hours * 60 + df2$sched_dep_minute  )

|| 答案: 考虑物业24:00的特殊情况,2400可能是1440分钟,也可能是0分钟。

flights_times <- mutate(flights,
    dep_time_mins = (dep_time %/% 100 * 60 + dep_time %% 100) %% 1440,
    sched_dep_time_mins = (sched_dep_time %/% 100 * 60 + sched_dep_time %% 100) %% 1440
  )

也可以自定义函数,是代码更简洁

time2mins <- function(x) {
  (x %/% 100 * 60 + x %% 100) %% 1440}

flights_times <- mutate(flights,
       dep_time_mins = time2mins(dep_time),
       sched_dep_time_mins = time2mins(sched_dep_time))

感觉 arr_time - dep_time= air_time的,但是实际上 arr_time - dep_time的值大于air_time的值。经过小时的转化就行。
-答案 :飞机经过午夜的话,arr_time<dep_time,结果为负;飞机经过不同的时区也有影响

flights_airtime <- 
  mutate(flights,
         dep_time_min = (dep_time %/% 100 * 60 + dep_time %% 100) %% 1440,
         arr_time_min = (arr_time %/% 100 * 60 + arr_time %% 100) %% 1440,
         air_time_diff = air_time - arr_time + dep_time)

filter(flights_airtime, air_time_diff %% 60 == 0)

通过以下代码,方便观看

df5 <- select(flights, 
dep_time,
sched_dep_time, 
dep_delay)

dep_delay = dep_time - dep_delay
-答案:全部转成分钟后等式也不完全成立,虽然在这个题目中,时区不影响离开时间,但是可能有航班被安排了跨午夜了,

min_rank(desc(flights$dep_delay))

-答案:如果时间一样,比如三个航班是一样的时间,在第一次标记下,第二次第三次不标记。

flights_delayed <- mutate(flights, dep_delay_rank = min_rank(-dep_delay))
flights_delayed <- filter(flights_delayed, dep_delay_rank <= 20)
arrange(flights_delayed, dep_delay_rank)

-5.
返回 Warning message:
In 1:3 + 1:10 :
longer object length is not a multiple of shorter object length
两个长度不同的向量相加时,会自动循环较短的那个

help('Trig')

R提供了cos(x),sin(x),tan(x),
acos(x),asin(x),atan(x),atan2(y, x),
cospi(x),sinpi(x),tanpi(x)

summarize()

summarize() + group_by()→→分组摘要
na.rm,计算前去除缺失值

常用摘要函数

  • 位置度量,median()
  • 分散程度度量 sd()均方差误,IQR()四分位,mad()绝对中位差
    -秩的度量 min(), quantile(x,0.25)找到顺序在25%-75%的,max()
    -定位度量 first(),nth(x,2)和last()
    -计数 n(), sum(!is.na(x))→→计算非缺失值的数量,distinct(x)→→计算唯一值
    -逻辑值的计数和比例 sum(x > 10) 和mean(y == 0)

按多个变量分组

→→ 每次摘要统计都会用掉末尾的变量

取消分组

ungroup

p57练习题

1.

  • 到达延误更重要,因为会影响乘客下一步的行程,造成经济损失

2.

by_dest <- group_by(flights, dest)
summarize(by_dest, count = n())

答案

group_by(dest) %>%
  summarise(n = length(dest))
not_canceled %>%
  group_by(dest) %>%
  summarise(n = n())
not_cancelled %>%
  group_by(tailnum) %>%
  summarise(n = sum(distance))

group_by() + tally() →→→ count()

not_cancelled %>%
  group_by(tailnum) %>%
  tally()

3.

飞机从未起飞,就不会到达;飞机出现空难,能离开不会达到;飞机可能将落到别的地点
更重要的是arr_delay

4. 瞄的答案

canceled_delayed <-
  flights %>%
  mutate(canceled = (is.na(arr_delay) | is.na(dep_delay))) %>%
  group_by(year, month, day) %>%
  summarise(prop_canceled = mean(canceled),
            avg_dep_delay = mean(dep_delay, na.rm = TRUE))

ggplot(canceled_delayed, aes(x = avg_dep_delay, prop_canceled)) +
  geom_point() +
  geom_smooth()

5.

flights %>%
  group_by(carrier) %>%
  summarise(arr_delay = mean(arr_delay, na.rm = TRUE)) %>%
  arrange(desc(arr_delay))

6.?

7.

The sort argument to count() sorts the results in order of n. You could use this anytime you would run count() followed by arrange().

分组新变量(和筛选器)

分组筛选器的作用相当于分组新变量 + 未分组筛选器

p59练习题

剩下的基本都看答案 就不搬运了

1.

会在组内进行操作而不是在整个数据集

2.

flights %>%
group_by(tailnum) %>%
summarise(arr_delay = mean(arr_delay)) %>%
filter(min_rank(desc(arr_delay)) <= 1)

推荐阅读更多精彩内容