背包九讲系列3——依赖背包、泛化物品、背包变形

终于来到最后一个系列了,整个系列下来发现大神的总结和思考就是那么的厉害,自己能在这里学习和了解不同的思维方式并能运用到实际题目中就感觉这套系列没白做了。那么下面就进入最后一个系列吧。

7 有依赖的背包问题

7.1 简化的问题

这种背包问题的物品间存在某种“依赖”的关系。也就是说,物品i 依赖于物品j,表示若选物品i,则必须选物品j。为了简化起见,我们先设没有某个物品既依赖于别的物品,又被别的物品所依赖;另外,没有某件物品同时依赖多件物品。

7.2 算法
这个问题由NOIP2006 中“金明的预算方案”一题扩展而来。遵从该题的提法,将不依赖于别的物品的物品称为“主件”,依赖于某主件的物品称为“附件”。由这个问题的简化条件可知所有的物品由若干主件和依赖于每个主件的一个附件集合组成。
按照背包问题的一般思路,仅考虑一个主件和它的附件集合。可是,可用的策略非常多,包括:一个也不选,仅选择主件,选择主件后再选择一个附件,选择主件后再选择两个附件……无法用状态转移方程来表示如此多的策略。事实上,设有n 个附件,则策略有2n + 1 个,为指数级。
考虑到所有这些策略都是互斥的(也就是说,你只能选择一种策略),所以一个主件和它的附件集合实际上对应于6中的一个物品组,每个选择了主件又选择了若干个附件的策略对应于这个物品组中的一个物品,其费用和价值都是这个策略中的物品的值的和。但仅仅是这一步转化并不能给出一个好的算法,因为物品组中的物品还是像原问题的策略一样多。
再考虑对每组内的物品应用2.3中的优化。我们可以想到,对于第k 个物品组中的物品,所有费用相同的物品只留一个价值最大的,不影响结果。所以,可以对主件k 的“附件集合”先进行一次01 背包,得到费用依次为0...V -Ck 所有这些值时相应的最大价值Fk[0 ... V - Ck]。那么,这个主件及它的附件集合相当于V - Ck + 1 个物品的物品组,其中费用为v 的物品的价值为Fk[v -Ck]+Wk,v 的取值范围是Ck ≤ v ≤ V 。
也就是说,原来指数级的策略中,有很多策略都是冗余的,通过一次01 背包后,将主件k 及其附件转化为V - Ck + 1 个物品的物品组,就可以直接应用6的算法解决问题了。

下面就附上NOIP2006金明的预算这一题

描述
金明今天很开心,家里购置的新房就要领钥匙了,新房里有一间金明自己专用的很宽敞的房间。更让他高兴的是,妈妈昨天对他说:“你的房间需要购买哪些物品,怎么布置,你说了算,只要不超过N元钱就行”。今天一早,金明就开始做预算了,他把想买的物品分为两类:主件与附件,附件是从属于某个主件的,下表就是一些主件与附件的例子:主件 附件电脑 打印机,扫描仪书柜 图书书桌 台灯,文具工作椅 无如果要买归类为附件的物品,必须先买该附件所属的主件。每个主件可以有0个、1个或2个附件。附件不再有从属于自己的附件。金明想买的东西很多,肯定会超过妈妈限定的N元。于是,他把每件物品规定了一个重要度,分为5等:用整数1~5表示,第5等最重要。他还从因特网上查到了每件物品的价格(都是10元的整数倍)。他希望在不超过N元(可以等于N元)的前提下,使每件物品的价格与重要度的乘积的总和最大。
设第j件物品的价格为v[j],重要度为w[j],共选中了k件物品,编号依次为j1,j2,……,jk,则所求的总和为:v[j1]*w[j1]+v[j2]*w[j2]+ …+v[jk]*w[jk]。(其中*为乘号)请你帮助金明设计一个满足要求的购物单。
格式
输入格式
输入文件的第1行,为两个正整数,用一个空格隔开:N m 其中N(<32000)表示总钱数,m(<60)为希望购买物品的个数。)从第2行到第m\+1行,第j行给出了编号为j\-1的物品的基本数据,每行有3个非负整数v p q(其中v表示该物品的价格(v<10000),p表示该物品的重要度(1~5),q表示该物品是主件还是附件。如果q=0,表示该物品为主件,如果q>0,表示该物品为附件,q是所属主件的编号)
输出格式
输出文件只有一个正整数,为不超过总钱数的物品的价格与重要度乘积的总和的最大值(<200000)。
样例1
样例输入1
1000 5800 2 0400 5 1300 5 1400 3 0500 2 0
Copy

样例输出1
2200

这一题是我3个系列以来对于我来说最蛋疼的一题,通过文章中的讲解还是比较好理解这个思路的(要我自己想,那是肯定想不出来的),难就难在编程上,实践能力对我来说确实比较弱,费了很长的功夫最后才解出来这道题。其中还参考了一下别人的做法,一开始我是按照思路一步步来但是总是有些地方出错导致答案有误。参考了一下别人的做法,别人有的做法是在一开始就把主件和附件绑定在一起。但是我偏不,我就想按照文章中的思路去解。先求附件集合,再和主件组合成一个物品组。

下面我贴一下代码,代码比较长。代码里面有对主要步骤的注释。

#include <iostream>
#include <vector>
using namespace std;

const int N=60;

struct Node
{
    int w,val;
    Node(int ww,int vval):w(ww),val(vval){}
};


int mx[80][32000 + 20];
vector<Node> gg[N+1];
vector<int> master;   //主件集合 master[i]=k 代表第i个主件的编号为k
vector<int> host[N+1]; //附件集合 host[i][j]代表主键编号为i的附件的编号为j
int *dp[N+1]; //每组的附件集合经过01背包处理后的价值数组 dp[i][j]代表主件编号为i花费为j的最大价值

int v[N+1];// 每件物品价格数组
int w[N+1];// 每件物品的重要度数组

int dp_1[32000]; //dp_1[j] 代表花费金额为j时的物品价格*重要度的总和最大



int max(int a,int b)
{
    return a>b?a:b;
}




int main()
{
    int N,m;
    cin>>N>>m;

    int i,vi,pi,qi;
    
    
    for(i=1;i<=m;i++)
    {
        cin>>vi>>pi>>qi;

        if(qi==0)//是主件
        {
            master.push_back(i);
        }
        else // 是附件
        {
            host[qi].push_back(i);
        }

        v[i]=vi;
        w[i]=pi;
    }

    

    for(i=0;i<master.size();i++)
    {   
        int code=master[i];
        
        dp[code]=new int [N+1];
        memset(dp[code],0,(N+1)*sizeof(int));

        if(host[code].size()!=0)//说明此主件有附件存在
        {
            for(int j=0;j<host[code].size();j++)//对附件集合做01背包处理
            {
                int weight=v[host[code][j]];
                int value=w[host[code][j]];

                for(int m=N;m>=weight;m--)//01背包过程
                {
                    dp[code][m]=max(dp[code][m],dp[code][m-weight]+weight*value);
                }
            }
        }
        else//只有主件没有附件
        {
            int weight=v[code];
            int value=w[code];
            for(int m=N;m>=weight;m--)//对单独主件做01背包处理
            {
                dp[code][m]=max(dp[code][m],dp[code][m-weight]+weight*value);
            }
        }
        
        for (int j = 0; j <= N; j++) {//这一块的目的主要是挑选相同花费的情况下价值最大的背包
            if (dp[code][j] == 0) continue;
            if (mx[i][j] >= dp[code][j]) {
                mx[i][j + 1] = mx[i][j];
                continue;
            }
            mx[i][j] = dp[code][j];
            mx[i][j + 1] = mx[i][j];
            gg[code].push_back(Node(j, mx[i][j]));
        }
                    
    }

    //分组背包实践
    for(i=0;i<master.size();i++)//遍历每一个组(主件)
    {
        int code=master[i];
        int weight=v[code];
        int value=w[code];

        for(int j=N;j>=0;j--)//遍历总钱数
        {
            
            if(host[code].size()==0)
            {
                for(int k=0;k<gg[code].size();k++)
                {
                                
                    if(j-gg[code][k].w>=0)
                    {
                        //不算入主件(此时依赖的dp_1的值中已经包含有主件)
                        dp_1[j]=max(dp_1[j],dp_1[j-gg[code][k].w]+gg[code][k].val);
                    }
                    
                }
            }
            else
            {
                for(int k=0;k<gg[code].size();k++)//遍历每组中的成员物品
                {
                    
                    if(j-gg[code][k].w-weight>=0)
                    {
                        //算入主件
                        dp_1[j]=max(dp_1[j],dp_1[j-gg[code][k].w-weight]+gg[code][k].val+weight*value);
                    }

                }
            }   
        }
    }

    cout<<dp_1[N]<<endl;
    return 0;
}

再附上参考的另一种做法的链接,在挑选相同花费的情况下价值最大的背包参考了一下它的方式。其他的都是按照自己的编写的。差点就想直接用他的了,可是还是忍住自己去实现。废了很长时间,今天想不到,就明天再想。相信自己,总会有解决的时刻。

翻到下面第7个那里

因为我好像没找到网上有OJ上有原题去提交,为了大家方便测试,我附上一个测试数据的下载链接。里面有这套题的测试用例下载,自己试试就知道对不对了。

第二题 budget

------下面回到文章-------

7.3 较一般的问题

更一般的问题是:依赖关系以图论中“森林”3的形式给出。也就是说,主件的附件仍然可以具有自己的附件集合。限制只是每个物品最多只依赖于一个物品(只有一个主件)且不出现循环依赖。(即多叉树的集合)
解决这个问题仍然可以用将每个主件及其附件集合转化为物品组的方式。唯一不同的是,由于附件可能还有附件,就不能将每个附件都看作一个一般的01 背包中的物品了。若这个附件也有附件集合,则它必定要被先转化为物品组,然后用分组的背包问题解出主件及其附件集合所对应的附件组中各个费用的附件所对应的价值。事实上,这是一种树形动态规划,其特点是,在用动态规划求每个父节点的属性之前,需要对它的各个儿子的属性进行一次动态规划式的求值。这已经触及到了“泛化物品”的思想。看完8后,你会发现这个“依赖关系树”每一个子树都等价于一件泛化物品,求某节点为根的子树对应的泛化物品相当于求其所有儿子的对应的泛化物品之和。

7.4 小结

NOIP2006 的那道背包问题我做得很失败,写了上百行的代码,却一分未得。后来我通过思考发现通过引入“物品组”和“依赖”的概念可以加深对这题的理解,还可以解决它的推广问题。用物品组的思想考虑那题中极其特殊的依赖关系:物品不能既作主件又作附件,每个主件最多有两个附件,可以发现一个主件和它的两个附件等价于一个由四个物品组成的物品组,这便揭示了问题的某种本质。后来,我在《背包问题九讲》第一版中总结此事时说:“失败不是什么丢人的事情,从失败中全无收获才是。”之后的NOIP2007 的比赛中,我得了满分。

失败不是什么丢人的事情,从失败中全无收获才是

重点划下,考试要考

8 泛化物品

8.1 定义

考虑这样一种物品,它并没有固定的费用和价值,而是它的价值随着你分配给它的费用而变化。这就是泛化物品的概念。
更严格的定义之。在背包容量为V 的背包问题中,泛化物品是一个定义域为0... V中的整数的函数h,当分配给它的费用为v 时,能得到的价值就是h(v)。这个定义有一点点抽象,另一种理解是一个泛化物品就是一个数组h[0 ...V ],给它费用v,可得到价值h[v]。一个费用为c 价值为w 的物品,如果它是01 背包中的物品,那么把它看成泛化物品,它就是除了h(c) = w 外,其它函数值都为0 的一个函数。如果它是完全背包中的物品,那么它可以看成这样一个函数,仅当v 被c 整除时有h(v) = w * (v/c),其它函数值均为0。如果它是多重背包中重复次数最多为m 的物品,那么它对应的泛化物品的函数有h(v) = w * (v/c)仅当v 被c 整除且v/c ≤ m,其它情况函数值均为0。
一个物品组可以看作一个泛化物品h。对于一个0... V 中的v,若物品组中不存在费用为v 的物品,则h(v) = 0,否则h(v) 取值为所有费用为v 的物品的最大价值。6中每个主件及其附件集合等价于一个物品组,自然也可看作一个泛化物品。

8.2 泛化物品的和

如果给定了两个泛化物品h 和l,要用一定的费用从这两个泛化物品中得到最大的价值,这个问题怎么求呢?事实上,对于一个给定的费用v,只需枚举将这个费用如何分配给两个泛化物品就可以了。同样的,对于0: : :V 中的每一个整数v,可以求得费用v 分配到h 和l 中的最大价值f(v)。也即

可以看到,这里的f 是一个由泛化物品h 和l 决定的定义域为0...V 的函数,也就是说,f 是一个由泛化物品h 和l 决定的泛化物品。我们将f 定义为泛化物品h 和l 的和:h、l 都是泛化物品,若函数f 满足以上关系式,则称f 是h 与l 的和。泛化物品和运算的时间复杂度取决于背包的容量,是O(V^2)。
由泛化物品的定义可知:在一个背包问题中,若将两个泛化物品代以它们的和,不影响问题的答案。事实上,对于其中的物品都是泛化物品的背包问题,求它的答案的过程也就是求所有这些泛化物品之和的过程。若问题的和为s,则答案就是s(0... V ) 中的最大值。

8.3 背包问题的泛化物品

一个背包问题中,可能会给出很多条件,包括每种物品的费用、价值等属性,物品之间的分组、依赖等关系等。但肯定能将问题对应于某个泛化物品。也就是说,给定了所有条件以后,就可以对每个非负整数v 求得:若背包容量为v,将物品装入背包可得到的最大价值是多少,这可以认为是定义在非负整数集上的一件泛化物品。这个泛化物品——或者说问题所对应的一个定义域为非负整数的函数——包含了关于问题本身的高度浓缩的信息。一般而言,求得这个泛化物品的一个子定义域(例如0...V )的值之后,就可以根据这个函数的取值得到背包问题的最终答案。
综上所述,一般而言,求解背包问题,即求解这个问题所对应的一个函数,即该问题的泛化物品。而求解某个泛化物品的一种常用方法就是将它表示为若干泛化物品的和然后求之。

8.4 小结

本讲是我在学习函数式编程的Scheme 语言时,用函数编程的眼光审视各类背包问题得出的理论。
我想说:“思考”是一个程序员最重要的品质。简单的问题,深入思考以后,也能发现更多。

9 背包问题问法的变化

以上涉及的各种背包问题都是要求在背包容量(费用)的限制下求可以取到的最大价值,但背包问题还有很多种灵活的问法,在这里值得提一下。但是我认为,只要深入理解了求背包问题最大价值的方法,即使问法变化了,也是不难想出算法的。
例如,求解最多可以放多少件物品或者最多可以装满多少背包的空间。这都可以根据具体问题利用前面的方程求出所有状态的值(F 数组)之后得到。
还有,如果要求的是“总价值最小”“总件数最小”,只需将状态转移方程中的max改成min 即可。
下面说一些变化更大的问法。

9.1 输出方案

一般而言,背包问题是要求一个最优值,如果要求输出这个最优值的方案,可以参照一般动态规划问题输出方案的方法:记录下每个状态的最优值是由状态转移方程的哪一项推出来的,换句话说,记录下它是由哪一个策略推出来的。便可根据这条策略找到上一个状态,从上一个状态接着向前推即可。
还是以01 背包为例,方程为F[i; v] = maxfF[i-1, v]; F[i-1, v -Ci]+Wi。再用一个数组G[i,v],设G[i, v] = 0 表示推出F[i; v] 的值时是采用了方程的前一项(也即F[i, v] = F[i - 1, v]),G[i, v] = 1 表示采用了方程的后一项。注意这两项分别表示了两种策略:未选第i 个物品及选了第i 个物品。那么输出方案的伪代码可以这样写(设最终状态为F[N, V ]):

另外,采用方程的前一项或后一项也可以在输出方案的过程中根据F[i; v] 的值实时地求出来。也即,不须纪录G 数组,将上述代码中的G[i, v] = 0 改成F[i,v] = F[i - 1, v],G[i, v] = 1 改成F[i, v] = F[i - 1][v - Ci] +Wi 也可。

下面我贴一下实现代码

    /* 输出选择方案
    i=n-1;
    j=w;
    while(i>=0)
    {
        if(dp_1[i][j]==dp_1[i-1][j])
        {
            cout<<"未选第 "<<i<<" 件物品"<<endl;
        }
        else if(dp_1[i][j]==dp_1[i-1][j-w1[i]]+v[i])
        {
            cout<<"选第 "<<i<<" 件物品"<<endl;
            j=w-w1[i];
        }
        i--;
    }
    */
9.2 输出字典序最小的最优方案

这里“字典序最小”的意思是1 : : :N 号物品的选择方案排列出来以后字典序最小。
以输出01 背包最小字典序的方案为例。
一般而言,求一个字典序最小的最优方案,只需要在转移时注意策略。
首先,子问题的定义要略改一些。我们注意到,如果存在一个选了物品1 的最优方案,那么答案一定包含物品1,原问题转化为一个背包容量为V - C1,物品为2 ...N的子问题。反之,如果答案不包含物品1,则转化成背包容量仍为V ,物品为2...N的子问题。
不管答案怎样,子问题的物品都是以i ...N 而非前所述的1 ... i 的形式来定义的,所以状态的定义和转移方程都需要改一下。
但也许更简易的方法是,先把物品编号做x ← N + 1 - x 的变换,在输出方案时再变换回来。在做完物品编号的变换后,可以按照前面经典的转移方程来求值。只是在输出方案时要注意,如果F[i,v] = F[i - 1, v] 和F[i, v] = F[i - 1][v - Ci] + Wi 都成立,应该按照后者来输出方案,即选择了物品i,输出其原来的编号N - 1 - i。

9.3 求方案总数

对于一个给定了背包容量、物品费用、物品间相互关系(分组、依赖等)的背包问题,除了再给定每个物品的价值后求可得到的最大价值外,还可以得到装满背包或将背包装至某一指定容量的方案总数。
对于这类改变问法的问题,一般只需将状态转移方程中的max 改成sum 即可。例如若每件物品均是完全背包中的物品,转移方程即为

初始条件是F[0; 0] = 1。
事实上,这样做可行的原因在于状态转移方程已经考察了所有可能的背包组成方案。

在我对着这个伪代码理解一阵子之后,忽然想到这不就是找零钱问题的实践吗?就说这个伪代码那么眼熟,其实和找零钱的动态规划问题就是一样的

下面附上找零钱的题目(这道题可以在牛客网上找到):

有数组penny,penny中所有的值都为正数且不重复。每个值代表一种面值的货币,每种面值的货币可以使用任意张,再给定一个整数aim(小于等于1000)代表要找的钱数,求换钱有多少种方法。

给定数组penny及它的大小(小于等于50),同时给定一个整数aim,请返回有多少种方法可以凑成aim。

测试样例:
[1,2,4],3,3
返回:2

下面是AC代码:

#include <iostream>
#include <vector>
using namespace std;

const int N=1000;
const int P=50;

int dp[P][N+1];

class Exchange {
public:

    int countWays(vector<int> penny, int n, int aim) {
        int i;
        for(i=0;i<=aim;i++)
        {
            if(i%penny[0]==0)
            {
                dp[0][i]=1;
            }
            else
            {
                dp[0][i]=0;
            }
        }

        for(i=0;i<n;i++)
        {
            dp[i][0]=1;
        }
        int j;
        for(i=1;i<n;i++)
        {
            for(j=1;j<=aim;j++)
            {
                if(j-penny[i]>=0)
                {
                    dp[i][j]=dp[i-1][j]+dp[i][j-penny[i]];
                }
                else
                {
                    dp[i][j]=dp[i-1][j];
                }
            }
        }

        return dp[n-1][aim];
    }
};
9.4 最优方案的总数

这里的最优方案是指物品总价值最大的方案。以01 背包为例。结合求最大总价值和方案总数两个问题的思路,最优方案的总数可以这样求:F[i, v] 代表该状态的最大价值,G[i, v] 表示这个子问题的最优方案的总数,则在求F[i; v] 的同时求G[i; v] 的伪代码如下:

如果你是第一次看到这样的问题,请仔细体会上面的伪代码。

9.5 求次优解、第K 优解

对于求次优解、第K 优解类的问题,如果相应的最优解问题能写出状态转移方程、用动态规划解决,那么求次优解往往可以相同的复杂度解决,第K 优解则比求最优解的复杂度上多一个系数K。其基本思想是,将每个状态都表示成有序队列,将状态转移方程中的max/min 转化成有序队列的合并。
这里仍然以01 背包为例讲解一下。
首先看01 背包求最优解的状态转移方程:F[i; v] = max(F[i - 1,v], F[i - 1, v -Ci] + Wi)。如果要求第K 优解,那么状态F[i, v] 就应该是一个大小为K 的队列F[i, v, 1 ...K]。其中F[i, v, k] 表示前i 个物品中,背包大小为v 时,第k 优解的值。这里也可以简单地理解为在原来的方程中加了一维来表示结果的优先次序。显然f[i,v,1 ...K] 这K 个数是由大到小排列的,所以它可看作是一个有序队列。然后原方程就可以解释为:F[i, v] 这个有序队列是由F[i - 1, v] 和F[i - 1,v -Ci] + Wi 这两个有序队列合并得到的。前者F[i - 1][V] 即F[i - 1,v, 1 ...K],后者F[i - 1,v - Ci] + Wi 则理解为在F[i - 1,v - Ci,1 ...K] 的每个数上加上Wi 后得到的有序队列。合并这两个有序队列并将结果的前K 项储存到f[i; v; 1 : : :K] 中的复杂度是O(K)。最后的第K 优解的答案是F[N, V,K]。总的时间复杂度是O(V NK)。
为什么这个方法正确呢?实际上,一个正确的状态转移方程的求解过程遍历了所有可用的策略,也就覆盖了问题的所有方案。只不过由于是求最优解,所以其它在任何一个策略上达不到最优的方案都被忽略了。如果把每个状态表示成一个大小为K 的数组,并在这个数组中有序地保存该状态可取到的前K 个最优值。那么,对于任两个状态的max 运算等价于两个由大到小的有序队列的合并。另外还要注意题目对于“第K 优解”的定义,是要求将策略不同但权值相同的两个方案是看作同一个解还是不同的解。如果是前者,则维护有序队列时要保证队列里的数没有重复的。

9.6 小结

显然,这里不可能穷尽背包类动态规划问题所有的问法。甚至还存在一类将背包类动态规划问题与其它领域(例如数论、图论)结合起来的问题,在这篇论背包问题的专文中也不会论及。但只要深刻领会前述所有类别的背包问题的思路和状态转移方程,遇到其它的变形问题,应该也不难想出算法。
触类旁通、举一反三,应该也是一个程序员应有的品质吧。

到此背包系列就全部结束了,希望这个系列能帮助在看不懂作者的原文的基础上有一些理解。

最后附上原作者的github链接,可以直接下载PDF原文

推荐阅读更多精彩内容