在基于内容或语义的搜索中，检索条件和查询是根据与多媒体对象（音频、图像或视频）的语义内容相关的可计算数据特征来指定的。大多数基于内容的视频信息检索（CBIR）系统允许以几种不同的方式搜索可视数据库内容，无论是单独搜索还是组合搜索（Change E.A.，2001；Shih，2002，Smeuders E.A.，2000）：。
一、一般的交互式浏览由不知道所需图像或视频剪辑的用户进行。
1.类别（主题）搜索
检索代表特定类别的任意图像（在本例中，将视觉上相似的图像聚集到组中可以减少检索到的不需要的图像的数量，通过主题层次结构进行导航允许访问目标主题，然后仅浏览或搜索有限的图像子集）；
2.按关联搜索
没有具体目标，根据用户的相关反馈进行迭代优化。
二、以说明故事或文档搜索
或者满足期望的美学价值的任意的图片
三、特定图片搜索或Query-by-X搜索
X可以是：
1.一个图像例子或者一组由用户在互联网上任何地方指定的一组实例（Query-by-Example，or QBE）；与查询图像最相似的图像按照相似度得分降序展示。
2.视觉素描使用系统提供的图形绘制工具绘制用户所需的图像或者视频剪辑。
3.直接视觉特征规范（例如颜色、纹理、形状和运动特性），吸引更多技术用户；
4.关键字或者完整的文本，由用户输入，用于搜索以前用该组关键字注释过的可视信息。
可能的查询范围比仅仅根据是否存在简单的视觉特征或者简单的对象来检索图像范围大得多。
如果一个CBIR系统遵循一个QBE框架，颜色、纹理、形状或者其他特征的查询图像，提取并存储为元数据，匹配图像数据库中的图像元数据和返回的结果是基于匹配得分。 查询也可以用来查找包含某些几何图形的图像（Change E.A.，2001）。
近年来，人们开发了大量的商用和研究用的基于内容的检索系统。 文本问题(如关键字)和视觉特征提取的组合是这些系统的基础。 由于目前大多数可用图像难以自动获得高层语义描述，系统主要考虑选定的低层特征，如颜色、纹理、主要图像区域的形状等，有时还添加一些特定的特征(如人脸、皮肤特征或指纹)来描述特定的应用领域。 目前开发的一些基本信息检索系统列举如下(Shih，2002) :
图像的搜索方法与文本或数字字符串的搜索方法有很大不同。 仅搜索文本元数据的确切查询才有意义。 使用逐个相似性的查询来搜索和检索多媒体信息。 用户使用可用界面定义要检索的内容，并且该查询根据对一组描述所需数据的定量特征的要求来表示。 相似性要求的基本组如下（Castelli＆Bergman，2002）：
1.搜索范围：查找具有给定范围内的特征的所有数据项（例如，图像），即，在范围[fmin，i，fmax，i]内的特征fi。
2.最近邻搜索（KNN）找到k个最相似的数据项到查询模板。
3.距离内搜索或A-cut (alpha-cut),查找具有比给定阈值A更好的相似性得分的所有数据项，或者从查询模板得到小于d的距离的所有数据项。
最近邻查询返回至少k个结果，而与它们与查询的相似性无关。 另外两种策略不限制返回的结果数，并且可能返回空集。 范围搜索需要非常复杂的接口或查询语言，而另外两种类型使用支持逐个查询的简单用户界面。 但是它们需要特定的相似性度量或要定义的特征之间的距离。
