哈希表

1. Introduction

哈希表是一种将键映射到值的数据结构。它用散列函数来将大的甚至是非整数的键映射到小范围的指数(一般为[0..哈希表大小-1])。
两个不同的键碰撞到同一个索引的概率相对较高,这种潜在的碰撞都需要被解决以保持数据的完整性。
有几种碰撞解决策略将在这个可视化中被强调。开放式寻址(线性探测、二次探测和
双倍散列)和封闭式寻址(分离链接法)。试着点击Search(8),看看使用分离链接法在哈希表中搜索一个值的示例动画。

2. 动机

散列是一种算法(通过散列函数),将大型可变长度数据集(称为键,不一定是整数)映射为固定长度的较小整数数据集。
哈希表是一种数据结构,它使用哈希函数有效地将键映射到值(表或地图ADT),以便进行高效的搜索/检索,插入和/或删除。
散列表广泛应用于多种计算机软件中,特别是关联数组,数据库索引,缓存和集合。
在这个电子讲座中,我们将深入讨论表ADT,哈希表的基本概念,讨论哈希函数,然后再讨论哈希表数据结构本身的细节。

2-1. 表ADT

表ADT必须至少支持以下三种操作,并且尽可能高效:

  1. 搜索(v) - 确定v是否存在于ADT中,
  2. 插入(v) - 将v插入ADT,
  3. 删除(v) - 从ADT中删除v。

哈希表是这个表ADT的一个可能的好实现(另一个是这个)。


PS1:对于Table ADT的两个较弱的实现,您可以单击相应的链接:未排序数组排序数组来阅读详细讨论。


PS2:在现场课程中,您可能想要比较Table ADT和List ADT的要求。

2-2. 直接寻址表

当整数键的范围很小时,例如 [0..M-1],我们可以使用大小为M的初始空(Boolean)数组A,并直接实现以下表ADT操作:

  1. 搜索(v):检查A [v]是true(填充)还是false(空),
  2. 插入(v):将A [v]设置为true(填充),
  3. 移除(v):将A [v]设置为false(空白)。

就是这样,我们使用小整数键本身来确定数组A中的地址,因此称为直接寻址。 很明显,所有三种主要的ADT操作都是O(1)

题外话:这个想法在其他地方也有使用,例如在计数排序中。

2-3. DAT的例子

在新加坡(截至2021年9月),公交路线编号都在[2,991]区间。
当前并不是所有的[2..991]之间的整数,例如, 没有公交线路989 - 搜索(989)应该返回错误。 我们可以引入新的公共汽车路线 x,即插入(x)或现有的公共汽车路线 y 可以不再继续,即移除(y)。
公交线路编号的取值范围很小,要记录一个编号是否存在,我们可以用一个1000个布尔值的数组。
讨论:在现实的课堂里,我们可能会讨论为什么要用1000而不是991(或者992)。
由于可能的公交路线的范围很小,为了记录数据是否存在公交线路号码,我们可以使用具有1 000大小的布尔数组(Boolean array)的DAT。

讨论:在现实生活中,我们可以讨论为什么我们使用1 000而不是990(或991)。

2-4. 带数据的DAT示例

请注意,我们总是可以添加辅助数据,而不是只使用boolean数组来记录键的存在。
例如,我们可以使用一个关联字符串数组A来映射一个公交路线号码到它的运营商名称,例如,

A[2] = "Go-Ahead Singapore",
A[10] = "SBS Transit",
A[183] = "Tower Transit Singapore",
A[188] = "SMRT Buses", etc.

讨论:你能想到其他一些现实生活中的DAT示例吗?

2-5. 答案

[This is a hidden slide]

2-6. DAT的局限性

键必须是(或可以轻松映射到)非负整数值。 请注意基本的DAT在前面两张幻灯片的例子的完整版本中存在问题,因为在新加坡实际上有公交路线号有一些变种,例如, 96B,151A,NR10等
键的范围必须很小。 如果我们有(非常)大范围的话,内存使用量会(非常的)大。
键必须密集,即键值中没有太多空白。 否则DAT将包含太多的空的(浪费的)单元。
我们将用哈希来克服这些限制。

3. 散列:想法

使用哈希,我们可以:

  1. 将(一些)非整数(例如字符串)键映射成整数键,
  2. 将大整数映射成较小的整数。

3-1. 电话号码示例

举个例子,我们有N = 400个新加坡电话号码(新加坡电话号码有8位数字,所以在新加坡可能有10 ^ 8 = 1亿个电话号码)。
我们可以使用以下简单的哈希函数h(v)= v%997来代替大小为M = 1亿的巨大的数组。

这样,我们将8位电话号码6675 23786874 4483分别映射到最多3位数字h(6675 2378)= 237h(6874 4483)= 336。 因此,我们只需要准备大小为M = 997(或直接简化为1000)的数组而不是M = 1亿。

3-2. 哈希表预览

使用散列,我们现在可以使用整数数组(而不是布尔数组)执行下面的表ADT操作,如下所示:
  1. 搜索(v):检查A [h(v)]!= -1(假设 v≥0,我们对空单元使用-1)
  2. 插入(v):设置A [h(v)] = v(我们把 v 散列到h(v)中,所以我们需要以某种方式记录键 v),
  3. 删除(v):设置A [h(v)] = -1 --- 将进一步阐述。

3-3. 带数据的哈希表

如果我们有映射到卫星数据的键,并且我们也想记录原始键,我们可以使用如下一对(整数,卫星数据类型)数组实现哈希表:

  1. 搜索(v):返回A [h(v)],它是一对v,卫星数据),可能是空的,
  2. 插入(v,卫星数据):设置A [h(v)] =对(v,卫星数据)
  3. 删除(v):设置A [h(v)] =(空对) - 将进一步详细阐述。

但是,现在你应该注意到有些地方是不完整的......

3-4. 冲突

散列函数可能且很可能将不同的键(整数或不是)映射到同一个整数槽中,即多对一映射而不是一对一映射。
例如,早些时候三张幻灯片中的h(6675 2378)= 237,如果我们想插入另一个电话号码6675 4372,我们也会遇到问题,因为h(6675 4372)= 237
这种情况称为碰撞,即两个(或更多)键具有相同的散列值

3-5. 冲突的概率

生日(冯米塞斯)悖论问:'在一个大小为365个座位(单元)的房间(哈希表)中,必须有多少人(键的数量),才能有人同一天生日(碰撞,两个键被哈希到同一个单元)的概率变得>50%(即比不发生更有可能)?

Reveal这个答案对我们中的一些人来说可能令人惊讶。
我们来做一些计算吧。

3-6. 计算

假设Q(n)是房间中n个人不同生日的概率。
Q(n)= 365/365×364/365×363/365×...×(365-n + 1)/ 365,
即第一人的生日可以是365天中的任何一天,第二人的生日可以是除第一人的生日之外的任何365天,等等。
P(n)为房间中 n 个人的相同生日(碰撞)的概率。P(n)= 1-Q(n)
我们计算P(23) = 0.507> 0.5(50%)。
因此,我们只需要在有365人的座位(单元格)的房间(哈希表)中有23人(少量键),发生碰撞事件(该房间中两个不同人的生日 是365天/插槽之一)就会超过50%。

3-7. 两个重要的问题

问题1:我们已经看到了一个简单的散列函数,如电话号码示例中使用的h(v)= v%997,它将大范围的整数键映射到整数键的较小范围内,但非整数键的情况如何? 如何有效地做这样的散列?
问题2:我们已经看到,通过将大范围散列或映射到更小范围,很可能会发生碰撞。 如何处理它们?

4. 哈希函数

如何用这些理想的属性创建一个好的散列函数?
  1. 快速计算,即在O(1)中,
  2. 尽可能使用最小插槽/散列表的大小M,
  3. 尽可能均匀地将键分散到不同的基地址∈[0..M-1],
  4. 尽可能减少碰撞。

4-1. 初步措施

假设我们有一个大小为 M 的散列表,其中键用于标识卫星数据,并且使用特定的散列函数来计算散列值。
使用散列函数从键v计算键v的散列值/散列码以获得范围从0到M-1的整数。 该散列值用作卫星数据的散列表条目的基址/归位索引/地址。

4-2. 不好的哈希函数的例子


4-3. 答案

[This is a hidden slide]

4-4. 完美的哈希函数

在讨论现实之前,让我们讨论理想的情况:完美的散列函数
完美的散列函数是键和散列值之间的一对一映射,即根本不存在冲突。 如果事先知道所有的键是可能的。 例如,编译器/解释器搜索保留关键字。 但是,这种情况很少见。
当表格大小与提供的关键字数量相同时,实现最小的完美散列函数。 这种情况更为罕见。
如果你有兴趣,你可以探索GNU gperf,这是一个用C++编写的免费可用的完美哈希函数生成器,可以从用户提供的关键字列表中自动构建完美的函数(C++程序)。

4-5. 散列整数 - 最佳实践

人们已经尝试过各种方法,尽可能均匀地将大范围的整数散列到更小范围的整数中。 在这个电子讲座中,我们直接跳到最好的和最受欢迎的版本之一:h(v)= v%M,即将v 映射到大小为M个插槽的哈希表中。 (%)是一个模运算符,给出了除法后的余数。 这显然很快,即O(1)假设v不超过自然整数数据类型限制。
哈希表大小M被设置为不接近2的幂的相当大的素数,大约比将在哈希表中使用的期望的键的数量N大2倍以上。 这样,负载因子α= N / M <0.5 稍后我们将看到具有低负载因子,从而牺牲空闲空间,有助于提高哈希表性能。
讨论:如果我们将M设置为10(十进制)的幂或2(幂的二进制),那该怎么办?

4-6. 答案

[This is a hidden slide]

4-7. 散列串 - 最佳实践

人们也尝试过各种方法,尽可能均匀地将字符串散列到小范围的整数中。 在这个电子讲座中,我们直接跳到最好和最流行的版本之一,如下所示:
int hash_function(string v){//假设1:v仅使用['A'..'Z']
   int sum = 0; //假设2:v是一个短字符串
   for(auto&c:v)//对于v中的每个字符c
     sum =((sum * 26)%M +(c - 'A' + 1))%M; // M是表格大小
   return sum;
}

讨论:在现实生活中,讨论上面散列函数的组成部分,例如 为什么循环遍历所有字符?,会比O(1)慢吗?为什么要用26来乘?,如果字符串v使用的不仅仅是大写字符?,等等

4-8. 答案

[This is a hidden slide]

5. 冲突解决方案

选择分别的页眉以在不同使用模式之间切换:分离连接法或者开放寻址法(线性探测,二次探测 和 双倍散列)
设:
HT_size = 现在哈希表的大小
基础 = (值%HT_size) 
步骤 =  现在探测的步骤 
第二级 = 1+值%(HT_size-2) ( 防止为0 ), 则: 

线性探测: i=(基础+步骤*1)%HT_size,
二次探测: i=(基础+步骤*步骤)%HT_size, 以及
双倍散列: i=(基础+步骤*第二级)%HT_size

5-1. 开地址法(OA)

在此可视化中讨论了三种开放寻址(OA)冲突解决技术:线性探测(LP),二次探测(QP)和双散列(DH)。
要在三种模式之间切换,请点击相应的标题。
假设:M = HT.length =当前散列表大小,base =(key%HT.length),step =当前探测步骤,secondary = smaller_prime - key%smaller_prime(避免零 - 很快就会阐述)我们很快就会看到 三种模式的探测序列为:线性探测:i =(基础+步骤* 1)%M,二次探测:i =(基础+步骤*步骤)%M和双散列:i =(基础+步骤 *次要)%M.

5-2. 分离链接法(SC)

分离链接法(SC)冲突解决技术很简单。 我们使用 M 个副本数据结构副本,通常是双向链接列表。 如果两个键 a b 都具有相同的散列值 i,则两个键都将被附加到双链表 i 的(前/后)(在该可视化中,我们借助尾指针,用O(1)的时间将它附加到后面)。 就是这样,键(keys)将被插入的地方完全依赖于散列函数本身,因此我们也称分离链接法为封闭寻址冲突解决技术。

如果我们使用分离链接法,负载因子α= N / M描述了M个列表的平均长度,它将决定搜索的性能(v),因为我们可能需要平均探索α个元素。 由于删除(v) - 也需要搜索(v),其性能与搜索(v)相似。 插入(v)显然是O(1)。
如果我们可以将α限制为一个小常量 (如果我们知道在我们的哈希表应用中预期的最大N,那么我们可以相应地设置M,则为真),则使用分离链接法的所有搜索(v),插入(v)和删除(v)操作都将为O(1)。

6. 可视化

查看上面的哈希表的可视化。

在这个可视化中,我们防止了重复键的插入。

由于屏幕空间有限,我们将哈希表的最大尺寸限制为M=19。

哈希表在水平方向的可视化就像一个数组,索引0放在最左边,索引M-1放在最右边,但是当我们在可视化开放寻址与分离链接式碰撞解决技术时,细节是不同的。

讨论一下。为了允许重复的键,需要修改什么?

6-1. 开址法版本

本可视化中讨论了三种开放寻址冲突解决技术:线性探测(LP),二次探测(QP)和双散列(DH)。
对于所有三种技术,每个哈希表单元格都显示为顶点标签显示的单元格值为[0..99]的顶点。 在不失一般性的情况下,我们不会在该可视化中显示任何辅助数据,因为我们只关注按键的排列。 我们保留值-1以指示'空'(可视化为空白顶点),-2指示'已删除'(可视化为具有缩写标签“DEL”的顶点)。 单元格索引范围为[0..M-1],在每个顶点下方显示为红色标签

6-2. 分离链接版本

对于分离连接法(SC)冲突解决方法,第一行包含M双向链表M“H”(头)指针。
然后,每个双向链表我包含按任意顺序散列到 i 中的所有密钥。 在数学上,所有可以表示为i(mod M)的键都被散列到DLL i 中。 再次,我们不在此可视化中存储任何卫星数据。

7. 线性探测

在线性探测冲突解决方法中,每当发生冲突时,我们会一次扫描一个索引,以查找下一个空/被删除的插槽(当我们到达最后一个插槽时再重新环绕)。
例如,我们假设我们以表格大小M = HT.length = 7的空的散列表 HT开始,如上所示,使用索引0到 M-1 = 7-1 = 6。请注意,7是素数。 (主)散列函数很简单,h(v)= v%M
此演练将向您展示使用线性探测作为冲突解决技术时Insert(v),Search(v)和Remove(v)操作所采取的步骤。

7-1. 插入([18,14,21])

Now click Insert([18,14,21]) — three individual insertions in one command.


Recap (to be shown after you click the button above).


Formally, we describe Linear Probing index i as i = (base+step*1) % M where base is the (primary) hash value of key v, i.e., h(v) and step is the Linear Probing step starting from 1.


Tips: To do a quick mental calculation of a (small) Integer V modulo M, we simply subtract V with the largest multiple of MV, e.g., 18%7 = 18-14 = 4, as 14 is the largest multiple of 7 that is ≤ 18.

7-2. 插入([1,35])

现在点击Insert([1,35])(在上一张幻灯片中插入的前三个值的顶部)。
回顾(在点击上面的按钮后显示)

7-3. 搜索(35)和搜索(8)

现在我们说明使用线性探测作为碰撞解析技术的Search(v)操作。 所采取的步骤与 Insert(v)操作非常相似,即我们从(主)散列键值开始,检查是否已找到v,否则我们一次向前移动一个索引(如果遇到结尾则从开头重新开始)并重新检查。 当我们遇到一个空单元时,我们就停止,这意味着v完全不在哈希表中(因为之前的Insert(v)操作会将v放在那里)。

现在点击Search(35) - 你应该看到探测序列[0,1,2,3(找到键35)]。

现在单击Search(8) - [1,2,3,4,5(空单元格,因此在哈希表中找不到键8)]。

7-4. 删除(v) - 初步措施

现在我们来讨论移除(v)操作。
如果我们直接设置HT [i] = EMPTY单元,其中i是包含v的索引(在必要时进行线性探测之后),您是否意识到我们会导致问题? 为什么?

提示:查看以前的三张幻灯片,了解插入(v)和搜索(v)的行为。

7-5. 答案

[This is a hidden slide]

7-6. 删除(21)

现在让我们看看完整的删除(v)。 如果我们在索引 i 处找到 v(必要时在线性探测之后),我们必须设置 HT [i] = DELETED(在此可视化中缩写为DEL),其中DEL是一个特殊符号(通常你只能在你的应用程序种没有使用过的使用一个特殊符号)指示该单元格可以在将来的搜索(v)需要时绕过,但可以被将来的插入(w)覆盖。 这种策略被称为懒惰删除。
现在点击Remove(21) - [0,1(找到关键21,我们设置H [1] = DEL)]。
然后请继续讨论下一张幻灯片。

7-7. 再次搜索(35)

现在点击Search(35) - [0,1(绕过那个DELETED cell),2,3(找到键35)]。
想象一下,如果我们错误地设置H [1] = EMPTY,会发生什么。

7-8. 插入(28) - 覆盖DEL

现在单击Insert(28) - 您应该看到探测序列[0,1(使用DEL符号找到一个单元格)],因此,实际上可以用新值覆盖,而不会影响将来搜索(v)的正确性。 因此,我们把28放在索引1中。

7-9. 初级聚类,第一部分

Although we can resolve collision with Linear Probing, it is not the most effective way.


We define a cluster to be a collection of consecutive occupied slots. A cluster that covers the base address of a key is called the primary cluster of the key.


Now notice that Linear Probing can create large primary clusters that will increase the running time of Search(v)/Insert(v)/Remove(v) operations beyond the advertised O(1).


See an example above with M = 31 and we have inserted 15 keys [1..15] so that they occupy cells [1..15]. Now see how 'slow' Insert(32) (the 16th key) is.

7-10. 线性探测顺序

The probe sequence of Linear Probing can be formally described as follows:

 h(v) // base address
(h(v) + 1*1) % M // 1st probing step if there is a collision
(h(v) + 2*1) % M // 2nd probing step if there is still a collision
(h(v) + 3*1) % M // 3rd probing step if there is still a collision
...
(h(v) + k*1) % M // k-th probing step, etc...

During Insert(v), if there is a collision but there is an empty (or DEL) slot remains in the Hash Table, we are sure to find it after at most M Linear Probing steps, i.e., in O(M). And when we do, the collision will be resolved, but the primary cluster of the key v is expanded as a result and future Hash Table operations will get slower too. Try the slow Search(32) on the same Hash Table as in the previous slide but with many DEL markers (suppose {4, 5, 8, 9, 10, 12, 14} have just been deleted).

7-11. 初级聚类,第二部分

In the previous slide (Primary Clustering, Part 1), we break the assumption that the hash function should uniformly distribute keys around [0..M-1]. In the next example, we will show that the problem of primary clustering can still happen even if the hash function distribute the keys into several relatively short primary clusters around [0..M-1].


On screen, you see M = 31 from the previous slide, but only cells [1..6], [8..13], and [15..20] are filled. If we then insert these next 3 keys {37, 44, 63}, these first two keys will initially collide with the cells that already contain {6, 13}, have "short" one-step probes, then by doing so "plug" the empty cells and accidentally annex (or combine) those neighboring (but previously disjointed) clusters into a (very) long primary cluster. So the next insertion of a key {63} that lands at (the beginning of) this long primary cluster will end up performing almost O(M) probing steps just to find an empty cell. Try Insert([37,44,63]).

8. 二次探测(QP)

为了减少主聚类,我们可以将探针序列修改为:

  h(v)//基地址
(h(v)+ 1 * 1)%M //第一个探测步骤,如果发生碰撞
(h(v)+ 2 * 2)%M //第2次探测步骤,如果仍有冲突
(h(v)+ 3 * 3)%M //第三次探测步骤,如果仍有冲突
...
(h(v)+ k * k)%M //第k个探测步骤等...
就是这样,探针按照二次方跳转,根据需要环绕哈希表。
由于这是一种不同的二次探测,所以一个非常常见的错误就是:做H(V),(H(v)的1)%M,(H(v)的+ 1 + 4)%M,(H(V)+ 1 + 4 + 9)%M,...

8-1. 插入(38)

假设我们已经调用 Insert(18)和Insert(10)到大小为M = HT.length = 7的初始空Hash表中。由于18%7 = 4和10%7 = 3,18和3不会相互碰撞, 如上所示分别位于指数4和3中。
现在,我们点击Insert(38)
回顾(点击上面的按钮后显示)。

8-2. 移除(18), 再次搜索(38)

删除(x)和搜索(y)操作的定义类似。 只是这次我们使用二次探测而不是线性探测。
例如,假设我们在上一张幻灯片之后调用了Remove(18),并且标记了HT [4] = DEL。 如果我们调用Search(38),我们将使用与上一张幻灯片相同的二次探测序列,但是会通过标记为DELETED的HT [4]。

8-3. 比线性探测更好?

一目了然,二次探测(Quadratic Probing)能够快速解决我们之前对线性探测的主要聚类问题,但它是完美的碰撞解决技术吗?
尝试Insert([12,17])
你意识到刚刚发生了什么吗?

8-4. 细节

我们可以很容易地插入12,因为h(12)= 12%7 = 5 以前是空的(见上文)。
但是,即使我们仍然有3个空槽,我们仍然存在主要问题:h(17)= 17%7 = 3已被键10占用,(3 + 1 * 1)%7 = 4已被占用 (3 + 2 * 2)%7 = 0已被键38占用,(3 + 3 * 3)%7 = 5已被键12占用,(3 + 4 * 4)%7 = 5 (3 + 5 * 5)%7 = 0再次被键38占据,(3 + 6 * 6)%7 = 4又被键18占据,(3 + 7 * 7)%7 = 3再次被键10占用,如果我们继续二次探测,它将永远循环...
尽管我们仍然有几个(3)空单元格,但我们无法将此新值17插入到哈希表中。

8-5. 定理

如果α<0.5且M是质数(> 3),那么我们总是可以使用二次探测找到一个空槽。 回想一下:α是加载因子,M是散列表大小(HT.length)。

如果满足上述两个要求,我们可以证明包括基地址h(v)的第一M / 2二次探测指数都是不同且唯一的。

但除此之外没有这样的保证。 因此,如果我们想要使用二次探测,我们需要确保α<0.5(在这个可视化中没有强制执行,但是为了防止无限循环,我们在M步之后打破了循环)。

8-6. 证明

我们将通过矛盾使用证据。 我们首先假设两个二次探测步骤:x和y,x!= y(假设x
h(v) + x*x = h(v) + y*y (mod M)
x*x = y*y (mod M)//从两边敲出h(v)
x*x - y*y = 0 (mod M) //将y * y移动到左边
(x-y)*(x+y) = 0 (mod M)//重新排列公式

现在,(x-y)或(x + y)必须等于零。 我们的假设是x != y,  那么(x-y)不能为0. 由于0≤ x
矛盾!
因此,第一个M / 2二次探测步骤不能产生相同的地址模M(如果我们将M设置为大于3的质数)。
讨论:我们可以使二次探测能够使用其他约50%的表格单元吗?

8-7. 更好的二次探测

[This is a hidden slide]

8-8. 二次聚类

In Quadratic Probing, clusters are formed along the path of probing, instead of around the base address like in Linear Probing. These clusters are called Secondary Clusters and it is 'less visible' compared to the Primary Clusters that plagued the Linear Probing.


Secondary clusters are formed as a result of using the same pattern in probing by colliding keys, i.e., if two distinct keys have the same base address, their Quadratic Probing sequences are going to be the same.


To illustrate this, see the screen with M = 31. We have populated this Hash Table with only 10 keys (so load factor α = 10/31 ≤ 0.5) and the Hash Table looks 'sparse enough' (no visibly big primary cluster). However, if we then insert Insert(62,93), despite the fact that there are many (31-10 = 21) empty cells and 62 != 93 (different keys that ends up hashed into index 0), we end up doing 10 probing steps along this 'less visible' secondary cluster (notice that both {62, 93} follow similar Quadratic Probing sequences).


Secondary clustering in Quadratic Probing is not as bad as primary clustering in Linear Probing as a good hash function should theoretically disperse the keys into different base addresses ∈ [0..M-1] in the first place.

9. 双倍散列(DH)

为了减少主要和次要群集,我们可以修改探针序列为:

  h(v)//基地址
(h(v)+ 1 * h2(v))%M //第一个探测步骤,如果有碰撞
(h(v)+ 2 * h2(v))%M //第2次探测步骤,如果仍有冲突
(h(v)+ 3 * h2(v))%M //第三次探测步骤,如果仍有冲突
...
(h(v)+ k * h2(v))%M //第k个探测步骤等...
就是这样,探测器根据第二个散列函数h2(v)的值跳转,根据需要环绕散列表。

9-1. 次要散列函数h2(v)

如果h2(v)= 1,则双散列(Double Hashing)的工作方式与线性探测(Linear Probing)完全相同。 所以我们通常希望h2(v)> 1来避免主聚类。
如果h2(v)= 0,那么Double Hashing不起作用的原因很明显,因为任何探测步数乘以0仍然是0,即我们在碰撞期间永远停留在基地址我们需要避免这种情况。
通常(对于整数键),h2(v)= M' - v%M'其中M'是一个小于M的质数。这使得h2(v)∈[1..M'],它足够多样 二次聚类。
二次散列函数的使用使得理论上难以产生主要或次要群集问题。

9-2. 插入([35,42])

点击Insert([35,42])插入35,然后插入42到上面的当前哈希表。
回顾(点击上面的按钮后显示)。

9-3. 移除(17), 再次搜索(35)

删除(x)和搜索(y)操作的定义类似。 只是这次我们使用双散列(Double Hashing)而不是线性探测或二次探测。
例如,假设我们在上一张幻灯片之后调用了Remove(17),并且标记了HT [3] = DEL。 如果我们调用Search(35),我们将使用与前一张幻灯片相同的双哈希序列,但是会通过标记为DELETED的HT [3]。

9-4. 好的OA冲突解决方案

In summary, a good Open Addressing collision resolution technique needs to:

  1. Always find an empty slot if it exists,
  2. Minimize clustering (of any kind),
  3. Give different probe sequences when 2 different keys collide,
  4. Fast, O(1).

Now, let's see the same test case that plagues Quadratic Probing earlier. Now try Insert(62,93) again. Although h(62) = h(93) = 0 and their collide with 31 that already occupy index 0, their probing steps are not the same: h2(62) = 29-62%29 = 25 is not the same as h2(93) = 29-93%29 = 23.


Discussion: Double Hashing seems to fit the bill. But... Is Double Hashing strategy flexible enough to be used as the default library implementation of a Hash Table? Let's see...

10. 分离链接(SC)

Try Insert([9,16,23,30,37,44]) to see how Insert(v) operation works if we use Separate Chaining as collision resolution technique. On such random insertions, the performance is good and each insertion is clearly O(1).


However if we try Insert([68,90]), notice that all Integers {68,90} are 2 (modulo 11) so all of them will be appended into the (back of) Doubly Linked List 2. We will have a long chain in that list. Note that due to the screen limitation, we limit the length of each Doubly Linked List to be at maximum 6.

10-1. Search(35) and Remove(35)

Try Search(35) to see that Search(v) can be made to run in O(1+α).


Try Remove(35) to see that Remove(v) can be made to run in O(1+α) too.


If α is large, Separate Chaining performance is not really O(1). However, if we roughly know the potential maximum number of keys N that our application will ever use, then we can set table size M accordingly such that α = N/M is a very low positive (floating-point) number, thereby making Separate Chaining performances to be expected O(1).

10-2. 闭散列法 vs 分离链接法?

讨论:在所有这些解释之后,两种冲突解决方法的哪一种更好?

10-3. (当前)答案

[This is a hidden slide]

11. 额外的

您已经完成了这个哈希表数据结构的基本工作,我们鼓励您在探索模式中进一步探索。

但是,我们仍然会为您提供一些本节中概述的更有趣的哈希表的挑战。

11-1. Rehash

当负载因子α变高时,哈希表的性能会降低。 对于(标准)二次探测冲突解决方法,当哈希表的α> 0.5时,插入可能失败。
如果发生这种情况,我们可以重新散列(rehash)。 我们用一个新的散列函数构建另一个大约两倍的散列表。 我们遍历原始哈希表中的所有键,重新计算新的哈希值,然后将键(及其卫星数据)重新插入新的更大的哈希表中,最后删除较早的较小哈希表。
一个经验法则是,如果使用开放寻址,并且当α>小的常数(根据需要接近1.0),如果使用单独链接,当α≥0.5时重新散列。
如果我们知道可能的最大键数,我们可以始终将α作为一个低的数字。

11-2. 哈希表的实现

但是,如果您需要使用C ++, Python或Java实现哈希表,并且您的键(Keys)是整数或字符串,则可以使用内置的C ++ STL,Python标准库或Java API。 他们已经有了整数或字符串默认散列函数的内置实现。
请参阅C ++ STL unordered_mapunordered_set, Python dict, set, 或 Java HashMapHashSet
请注意,multimap / multiset实现也存在(允许重复键)。
对于OCaml, 我们可以用 Hashtbl

这里是我们分离链接法的实现: HashTableDemo.cpp | py | java.

11-3. 数据结构组合?

[This is a hidden slide]

11-4. 对于表ADT的 备选数据结构

如果(整数或字符串)键只需要映射到卫星数据,则散列表是实现Table ADT的非常好的数据结构,对于Search(v),Insert(v)和Remove( v)如果哈希表设置正确,则执行时间复杂度为O(1)。
但是,如果我们需要更多地使用 键,我们可能需要使用另一种数据结构。

11-5. 在线小测试

关于这个数据结构的一些更有趣的问题,请在哈希表培训模块上练习(不需要登录,但是只需短暂且中等难度设置)。
但是,对于注册用户,您应该登录,然后转到主要培训页面以正式清除此模块,这些成果将记录在您的用户帐户中。

11-6. 在线评判练习

尝试解决一些基本的编程问题,就很可能需要使用哈希表(特别是如果输入大小很大的时候):

  1. Kattis - cd(输入已经被排序,因此存在替代的非哈希表解决方案; 如果未对输入进行排序,则在哈希表的帮助下最好解决此组交集问题),
  2. Kattis - oddmanout(我们可以将较大的邀请代码映射到较小范围的整数;这是整数散列(大范围)的一种做法),
  3. Kattis - whatdoesthefoxsay(我们把不是狐狸的声音放入无序集合;这是散列字符串的做法)。